大多数人都掌握不了的大数据分析：方法与应用，你能掌握多少呢？

本篇介绍数据挖掘、统计学习和模式识别中与大数据分析相关的理论、方法及工具。理论学习的目标是使大家掌握复杂数据的分析与建模:方法学习的目标是使大家能够按照实证研究的规范和数据挖掘的步骤进行大数据研发，工具学习的目标是使学生熟练掌握一种数据分析的语言。

本篇内容由10章构成:

大数据分析概述，数据挖掘流程，有指导的学习，无指导的学习，贝叶斯分类和因果学习，高维回归及变量选择，图模型，客户关系管理、社会网络分析、自然语言模型和文本挖掘。

数据挖掘流程概述

数据挖掘是-一个逐阶递进发现数据特征和模式的过程，发现的预订目标包括概念学习、特征识别、模式分布、规则提取和预测等，它是信息增值的过程。从数据到模式，运用逻辑性的数据分析方法，遵循系统性解决问题的研究流程，一般包括6个阶段:问题识别，数据理解、数据准备、建立模型、模型评价、部署应用。如图所示。

分析大量数据，离开工具是很难想象的，根据这个理解，商务智能的解决方案平台必须是能够提供至少包括这6个过程的开发和自动分析的工具。

贝叶斯分类

决策是对一-件事情做决定，要做出好的决定则必须考虑后果。分类决策是对一个概念的归属做决定的过程，譬如:生物物种的分类，手写文字的识别，西瓜是否成熟，疾病的诊断，对一项新技术使用做出判断等等。

决策中常见的科学问题有两个:一是决策的优良性评价标准，即如何从可选择的决策中选出更好的决策;二是最优决策的产生机制，即如何根据一种评价准则给出最优决策的产生过程。

自然语言模型和文本挖掘

自然语言是计算语言学的研究对象,早期主要的内容是自然语言处理(NaturalLanguageProcessing, NLP),它是一种使用自然语言同计算机进行通信的技术，目标是使计算机“理解”自然语言，从而提高人们利用信息技术表达和理解文字的效率，常见的自然语言处理任务有分词(Word Segmentation或Word Breaker, WB)、信息抽取(Information Extraction, IE):命名实体识别和关系抽取(Named Entity Recognition & Relation Extraction, NER)、词性标注(PartOf Speech Tagging, POS)、指代消解(Coreference Resolution)、句法分析(Parsing)、 词义消歧(Word Sense Disambiguation, WSD)、语音识别( Speech Recognition)、语音合成(Text ToSpeech, TTS)、机器翻译( Machine Translation, MT)、自动文摘(Automatic Summarization)、问答系统(Question Answering)、自然语言理解(Natural Language Understanding)、字符识别(OCR)、信息检索(Information Retrieval, IR)等。

随着语料库规模越来越大，语言模型成为研究的焦点，语言模型是描述自然语言内在规律的数学模型，构造语言模型是自然语言处理的核心任务。

统计语言模型的兴起也激发了文本挖掘的发展，文本挖掘也称Web内容挖掘，是以计算语言学、数理统计分析为理论基础，结合机器学习和信息检索技术，从文本数据中发现和提取独立于用户信息需求的文本集中的隐含知识，- -般认为，它利用文本切分技术，抽取文本特征，将文本数据转化为能描述文本内容的结构化数据，然后利用特征降维等技术，形成结构化模式表示树，经模型评价提取稳定结构，根据该结构发现新的概念和获取相应的知识表示关系。文本挖掘的主要流程如图所示。

社会网络分析

了解社会网络的基本概念和各项功能；

能够在R中进行网络数据准备；

掌握社会网络模型评价方法；

由于篇幅过长，小编就不为大家做更多的介绍了，希望大家能够仔细品读这篇优质作品，得之，幸之，会让自己提升一个台阶的。