本书系统详细地阐述了非结构化数据的处理方法与技术。通过对非结构化数据特点的分析,从非结构化数据的基础知识和理论、开源工具及应用举例、数据预处理、预测模型研究、网页数据的采集、非关系型数据库存储、结构化大数据分析平台、电商个性化推荐系统的应用、网购评语情感挖掘、全文检索技术、基于主题的检索系统等不同角度给出了结构化与非结构化数据的分析、挖掘与应用内容。
样章试读
目录
- 目录
基础知识篇
第1章 非结构化数据的基础知识 3
1.1 大数据的基本概念 3
1.2 非结构化数据的基本概念 11
1.3 非结构化数据研究的必要性 12
1.4 非结构化数据挖掘的研究领域 13
第2章 非结构化数据挖掘的基础理论 18
2.1 数据挖掘 18
2.2 数据挖掘与其他技术的关系 29
2.3 图像挖掘 33
2.4 视频挖掘 34
第3章 非结构化数据挖掘的开源工具及应用举例 37
3.1 WEKA 37
3.2 R语言简介 49
结构化数据挖掘技术篇
第4章 数据预处理技术 61
4.1 数据预处理 62
4.2 数据清理 63
4.3 数据集成和融合 66
4.4 数据变换 67
4.5 数据归约 70
第5章 预测模型研究与应用 75
5.1 预测模型的基础理论 75
5.2 回归分析预测模型 77
5.3 趋势外推预测模型 92
5.4 时间序列预测模型 99
5.5 基于神经网络的预测模型 111
5.6 马尔可夫预测模型 124
第6章 网页数据的采集技术 129
6.1 网站信息采集相关技术研究 129
6.2 基于爬虫的网站信息采集技术整合设计 138
6.3 基于爬虫的网站信息采集技术整合实现 155
第7章 非关系型数据库存储技术 168
7.1 非关系型数据库系统发展的必然性 168
7.2 非关系型数据库理论 174
7.3 非关系型数据库的使用范例 180
非结构化数据挖掘方法及应用篇
第8章 非结构化大数据的分析平台 193
8.1 HDFS海量存储 195
8.2 Map Reduce 200
8.3 Spark 207
第9章 电商个性化推荐系统的应用 211
9.1 国内外研究现状 211
9.2 电子商务个性化推荐系统理论与技术介绍 212
9.3 基于协同过滤的个性化推荐算法研究与优化 226
9.4 基于移动平台的电商个性化推荐系统设计与实现 243
第10章 网购评语情感挖掘的应用 272
10.1 国内外研究现状 272
10.2 情感挖掘理论知识基础 275
10.3 改进情感倾向模型的建立 291
10.4 改进情感倾向模型的应用验证 300
10.5 基于情感挖掘的预测分析应用 315
参考文献 329
附录一 肯定性和否定性参考词组问卷调查 340
附录二 特殊程度词的影响程度问卷调查 341