大数据分析挖掘算法实现-平台的监控(3)
1.4 名词解释
HDFS
这是大数据存储的物理基础。
它是一个分布式文件系统，擅长存储单个大文件。
Hive
对MR进行了SQL封装的一个实现。
如果数据是结构化并且很规整，那么可以直接使用Hive，以允许SQL的方式来生成报表。
HBase
基于HDFS的一个Big Table的实现。
它是基于列的数据库，可以存储海量的数据。
可以用key的方式快速检索出数据，也可以用Scan的方式获取一批数据。
当数据是海量的，且格式容易变化的时候可以采取这个方案。
MapReduce
是一种编程范式，适合分布式计算，提倡并行思想 。
Map是对数据映射到另一组数据，而reduce则是以一定的方式将一组数据进行计算求值。
Gmod
数据采集器，位于每个Node上。
Gmetad
数据混合收集器，每个cluster都有一个，便于构建多级网络。
1.5 论文结构
论文由 七个部分组成，第一章主要讲述了大数据时代来临，发展大数据相关技术已是大势所趋的背景，在这种背景下国内大数据相关技术却令人担忧，在大量的分析下，得出了本文的主要工作和选题背景。 第二章主要研究了课题需要用到的平台，第三章则是重点了解当前监控的现状，对几个涉及到的监控软件进行了研究和对比，最终选择比较适合的工具。第四章则是为了验证前面的结论，证明它们的适用性，搭建平台，配置环境，在本地主机上运行它们、使用它们，发现问题。第五章总结收获，提出建议。
下一篇：Jsoup微博关系图的研究与实现