(1)Client。Client节点上运行了Map/Reduce程序和JobClient,负责提交Map/Reduce作业和为用户处理结果。
(2)JobTracker。JobTracker负责协调Map/Reduce作业的执行,是Map/Reduce运行框架里面的主控节点。其功能包含了制定Map/Reduce作业的执行计划、分配任务的Map和Reduce执行节点、监控任务的执行、重新分配是失败的任务等。每个Hadoop集群只有一个JobTracker。
(3)TaskTracker。它主要负责执行由JobTracker分配的Map或Reduce任务,系统中可以有多个Map TaskTracker或者Reduce TaskTracker。
2.1.4  Hive的介绍
Hive是一个建立在Hadoop基础之上的数据仓库[13],它设计的目的是让熟练掌握SQL语言,但不具备Java编程能力的数据分析人员,能对存储好的结构化数据进行数据查询和处理操作,其中Hive定义的语言为HiveQL,类似于SQL。在Hive中,数据是以库(Database)、表(Table)、分区(Partition)和桶(Bucket)的层次进行组织的,而数据的这些组织形式信息成为元数据,Hive的元数据都集中存放在元数据库(Metastore)中,Hive采用关系数据库(MySQL或Derby)存储元数据
上一篇:基于众包理论的网络舆情意见领袖形成的BDI模型建模研究
下一篇:大数据环境下突发社会舆情在不同阶段的演变路径演变表现和演变动因

Android手机考勤平台的设计与实现

基于android的环境信息管理系统设计

java+mysql班级评优系统的设计实现

Python+mysql宠物领养平台的设计与实现

ASP.NET飞翔租贷汽车公司信...

基于激光超声检测金属材...

多频激励下典型非线性系统的振动特性研究

压疮高危人群的标准化中...

浅论职工思想政治工作茬...

AES算法GPU协处理下分组加...

从政策角度谈黑龙江對俄...

酵母菌发酵生产天然香料...

STC89C52单片机NRF24L01的无线病房呼叫系统设计

提高教育质量,构建大學生...

基于Joomla平台的计算机学院网站设计与开发

浅谈高校行政管理人员的...

上海居民的社会参与研究