Hadoop教程

2019-11-20admin阅读(813)评论(0)赞(1)

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储 【第一篇】Hadoop 简介 【第二篇】Hadoop 读写文件 【第三篇】Had...

2019-11-20admin阅读(776)评论(0)赞(0)

Hadoop安装 单节点安装 所有服务运行在一个JVM中，适合调试、单元测试 伪集群 所有服务运行在一台机器中，每个服务都在独立的JVM中，适合做简单、抽样测试 多节点集群 服务运行在不同的机器中，适合生产环境 配置公共帐号 方便主与从进行...

2019-11-20admin阅读(785)评论(0)赞(0)

MapReduce – 编程 处理 1、 select：直接分析输入数据，取出需要的字段数据即可 2、 where: 也是对输入数据处理的过程中进行处理，判断是否需要该数据 3、 aggregation:min, max, sum 4、 g...

2019-11-20admin阅读(736)评论(0)赞(0)

MapReduce – Mapper 主要是读取InputSplit的每一个Key,Value对并进行处理 public class Mapper<KEYIN, VALUEIN, KEYOUT, VALUEOUT> { /** ...

2019-11-20admin阅读(680)评论(0)赞(0)

MapReduce – 读取数据 通过InputFormat决定读取的数据的类型，然后拆分成一个个InputSplit，每个InputSplit对应一个Map处理，RecordReader读取InputSplit的内容给Map InputF...

2019-11-20admin阅读(759)评论(0)赞(0)

YARN – ApplicationMaster 单个作业的资源管理和任务监控 具体功能描述#x8FF0;： 1、 计算应用的资源需求，资源可以是静态或动态计算的，静态的一般是Client申请时就指定了，动态则需要ApplicationMa...

2019-11-20admin阅读(759)评论(0)赞(0)

YARN – ResourceManager 负责全局的资源管理和任务调度，把整个集群当&##x6210;计算资源池，只关注分配，不管应用，且不负责容错 资源管理 1、 以前资源是每个节点分成一个个的Map slot和Reduce ...

2019-11-20admin阅读(698)评论(0)赞(0)

HDFS – 可靠性 1、 DataNode可以失效 DataNode会定时发送心跳到NameNode。如果ղ\#x5728;一段时间内NameNode没有收到DataNode的心跳消息，则认为其失效。此时NameNode就会将该节点的数据...

2019-11-19admin阅读(719)评论(0)赞(0)

HDFS – 写文件 1、客户端将文件写入本地磁盘的N#x4E34;时文件中 2、当临时文件大小达到一个block大小时，HDFS client通知NameNode，申请写入文件 3、NameNode在HDFS的文件系统中创建一个文件，并把...

2019-11-19admin阅读(763)评论(0)赞(0)

Hadoop 主要记录了Hadoop各个组件的基本原理，处理过程和关键的知识点等，包括HDFS、YARN、MapReduce等。 铺垫 人产生数据的速度越来越快，机器则更加快，more data usually beats better a...