Hadoop学习笔记-Yarn(2)-Yarn命令行操作与参数配置 学习Yarn的命令行操作以及一些重要参数的配置,包括调度器相关的参数等。 2022-02-23 大数据 > Hadoop #笔记 #Hadoop #Yarn
Hadoop学习笔记-Yarn(1)-Yarn概述与工作机制 学习Yarn的相关概念,包括Yarn的基础架构,工作机制,以及MapReduce、HDFS、Yarn三者之间的协调使用。最后学习了Yarn中的调度器和调度算法。 2022-02-23 大数据 > Hadoop #笔记 #Hadoop #Yarn
Hadoop学习笔记-MapReduce(6)-Join应用 通过描述一个Join案例的完成要点,来了解一些使用方法。 2022-02-22 大数据 > Hadoop #笔记 #Hadoop #MapReduce
Hadoop学习笔记-MapReduce(5)-MapTask和ReduceTask 具体介绍MapTask和ReduceTask中的工作流程。 2022-02-22 大数据 > Hadoop #笔记 #Hadoop #MapReduce
Hadoop学习笔记-MapReduce(4)-自定义分区和排序 在前面我们说到,Shuffle过程中存在分区和排序机制,而我们可以通过自定义实现来完成这些功能。 2022-02-22 大数据 > Hadoop #笔记 #Hadoop #MapReduce
Hadoop学习笔记-MapReduce(3)-MapReduce流程 学习MapReduce的全流程,每个阶段所做的事情。在过程中学习MapReduce框架的原理。 2022-02-22 大数据 > Hadoop #笔记 #Hadoop #MapReduce
Hadoop学习笔记-MapReduce(2)-MapReduce序列化 在Hadoop中还存在序列化的概念,存在Writable接口。为了在不同节点之间进行数据传递,必须使得数据能够序列化。这里学习了将自定义类用于键值对中的必要操作。 2022-02-20 大数据 > Hadoop #笔记 #Hadoop #MapReduce
Hadoop学习笔记-MapReduce(1)-MapReduce概述 对MapReduce的基本概述,手动实现Word Count案例,然后分别在本地和在集群上进行测试。了解基于MapReduce框架下的基本编程流程。 2022-02-20 大数据 > Hadoop #笔记 #Hadoop #MapReduce