Hadoop学习笔记-MapReduce(4)-自定义分区和排序 在前面我们说到，Shuffle过程中存在分区和排序机制，而我们可以通过自定义实现来完成这些功能。 2022-02-22 大数据 > Hadoop #笔记 #Hadoop #MapReduce
Hadoop学习笔记-MapReduce(3)-MapReduce流程 学习MapReduce的全流程，每个阶段所做的事情。在过程中学习MapReduce框架的原理。 2022-02-22 大数据 > Hadoop #笔记 #Hadoop #MapReduce
Hadoop学习笔记-MapReduce(2)-MapReduce序列化 在Hadoop中还存在序列化的概念，存在Writable接口。为了在不同节点之间进行数据传递，必须使得数据能够序列化。这里学习了将自定义类用于键值对中的必要操作。 2022-02-20 大数据 > Hadoop #笔记 #Hadoop #MapReduce
Hadoop学习笔记-MapReduce(1)-MapReduce概述 对MapReduce的基本概述，手动实现Word Count案例，然后分别在本地和在集群上进行测试。了解基于MapReduce框架下的基本编程流程。 2022-02-20 大数据 > Hadoop #笔记 #Hadoop #MapReduce
Hadoop学习笔记-HDFS(3)-HDFS的API操作 可以通过IDEA在本地远程连接到集群，然后通过Java代码对其进行相关的API操作。 2022-02-18 大数据 > Hadoop #笔记 #Hadoop #HDFS
Hadoop学习笔记-HDFS(1)-HDFS概述 Hadoop使用了分布式文件系统HDFS，这里对HDFS进行简单的学习。 2022-02-18 大数据 > Hadoop #笔记 #Hadoop #HDFS