Linux基础学习笔记，包括Linux的基本概述、文件目录结构、Vi/Vim编辑器的使用、系统管理、软件包管理等方面的基本知识，以及常用的基本Shell命令。

该笔记中记录了MySQL中的一些基础知识，基础操作等。

该笔记记录了Maven的基础概念，主要目的是记录并学习Maven的基础使用方式。

本文记录了在使用Vue3的过程中，一些常用组件的引入，包括Echarts、Element UI、axios、router等。

在Spark中有三大重要的数据结构，前面我们已经学习了RDD，本文主要学习剩余的累加器和广播变量。

我们知道在Scala中，使用匿名函数的时候可以使用下划线来简化函数，但是在实际使用的时候还需要注意一些细节。

在前面的介绍中我们以及学习了Spark中RDD的相关概念以及一些算子的使用。本文主要介绍RDD中一些其他的重要概念，包括RDD序列化、依赖关系、RDD的持久化以及分区器Partitioner。

在Spark中，利用textFile读取文件成为RDD的时候，其中会用到Hadoop中的原生类——FileInputFormat，但是使用的是旧版本中的API。FileInputFormat中一个重要操作是getSplits方法，本文主要对比了getSplits在新旧API中的差别，主要对比切分逻辑

在Hadoop中，默认采用的是按行读取，但是一行的内容可能跨了分片。Hadoop中解决这种跨分区的行读取问题是通过LineReader来实现的。

Spark计算框架为了能够进行高并发和高吞吐的数据处理，封装了三大数据结构以用于处理不同的应用场景。这三大数据结构分别是RDD(弹性分布式数据集)、累加器(分布式共享只写变量)和广播变量(分布式共享只读变量)。本文介绍了RDD的相关概念以及一些相关算子的使用。