Hive学习笔记-入门(2)-Hive概述以及集群搭建 Hive概述内容主要包括Hive的相关基本概念、Hive架构、Hive数据模型等。之后介绍了Hive中的元数据以及集群搭建的过程,在过程中介绍了metastore的三种配置方式,以及Hive的不同客户端。最后初步体验了Hive中的功能,包括类SQL的命令语句和对HDFS中结构化数据的映射。 2022-07-02 大数据 > Hive #笔记 #Hive
Hive学习笔记-入门(1)-数据仓库基础理论 Hive是一个数据仓库软件,在学习Hive之前,有必要了解数据仓库的基础理论,包括数据仓库的概念、数据仓库的主要特征、以及数据仓库的分层架构等。 2022-07-02 大数据 > Hive #笔记 #Hive #数据仓库
Shell基础学习笔记 Shell是一门脚本语言,本笔记记录了Shell基础的学习,包括Shell脚本语言的基础语法,以及一些举例的应用等。 2022-06-29 后端 > Shell #Linux #笔记 #Shell
Linux基础学习笔记 Linux基础学习笔记,包括Linux的基本概述、文件目录结构、Vi/Vim编辑器的使用、系统管理、软件包管理等方面的基本知识,以及常用的基本Shell命令。 2022-06-28 操作系统 > Linux #Linux #笔记
Spark学习笔记-SparkCore(3)-累加器和广播变量 在Spark中有三大重要的数据结构,前面我们已经学习了RDD,本文主要学习剩余的累加器和广播变量。 2022-05-10 大数据 > Spark #笔记 #Spark
Scala匿名函数中下划线简化的注意事项 我们知道在Scala中,使用匿名函数的时候可以使用下划线来简化函数,但是在实际使用的时候还需要注意一些细节。 2022-05-10 大数据 > Scala #details #Scala
Spark学习笔记-SparkCore(2)-RDD序列化,依赖,持久化以及分区 在前面的介绍中我们以及学习了Spark中RDD的相关概念以及一些算子的使用。本文主要介绍RDD中一些其他的重要概念,包括RDD序列化、依赖关系、RDD的持久化以及分区器Partitioner。 2022-05-10 大数据 > Spark #笔记 #Spark