Spark学习笔记-SparkCore(1)-RDD以及相关算子 Spark计算框架为了能够进行高并发和高吞吐的数据处理,封装了三大数据结构以用于处理不同的应用场景。这三大数据结构分别是RDD(弹性分布式数据集)、累加器(分布式共享只写变量)和广播变量(分布式共享只读变量)。本文介绍了RDD的相关概念以及一些相关算子的使用。 2022-05-08 大数据 > Spark #笔记 #Spark
Spark学习笔记-入门(1)-Spark概述以及环境搭建 Spark是一种基于内存的、快速、通用、可扩展的大数据分析计算引擎。本文简要介绍了Spark,以及Spark的几种工作环境的搭建。 2022-05-06 大数据 > Spark #笔记 #Spark #未完待续
Scala学习笔记-其他特性(1)-异常、泛型和隐式转换 除去核心特性,Scala的其他特性也是需要介绍的。本文主要介绍了Scala中的异常处理、泛型以及隐式转换。 2022-05-03 大数据 > Scala #笔记 #Scala
Scala学习笔记-核心特性(4)-模式匹配 在Scala中没有switch关键字,但是提供了模式匹配的功能来实现类似switch-case的多分支功能,并且同时具有更多方便强大的功能。 2022-05-03 大数据 > Scala #笔记 #Scala
Scala学习笔记-核心特性(3)-集合 在Java中,给我们提供了很多方便好用的集合类,在Scala中同样提供了对应的集合类。但是在Scala中,还是存在与Java不同的方面。 2022-05-02 大数据 > Scala #笔记 #Scala
Scala学习笔记-核心特性(2)-面向对象 在Scala的核心特性,除了函数式编程,还有面向对象。本文介绍了在Scala中面向对象的相关知识以及使用要点。在Scala中,面向对象的思想和Java的面向对象思想与概念是一致的,Scala的语法与Java不同,并补充了更多的功能。 2022-05-01 大数据 > Scala #笔记 #Scala
Scala学习笔记-核心特性(1)-函数式编程 Scala是一种多范式的编程语言,其中很重要的一点就是函数式编程。本文介绍了Scala中的函数式编程的相关知识以及使用要点。 2022-04-30 大数据 > Scala #笔记 #Scala
Scala学习笔记-入门(2)-Scala基础语法 本文介绍了Scala中的基础语法,包括Scala中的变量、数据类型、运算符、控制流等相关语法。 2022-04-29 大数据 > Scala #笔记 #Scala
Scala学习笔记-入门(1)-Scala简介 本文简要介绍了Scala,对比它与Java的特点,同时完成了环境搭建,并对Scala的HelloWorld原理进行了简要分析。 2022-04-29 大数据 > Scala #笔记 #Scala