Spark学习笔记-入门(1)-Spark概述以及环境搭建 Spark是一种基于内存的、快速、通用、可扩展的大数据分析计算引擎。本文简要介绍了Spark,以及Spark的几种工作环境的搭建。 2022-05-06 大数据 > Spark #笔记 #Spark #未完待续
Scala学习笔记-其他特性(1)-异常、泛型和隐式转换 除去核心特性,Scala的其他特性也是需要介绍的。本文主要介绍了Scala中的异常处理、泛型以及隐式转换。 2022-05-03 大数据 > Scala #笔记 #Scala
Scala学习笔记-核心特性(4)-模式匹配 在Scala中没有switch关键字,但是提供了模式匹配的功能来实现类似switch-case的多分支功能,并且同时具有更多方便强大的功能。 2022-05-03 大数据 > Scala #笔记 #Scala
Scala学习笔记-核心特性(3)-集合 在Java中,给我们提供了很多方便好用的集合类,在Scala中同样提供了对应的集合类。但是在Scala中,还是存在与Java不同的方面。 2022-05-02 大数据 > Scala #笔记 #Scala
Scala学习笔记-核心特性(2)-面向对象 在Scala的核心特性,除了函数式编程,还有面向对象。本文介绍了在Scala中面向对象的相关知识以及使用要点。在Scala中,面向对象的思想和Java的面向对象思想与概念是一致的,Scala的语法与Java不同,并补充了更多的功能。 2022-05-01 大数据 > Scala #笔记 #Scala
Scala学习笔记-核心特性(1)-函数式编程 Scala是一种多范式的编程语言,其中很重要的一点就是函数式编程。本文介绍了Scala中的函数式编程的相关知识以及使用要点。 2022-04-30 大数据 > Scala #笔记 #Scala
Scala学习笔记-入门(2)-Scala基础语法 本文介绍了Scala中的基础语法,包括Scala中的变量、数据类型、运算符、控制流等相关语法。 2022-04-29 大数据 > Scala #笔记 #Scala
Scala学习笔记-入门(1)-Scala简介 本文简要介绍了Scala,对比它与Java的特点,同时完成了环境搭建,并对Scala的HelloWorld原理进行了简要分析。 2022-04-29 大数据 > Scala #笔记 #Scala
MapReduce中Reduce阶段的对象重用以及Map阶段的空行表现 在自定义的Reduce函数中,可以理解为收到了key相同的一系列value的值,但是实际代码中的逻辑使用到了迭代器,同时有对象重用等,需要注意。另一方面,在Linux,Windows和Mac系统中,对于enter键的表现有所差别,同时观察Map阶段的空行输入表现。 2022-04-26 大数据 > Hadoop #MapReduce #details
HBase学习笔记-高级(3)-HBase Bulk Loading Bulk Load是HBase中的一种批量装载方式,我们可以通过MapReduce任务直接将数据写入HFile中,绕过于HBase的交互,在HFile生成之后再一次性建立HFile与HBase的关联。使用Bulk Load,我们可以绕过在HBase中Writle to WAL,Write to MemStore以及Flush to disk的过程。 2022-04-20 大数据 > HBase #HBase #笔记