Hadoop学习笔记-HDFS(1)-HDFS概述

HDFS概述

1. HDFS是一种分布式文件系统，用于存储文件
2. 它适合一次写入，多次读取的场景
3. 优点：高容错性、适合处理大数据、廉价服务器
4. 缺点：不适合低延时数据访问、不能高效对大量小文件进行存储、不支持并发写入和文件随机修改，仅允许数据追加
5. 组成架构：使用主从式的分布式架构
   • NameNode
   • DataNode
   • Secondary NameNode
   • Client
6. 文件块大小：分块存储，文件块的大小通过dfs.blocksize来指定，在Hadoop2.x和3.x中，默认是128M，在1.x中默认是64M
   • 文件块设置的大小与磁盘传输的速率有关，如果传输速率更快，达到200M上下的话，可以将块大小设置成256M
   • HDFS块设置的太小的话，会增加寻址的时间
   • HDFS块设置的太大的话，不能充分利用分布式系统并行计算的能力，效率降低