什么是 HDFS？

HDFS （Hadoop 分布式文件系统）具有高容错性，这是通过在服务器集群的每个节点上复制存储数据来实现。通过数据冗余备份，即使某个节点发生故障，也能确保数据的可用性和完整性。HDFS 的高容错性使其非常适合构建大规模、高可靠的数据存储和处理平台，满足大数据时代对数据可靠性的高要求。

HDFS 可以通过大型集群将超大文件拆分成多个数据块进行存储，从而支持超大文件的存储。HDFS 还支持自定义数据块大小，可以根据实际情况进行设置，有效提高大文件的存储效率和读写性能。此外，HDFS 能够水平扩展存储容量，通过增加更多节点来满足海量数据存储的需求，非常适合构建大规模数据存储和处理平台。

由于 HDFS 采用数据复制的方式实现数据冗余备份，因此可以使用低成本的机器来搭建 HDFS 集群，而不需要过多考虑单个机器的性能和可靠性。这使得构建大规模、高可靠的 HDFS 存储系统的成本相对较低。HDFS 的这一特性使其非常适合构建大规模数据存储和处理平台，满足大数据时代对存储系统的低成本和高可扩展性的需求。

HDFS 最基本的数据冗余机制是复制。通过在多个节点上存储数据副本，即使某些节点发生故障，数据也不会丢失。默认情况下，HDFS 会将数据复制3份，但复制因子可以根据需要进行配置。

除了简单复制，HDFS 还使用了一些数据编码技术确保数据可用性。这些技术允许异步编码复制数据，并在编码后删除额外副本。另一种方法是用纠删码替代复制，数据被编码后，即使部分数据丢失也可以从剩余片段中恢复。

为了进一步提高可靠性，HDFS 会将数据副本分布在不同的机架。这样，即使整个机架发生故障，数据仍然可以从其他机架上的副本中获取。通常情况下，HDFS 会将两个副本存储在同一机架，第三个副本存储在另一个机架。

HDFS 采用多副本存储策略，每个数据块默认存储 3 个副本。如果某个数据块损坏或丢失，HDFS会自动从其他副本中获取数据进行恢复。如果在复制数据块时出现异常，导致某些数据块的副本数量不足，HDFS 会自动触发重新复制过程，以确保每个数据块都有足够的副本数量。

由于文件块可能会因为网络异常、硬件故障或软件漏洞等原因损坏，HDFS 实现了校验机制，定期对数据块进行校验和检查，以保证数据的完整性和正确性。一旦发现损坏的数据块，HDFS 会自动从其他副本中恢复。

HDFS 的元数据由 NameNode 管理，包括文件系统树和数据块与 DataNode 的映射关系。为了避免单点故障导致整个 HDFS 集群失效，NameNode 的元数据以 FsImage 和 EditLog 两种形式存储，并配置了 SecondaryNameNode 定期合并 FsImage 和 EditLog，生成新的一致的 FsImage。同时，HDFS 还支持配置多个 NameNode，通过主备热备份和元数据同步机制，实现元数据的高可用性。

在 HDFS 中，大量的数据请求比元数据请求更常见。为了提高数据吞吐量，HDFS 采用了数据块位置感知调度策略，尽量将计算任务调度到存储数据块的 DataNode 节点上，从而最大限度减少数据传输。

HDFS 的作业跟踪器（Job Tracker）和任务跟踪器（Task Tracker）之间存在数据位置感知能力。作业跟踪器可以根据数据位置将 Map 或 Reduce 作业调度到相应的任务跟踪器，从而减少网络流量并防止不必要的数据传输。这对于数据密集型作业来说，可以显著缩短作业完成时间。

虽然 HDFS 通过跨多个主机复制数据来实现可靠性，理论上消除了在主机上使用冗余磁盘阵列（RAID）存储的需求。但某些 RAID 配置仍然有助于提高输入/输出（I/O）性能。

HDFS 并不完全兼容 POSIX，这是一种权衡，旨在提高数据吞吐量的性能，并支持非 POSIX 操作，如 Append。

HDFS 已添加高可用性功能，允许主元数据服务器 NameNode 手动故障转移到备份节点。该项目还开始开发自动故障转移功能。