后端分布式系列：分布式存储－HDFS Client 设计实现解析

前面对 HDFS NameNode 和 DataNode 的架构设计实现要点做了介绍，本文对 HDFS 最后一个主要构成组件 Client 做进一步解析。

流式读取

HDFS Client 为客户端应用提供一种流式读取模型，就像访问本机文件系统一样来访问 HDFS。将复杂的分布式文件系统读取细节隐藏，简化了上层应用的使用难度。写过读取本机文件的程序员想必都很熟悉流式读取的编程模型，就不多说了。

错误处理

相比读取本机文件系统，从分布式文件系统读取出错概率会更高。因此 HDFS Client 提供了一些附加功能来提升分布式文件系统读取访问的可用性。在从某个 DataNode 读取数据的过程中若发生错误异常，Client 会透明的转移到距离第二接近的 DataNode 上，并记住第一个 DataNode 读取失败，后续的 blocks 读取将不再尝试该 DataNode。除此之外 Client 对于读到的每个 block 进行 checksum 校验，若读到损坏的 block，则向 NameNode 汇报，并尝试从其他副本重新读取。

缓冲写入

创建文件并写入数据的操作并不是直接连到 DataNode 同步远程写入的，而是通过写入本地的一个临时文件来作缓冲。我们写本地文件也经常使用一种 BufferedWriter 来提高写入吞吐能力。本质上都是为了解决数据生产端和数据接收端处理能力的差异，在单机情况下磁盘操作慢，所以用内存 buffer 来缓冲。在分布式环境下，不仅要考虑磁盘还要考虑网络，所以用本地内存加上本地磁盘文件来做缓冲。

应用写 HDFS 的操作被透明的转移到写入本地文件，当本地文件积累的数据超过一个 block 的大小后，Client 才请求 NameNode 分配 DataNodes，Client 再将本地文件的数据一次性的发送到对应的 DataNodes 流水线处理。这实际是将同步写转变成了异步写过程，提高了写入吞吐性能。

当文件被关闭后，在 Client 端临时文件中剩下的数据将被传输给 DataNode。然后 Client 告知 NameNode 文件已关闭，写入完成。NameNode 此时才将新写入的文件持久化，若在文件关闭前 NameNode 宕机，则正在写入的文件算作丢失了。

总结

Client 在 HDFS 的三个主要部件中相对简单，在设计实现时更多考虑易用性、容错和性能。
至此，对 HDFS 的三个主要部件 NameNode、DataNode 和 Client 的设计实现要点进行了讲述，
后续会以主题文章对其中一些关键的技术点做进一步剖析。

参考

[1] Hadoop Documentation. HDFS Architecture.
[2] Robert Chansler, Hairong Kuang, Sanjay Radia, Konstantin Shvachko, and Suresh Srinivas. The Hadoop Distributed File System
[3] Tom White. Hadoop: The Definitive Guide. O’Reilly Media(2012-05), pp 94-96

---

下面是我自己开的一个微信公众号 [瞬息之间]，除了写技术的文章、还有产品的、行业和人生的思考，希望能和更多走在这条路上同行者交流，有兴趣可关注一下，谢谢。

<script type="text/javascript"> $(function () { $('pre.prettyprint code').each(function () { var lines = $(this).text().split('\n').length; var $numbering = $('<ul/>').addClass('pre-numbering').hide(); $(this).addClass('has-numbering').parent().append($numbering); for (i = 1; i <= lines; i++) { $numbering.append($('<li/>').text(i)); }; $numbering.fadeIn(1700); }); }); </script>