分布式系统学习资料汇总

本文首发自公众号：“木鸟杂记”，会不定期更新。欢迎订阅我的分布式系统和数据库专栏：系统日知录，https://xiaobot.net/p/system-thinking

引子

时下，随着通信技术的发展、移动互联网的普及、物联网车联网人工智能的兴起，每天所产生的数据呈爆炸性的增长。这种尺度的数据不是传统单机系统可以独立处理的，而只能借助于大规模的分布式系统，因而分布式系统渐渐的变成一门“显学”。而作为一个分布式系统初学者，面对网上未加归类、浩如烟海的学习资料，很容易两眼抓瞎。

但分布式系统有其基本研究内容和独特发展脉络，比如：

一些基本研究问题：时序问题、一致性问题、容错技术、共识算法、并发控制等等。
一些基本定理：CAP、PACELC、FLP
渐次发展的工业系统：MapReduce、Spark、GFS、Dynamo、Cosmos

因此只需要在“时空”两个维度对分布式系统进行把握，就能提纲挈领，愈学愈明。“时”表示分布式系统的演进脉络，可以通过阅读不同时期、学术界工业界的一些论文来把握。“空”表示分布式系统中所研究的基本问题的拆解，可以通过阅读一些书籍建立分布式系统的知识体系。本文将我在学习分布式系统知识过程搜集到的一些资料，按类别简单汇总，以飨诸君。资料排名没有先后，请按需采用。

**注：**文中推荐的资料大多为英文，如果阅读有困难，推荐使用 Chrome 浏览器，并且给 Chrome 装一个 “google 翻译”的插件，可以点击一键“翻译此页面”。

书籍

Dr. Martin Kleppmann. Designing Data-Intensive Applications

《构建数据密集型应用》，https://dataintensive.net/buy.html，作者提供免费英文版下载，网上也可以搜到。

全书分为三大部分：

系统基石（Foundations of Data System）
分散数据（Distributed Data）
衍生数据（Derived Data）

系统基石部分探讨了数据系统的一些通用侧面：

可靠性、可扩展性、可维护性（Reliable, Scalable, and Maintainable Applications）
数据模型和查询语言（Data Models and Query Languages）
数据存储和检索（Storage and Retrieval）
数据编码和演进（Encoding and Evolution）

分散数据部分讨论了构建分散在多机上的数据系统和一些原则和面临的问题：

冗余（replication）
分片（Partition）
事务（Transactions）
分布式系统存在的问题（The Trouble With Distributed Systems）
一致性和共识（Consistency and Consensus）

衍生数据部分其实是在探讨分散在多机上的系统的处理问题。包括：

批处理（Batch Processing）
流式处理（Stream Processing）
数据系统的未来（The Future of Data Systems）

近年来流批系统趋于融合，从而让用户能够更加灵活、高效的对原始数据进行处理和变换。

这些章节拆分的都非常棒。熟读本书，让你在遇到一个新系统时，可以如庖丁解牛一般熟练拆解成为多个构件，并了每个构件背后的权衡取舍（trade off）。

M. van Steen and A.S. Tanenbaum, Distributed Systems, 3rd ed., distributed-systems.net, 2017.

《分布式系统》第三版，https://www.distributed-systems.net/index.php/books/ds3/。作者提供英文版 PDF 免费下载链接，简介：

本书分为九个小结：

简介（Introduction）
架构（Architecture）
进程（Processes）
通信（Communication）
命名系统（Naming）
协同（Coordination）
一致性和多副本（Consistency and replication）
容错（Fault Tolerance）
安全（Security）

作者还提供了 Python 示例代码和图表下载。

Mikito Takada. Distributed System for fun and profit

一本免费的分布式系统小书：http://book.mixu.net/distsys/，介绍了分布式系统中的一些关键概念和设计考量，助你了解知名的商用系统如 Dynamo、BigTable、MapReduce、Hadoop 背后的设计原理。作者将分布式编程的考量归结为两个方面：

信息以光速传递
分离组件会独立出错

然后将全书分为五个小节：

分布式系统基础（Basics）：粗粒度的介绍了一些名词和概念，探讨了系统的目标以及实现的难度
自上而下的层层抽象（Up and down the level of abstraction）：介绍了 CAP 定理和 FLP impossibility ，然后探讨了多种一致性模型。
时与序（time and order）。理解分布系统的关键之一，便是要理解分散的组件如何确定时间的先后顺序。
多副本：避免分裂（Replication: preventing divergence）：多副本间如何保持一致
多副本：接受分歧（Replication: accepting divergence）：多副本间如何处理冲突

公开课

MIT 6.824: Distributed Systems

最经典的分布式系统课程之一：https://pdos.csail.mit.edu/6.824/schedule.html。

课程亮点在于：

精选的论文列表
精巧的实验设计

非常适合自学。

MIT 6.824 分布式系统

https://www.bilibili.com/video/BV1qk4y197bB/

Cambridge Concurrent and Distributed Systems

剑桥大学的并发和分布式课程， https://www.cl.cam.ac.uk/teaching/2021/ConcDisSys/materials.html

DDIA 作者 Martin Kleppmann 主讲。

CMU 15-440: Distributed Systems

cmu 的分布式系统：https://www.cs.cmu.edu/~dga/15-440/S14/syllabus.html。

本课程讲义比较好，实验别有一番风味。

Standford CS244b: Distributed Systems

斯坦福大学的分布式系统课程 CS244b Schedule，以读论文为主。

Standford 6.S897 Large-Scale Systems, Fall 2015

斯坦福大学 2015 年秋季的博士课程：大规模系统。以讲义和 talk 为主，分很多有趣的子章节：Storage、Coordination、Parallel Processing、Resource Managers、Structured Data、Advanced Analytics、Serving Systems。

UW CSE490H: Distributed Systems

华盛顿大学的分布式系统课程：https://courses.cs.washington.edu/courses/cse490h/11wi/。最近几年的课程没有开还是没有公开，最近的是 2011 年的。也提供了一个不错的论文阅读列表。

WISC CS-739: Distributed Systems

Index of /~remzi/Classes/739/Papers 这是一个长长的论文列表。

香港中文大学公开课(吕荣聪)

https://www.bilibili.com/video/BV1L741157c9/

开源项目

存储

Hadoop， https://github.com/apache/hadoop ，Java：可以通过 tag 看早期代码，包含 MapReduce 和 GFS 的开源实现
SeaweedFS ，https://github.com/chrislusf/seaweedfs， Golang：参考了 Facebook Haystack 和 F4
Minio，https://github.com/minio/minio， Golang：一个经典的开源实现的对象存储
TiDB，https://github.com/pingcap/tidb，Golang，提供 MySql 访问接口的分布式数据库
JuiceFS，juicedata/juicefs， Golang，基于对象存储的分布式文件系统

共识算法

Etcd，https://github.com/etcd-io/etcd，Golang：Raft 的一个实现，用于 k8s 中。也可以用于任何分布式系统的控制面的数据存储。
Zookeeper，https://github.com/apache/zookeeper，Java：实现了 Zab 共识协议，最初用于 Hadoop 中存储元信息，地位和 Etcd 类似。