分布式系统的“三驾马车” | 历史上的今天

整理 | 王启隆

透过「历史上的今天」，从过去看未来，从现在亦可以改变未来。

今天是 2022 年 12 月 5 日，在 121 年前的今天，娱乐业巨头沃尔特·迪斯尼（Walt Disney）诞生；他所创造的米老鼠形象和迪士尼乐园影响了各行各业，尤其是影响了好莱坞的发展。回顾科技历史上的 12 月 5 日，这一天还发生了哪些关键事件，影响着我们如今的计算机行业呢？

1965 年 12 月 5 日：世界上第一篇计算机科学博士论文

图源：维基百科

Richard L.Wexelblat 是全世界计算机科学项目中第一个完成论文的候选人。许多博士候选人都从事过与计算机相关的工作，但由宾夕法尼亚大学（ENIAC 的所在地）颁发的 Weexelblat 的文凭是第一个带有“计算机科学”称号的文凭。

Wexelblat 是一名美国计算机科学家，他分别于 1959 年 6 月、1961 年 6 月和 1965 年 12 月 5 日在宾夕法尼亚大学摩尔电气工程学院获得 BSEE、MSEE 和 CS 博士学位。根据 ACM 报告，他是第一个被正式认可的计算机科学系授予的博士学位。

不过要注意的是，他并不是第一个计算机科学博士，而是第一个由计算机科学系颁发的博士。在离开学校后，Wexelblat 离开了计算机行业，成为了一名木工工匠，和他的妻子居住在宾夕法尼亚州科茨维尔的一个老年机构。

资料来源：维基百科

1995 年 12 月 5 日：IBM 推出超级计算机“深蓝”

“深蓝”是 IBM 开发的一款会下国际象棋的超级计算机。它历史上第一个成功在标准国际象棋比赛中打败卫冕世界冠军的计算机系统；“深蓝”的胜利被认为是人工智能历史上的一个里程碑，并成为了许多科幻小说和电影的灵感来源。

“深蓝”的开发始于 1985 年卡内基梅隆大学的芯片测试项目，当时这个项目被简单地命名为 Deep Thought，IBM 抓住机会雇佣了这个开发团队。1989 年，它被重新命名为深蓝，并于 1995 年 12 月 5 日正式亮相。深蓝的名字源自其雏型电脑“沉思”（Deep Thought）及 IBM 的昵称“蓝色巨人”（Big Blue），由两个名字合并而成。

图源：维基百科

“深蓝”在 1996 年与世界冠军加里·卡斯帕罗夫（Garry Kasparov）的六场比赛中首次交锋，以 4 比 2 落败。这台电脑经过了大幅升级，并在 1997 年再次与卡斯帕罗夫对决。在赢得六局重赛后，它成为了第一个在标准国际象棋锦标赛时间控制下击败卫冕世界冠军的计算机系统。IBM 在比赛后宣布深蓝退役。

卡斯帕罗夫在比赛落败后说，他在观察电脑下棋时感觉电脑的决定有智能及创意，是他所不能理解的。他亦认为电脑在棋局中可能有人类的帮助，因此要求重赛，但 IBM 拒绝。2003 年一部纪录片正为此而拍摄，名为《游戏结束：卡斯帕罗夫与电脑（Game Over：Kasparov and the Machine）》，并指出深蓝广被宣传的胜利，是由 IBM 一手炮制，务求令其股票价格上升。

电脑的胜出引来部分人的恐惧，他们害怕电脑最终会战胜人类，就如一些科幻小说、电影的桥段；而另一些人则认为这场比赛只是一项科学实验，并期望电脑的发展可协助人类解决更多现实的问题。你如何看待人工智能的未来？欢迎在评论区分享你的真知灼见。

资料来源：维基百科

2004 年 12 月：分布式系统的“三驾马车”

GFS、MapReduce 和 Bigtable 被称为谷歌分布式系统的“三驾马车”。

• 其中，GFS 来源于格玛沃特在 2003 年 10 月发表的论文“ The Google File System ”。

• MapReduce 则来源于杰夫·迪恩在 2004 年 12 月发表的 论文“ MapReduce: Simplified Data Processing on Large Clusters ”。

• 关于 Bigtable，可参阅 Fay Chang 在 2006 年 11 月发表的论文“ Bigtable: A Distributed Storage System for Structured Data ”。

凡是谈及大数据，谷歌的这“三驾马车”就是绕不开的话题；三驾马车中的第一架便是 GFS（Google 文件系统），可以说分布式文件存储是分布式计算的基础，也可见分布式文件存储的重要性。

GFS 是谷歌提出的一种专有分布式文件系统，由早期的 BigFiles 发展而来，以满足谷歌搜索引擎的海量数据存储和使用需求。GFS 的特点是更好地应对单节点的高故障率和随后的数据丢失问题。而 HDFS 便是 GFS 的一个开源实现。

GFS 的提出者是桑杰·格玛沃特（Sanjay Ghemawat），他是一名计算机科学家、软件工程师，现为谷歌高级研究员。格玛沃特贡献突出的知名项目包括 GFS、MapReduce、Bigtable 和 Spanner，与杰夫·迪恩合作密切。而杰夫·迪恩，便是在 2004 年 12 月的论文提出第二驾马车 MapReduce 的人。

MapReduce 是由谷歌提出的一种框架（或者说算法），用于处理大规模数据的并行运算。MapReduce 既是一个编程模型，又是一个计算框架，开发人员必须基于 MapReduce 编程模型进行编程开发，然后将程序通过 MapReduce 计算框架分发到集群中运行。MapReduce 的主要思想来自函数式编程中常用的 map 和 reduce，但其关键贡献在于通过优化执行引擎为各种应用实现的可扩展性和容错性。Hadoop 是 MapReduce 的一个开源实现。

“三驾马车”的最后一驾便是 Bigtable，这是谷歌提出的一种专有分布式存储系统，用于存储大规模结构化数据。Bigtable 适用于云端计算，属于谷歌云平台的一部分。Bigtable 基于 GFS、Chubby Lock Service、SSTable 等技术构建，核心优势在于扩展性和性能。HBase 是 Bigtable 的一个开源实现，HBase 为可伸缩海量数据储存而设计，实现面向在线业务的实时数据访问延迟。

大数据离不开云处理，云处理为大数据提供了弹性可拓展的基础设备，是产生大数据的平台之一。如今的大数据技术已开始和云计算技术紧密结合，在生活中随处可见；你认为 2022 年的云平台会如何发展？欢迎在评论区分享你的真知灼见。

【欢迎投稿】以史为镜，可以知兴替。计算机科学发展至今，有许多至关重要的事件、人物，欢迎所有朋友一起共建「历史上的今天」，投稿邮箱：[email protected] 。

☞AMD 回击黄仁勋：摩尔定律没死；英国 22% 的技术人员年龄 50 岁或以上；PyTorch 2.0 发布|极客头条
☞挑战 Google 搜索？OpenAI 发布最强 AI 对话系统 ChatGPT
☞AIGC , 超级热点 or 程序员创富新起点？

在线申请SSL证书行业最低 =>立即申请

[广告]赞助链接：

关注数据与安全，洞悉企业级服务市场：https://www.ijiandao.com/
让资讯触达的更精准有趣：https://www.0xu.cn/