首页 > 云计算平台中分布式系统的底层原理与架构

云计算平台中分布式系统的底层原理与架构

本人一直从事Java开发,对C语言也十分熟悉。目前云计算,分布式文件系统(HDFS),分布式数据库系统(Mongodb等),分布式缓存系统(memchache,redis)等相关技术,都支持分布式部署。现在对分布式系统的心跳同步,一致性保证,动态增加机器等内容十分感兴趣,希望能从底层的原理到架构都有所了解,然后做一个简单的分布式系统练练手。

在京东上搜到以下两本书籍:
* 分布式系统原理与范型
* 分布式系统:概念与设计

不知道各位都是通过什么方式学习分布式系统的,如果有好的教程或者Github上有简单的分布式系统,请赐教。


题主自己已经举了一些例子了,基本上都是开源的,都很值得学习

需要了解的话可以买其中之一的权威书,但不要都看,贪多嚼不烂,虽然都是分布式系统,但是应用场景不一样,所以实现方式也有很多不同。

以下推荐都是开源的,也比较基础,挑自己喜欢的,买本书啃啃是不错的入门方式。除了看书,看论文也是了解他们的好方法,其实很多书也都是从这些系统的原始论文出来的,所以相关的著名文献我也贴了一些,贴的这些都是我比较了解的,质量有保障。

分布式计算框架:
Hadoop MapReduce
[1]Dean, J., & Ghemawat, S. (2004). MapReduce: Simplied Data Processing on Large Clusters. Proceedings of 6th Symposium on Operating Systems Design and Implementation, 137–149. http://doi.org/10.1145/1327452.1327492

分布式文件系统:
HDFS
[1]Shvachko, K., Kuang, H., Radia, S., & Chansler, R. (2010). The Hadoop Distributed File System. Proc. of the MSST - Symp. on Mass Storage Systems and Technologies, 1–10. http://doi.org/10.1109/MSST.2010.5496972
[2]Ghemawat S, Gobioff H, Leung S T. The Google file system[C]//ACM SIGOPS operating systems review. ACM, 2003, 37(5): 29-43.

资源管理系统:
YARN,Mesos
[1] Verma, A., Pedrosa, L., Korupolu, M., Oppenheimer, D., Tune, E., & Wilkes, J. (2015). Large-scale cluster management at Google with Borg. Proceedings of the Tenth European Conference on Computer Systems - EuroSys ’15, 1–17. http://doi.org/10.1145/2741948.2741964
[2]Hindman, B., Konwinski, A., Platform, a, Resource, F.-G., & Zaharia, M. (2011). Mesos: A platform for fine-grained resource sharing in the data center. Proceedings of the …, 32. http://doi.org/10.1109/tim.2009.2038002
[3]Vinod Kumar Vavilapalli, Arun C Murthy, Chris Douglas, Sharad Agarwali, Mahadev Konar, Robert Evans, … Eric Baldeschwieler. (2013). Apache Hadoop YARN : Yet Another Resource Negotiator. ACM Symposium on Cloud Computing, 16. http://doi.org/10.1145/2523616.2523633
[4]Schwarzkopf, M., & Konwinski, A. (2013). Omega: flexible, scalable schedulers for large compute clusters. EuroSys ’13 Proceedings of the 8th ACM European Conference on Computer Systems, 351–364. http://doi.org/10.1145/2465351.2465386

分布式一致性:
Zookeeper
[1]Burrows M. The Chubby lock service for loosely-coupled distributed systems[C]//Proceedings of the 7th symposium on Operating systems design and implementation. USENIX Association, 2006: 335-350.


我是最近开始了解hadoop的生态圈,才对分布式文件系统有点点了解。

【热门文章】
【热门文章】