各大型网站架构分析收集_利用阿里云产品,设计一个高可用的架构,并估算一年的费用_追寻北极的博客-程序员秘密

技术标签: architecture  

1. PlentyOfFish 网站架构学习
http://www.dbanotes.net/arch/plentyoffish_arch.html

采取 Windows 技术路线的 Web 2.0 站点并不多,除了 MySpace ,另外就是这个 PlentyOfFish。这个站点提供 “Online Dating” 服务。一个令人津津乐道的、惊人的数据是这个只有一个人(创建人Markus Frind)的站点价值 10 亿,估计要让很多人眼热,更何况 Markus Frind 每天只用两个小时打理网站–可操作性很强嘛。

2. 从LiveJournal后台发展看 大型网站系统架构以及性能优化方法
http://www.example.net.cn/archives/2006/03/olivejournaloio.html

LiveJournal是99年始于校园中的项目,几个人出于爱好做了这样一个应用,以实现以下功能:
* 博客,论坛
* 社会性网络,找到朋友
* 聚合,把朋友的文章聚合在一起

LiveJournal采用了大量的开源软件,甚至它本身也是一个开源软件。

在上线后,LiveJournal实现了非常快速的增长:
* 2004年4月份:280万注册用户。
* 2005年4月份:680万注册用户。
* 2005年8月份:790万注册用户。
* 达到了每秒钟上千次的页面请求及处理。
* 使用了大量MySQL服务器。
* 使用了大量通用组件。

3. YouTube 的架构扩展
http://www.dbanotes.net/opensource/youtube_web_arch.html

在西雅图扩展性的技术研讨会上,YouTube 的 Cuong Do 做了关于 YouTube Scalability 的报告。视频内容在 Google Video 上有(地址),可惜国内用户看不到。
Kyle Cordes 对这个视频中的内容做了介绍。里面有不少技术性的内容。值得分享一下。(Kyle Cordes 的介绍是本文的主要来源)

4. WikiPedia 技术架构学习分享
http://www.dbanotes.net/opensource/wikipedia_arch.html

维基百科(WikiPedia.org)位列世界十大网站,目前排名第八位。这是开放的力量。

来点直接的数据:

* 峰值每秒钟3万个 HTTP 请求
* 每秒钟 3Gbit 流量, 近乎375MB
* 350 台 PC 服务器

5. Tailrank 网站架构
http://www.dbanotes.net/review/tailrank_arch.html

每天数以千万计的 Blog 内容中,实时的热点是什么? Tailrank 这个 Web 2.0 Startup 致力于回答这个问题。

专门爆料网站架构的 Todd Hoff 对 Kevin Burton 进行了采访。于是我们能了解一下 Tailrank 架构的一些信息。每小时索引 2400 万的 Blog 与 Feed,内容处理能力为 160-200Mbps,IO 写入大约在10-15MBps。每个月要处理 52T 之多的原始数据。Tailrank 所用的爬虫现在已经成为一个独立产品:spinn3r。

6. LinkedIn 架构笔记
http://www.dbanotes.net/arch/linkedin.html

LinkedIn 雇员有 180 个,在 Web 2.0 公司中算是比较多的,不过人家自从 2006 年就盈利了,这在 Web 2.0 站点中可算少的。用户超过 1600 万,现在每月新增 100 万,50% 会员来自海外(中国用户不少,也包括我).

7. Yahoo!社区架构
http://www.dbanotes.net/arch/yahoo_arch.html

旧金山举行的 QCon 会议带给我们很多新鲜的信息。虽然没机会参加,但是看看各个网站”晒架构”也是个比较过瘾的事情。请参观并收藏这个页面:Architectures you’ve always wondered about。

8. Craigslist 的数据库架构
http://www.dbanotes.net/database/craigslist_database_arch.html

Craigslist 绝对是互联网的一个传奇公司。根据以前的一则报道:

每月超过 1000 万人使用该站服务,月浏览量超过 30 亿次,(Craigslist每月新增的帖子近 10 亿条??)网站的网页数量在以每年近百倍的速度增长。Craigslist 至今却只有 18 名员工(现在可能会多一些了)。

9. Fotolog.com 的技术信息拾零
http://www.dbanotes.net/review/fotolog_arch.html

尽管是世界上最大的图片服务网站, Fotolog.com 在国内的名气并不是很响亮, 每当提到图片服务, 很多人第一个会想起 Flickr. 但实际上 Fotolog 也的确是很猛的, Alexa 上的排名一直在 Flickr 前面, 目前注册用户超过 1100 万. 而前不久也卖了一个好价钱, 9000 万美金. 算下来的话, 1 个注册用户大约 9 美金. Yupoo 的刘平阳可以偷着算算自己的网站如果卖给老外是怎样一个价格了.

10. Digg 网站架构
http://www.dbanotes.net/arch/digg_arch_cache_and_shard.html

Digg 工程师采用 LAMP (Linux, Apache, MySQL and PHP) 模式。这个 Alexa 排名在 100 左右的、自我估价 1.5 亿美金的站点目前有超过 100 台的 PC 服务器(足够少了),可以粗略分成三个部分:数据库服务器,Web 服务器,搜索服务器。

11. Amazon 的 Dynamo 架构
http://www.dbanotes.net/techmemo/amazon_dynamo.html

我在 DBAnotes.net 上记录过不少比较大的网站架构分析(eg: eBay [1], eBay [2]) ,Amazon 一直找不到太多的资料。国庆期间读到了一篇关于 Amazon Dynamo 的论文,非常精彩。Amazon Dynamo 这个高可用、可扩展存储体系支撑了Amazon 不少核心服务.

12. 财帮子(caibangzi.com)网站架构
http://www.dbanotes.net/arch/caibangzi_web_arch.html

财帮子(caibangzi.com) 定位在”基金理财社区”。是国内访问量最大的基于 Ruby on rails 的 startup 项目。“理财”这个词据说是光大银行发明的,且不去管,不可否认的是,目前国内”理财”是个很有潜力的切入点。财帮子网站潜在用户群还是很大的。

13. 了解一下 Technorati 的后台数据库架构
http://www.dbanotes.net/web/technorati_db_arch.html

目前处理着大约 10Tb 核心数据, 分布在大约 20 台机器上.通过复制, 多增加了 100Tb 数据, 分布在 200 台机器上. 每天增长的数据 1TB. 通过 SOA 的运用, 物理与逻辑的访问相隔离, 似乎消除了数据库的瓶颈. 值得一提的是, 该扩展过程始终是利用普通的硬件与开源软件来完成的. 毕竟 , Web 2.0 站点都不是烧钱的主. 从数据量来看,这绝对是一个相对比较大的 Web 2.0 应用.

14. 说说大型高并发高负载网站的系统架构
http://www.toplee.com/blog/?p=71

我在CERNET做过拨号接入平台的搭建,而后在Yahoo&3721从事过搜索引擎前端开发,又在MOP处理过大型社区猫扑大杂烩的架构升级等 工作,同时自己接触和开发过不少大中型网站的模块,因此在大型网站应对高负载和并发的解决方案上有一些积累和经验,可以和大家一起探讨一下。

15. 大型高负载网站架构 的感想

http://atman.memoab.com/articles/194



转载:http://blog.csdn.net/lovingprince/article/details/3379710

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/joeyon/article/details/47396237

智能推荐

mybatis返回map数据,解决null值实体不返回的问题_mybatis map参数为null_朝花不迟暮的博客-程序员秘密

springboot整合mybatis返回map字段,value为空时这个字段就不返回。而我们希望及时是空,也可以将空值返回,所以在配置文件中添加mybatis配置mybatis: configuration: call-setters-on-nulls: true

SpringBoot入门_林夕的蓝胖子的博客-程序员秘密

Spring Boot 并不是一个全新的框架,而是将已有的 Spring 组件整合起来。特点是去掉了繁琐的 XML 配置,改使用约定或注解。所以熟悉了 Spring Boot 之后,开发效率将会提升一个档次。约定优于配置的这种做法在如今越来越流行了,它的特点是简单、快速、便捷。但是这是建立在程序员熟悉这些约定的前提上。而...

详解 二叉树 Binary Tree 的深度优先遍历和广度优先遍历_二叉树深度广度优先遍历_空空掌门的博客-程序员秘密

目录一,构建二叉树二、二叉树的遍历-深度优先遍历三、层序遍历-广度优先遍历四、总结一,构建二叉树二叉树是在计算机中非常常用的一种数据结构。二叉树中每个节点最多只能有两个子节点。很多时候我们要对整个树进行遍历,遍历操作不仅仅是对二叉树有意义,其他所有的树都可能要进行遍历操作,另外图型数据结构中遍历也是一个非常常规的操作。在这里可以通过二叉树的遍历来体会一下遍历这种操作。一颗二叉树的基本代码如下。/** * 二叉树 * */public class BST&lt

开源系统-咖啡壶部署安装_xiaotang_zxt的博客-程序员秘密

咖啡壶链接地址:https://gitee.com/celaraze/chemex?_from=gitee_search咖啡壶(Chemex)是一个轻量的、现代设计风格的 ICT 资产管理系统。得益于Laravel框架以及Dcat Admin开发平台,使其具备了优雅、简洁的优秀体验。 咖啡壶(Chemex) 是完全免费且开源的,任何人都可以无限制的修改代码以及部署服务,这对于很多想要对ICT资产做信息化管理的中小型企业来说,是一个很好的选择:低廉的成本换回的是高效的管理方案,同时又有健康的生态...

Java多线程系列-多线程合集1_FeelTouch Labs的博客-程序员秘密

转自:http://blog.csdn.net/u013256816/article/details/51325246#t6本文主要整理博主遇到的Java多线程的相关知识点,适合速记,故命名为“小抄集”。本文没有特别重点,每一项针对一个多线程知识做一个概要性总结,也有一些会带一点例子,习题方便理解和记忆。1. interrupted与isInterrupted的区别interrupte

KBQA 图谱问答论文整理_Necther的博客-程序员秘密

公众号 系统之神与我同在本文来自知乎和微信公众号收集综述1.Core techniques of question answering systems over knowledge bases: a survey. Dennis Diefenbach, Vanessa Lopez, Kamal Singh, Pierre Maret. Knowledge and Information Systems(2017). [PDF]2.A Survey of Question Answering over

随便推点

关闭虚拟机linux防火墙命令_程序杂谈的博客-程序员秘密

关闭防火墙。service iptables stop永久关闭修改配置开机不启动防火墙:chkconfig iptables off

线性回归与梯度下降法——原理与实现_lHz76ttw1U的博客-程序员秘密

看了coursea的机器学习课,知道了梯度下降法。一开始只是对其做了下简单的了解。随着内容的深入,发现梯度下降法在很多算法中都用的到,除了之前看到的用来处理线性模型,还有BP神经网络等。于是就有了这篇文章。本文主要讲了梯度下降法的两种迭代思路,随机梯度下降(Stochastic gradient descent)和批量梯度下降(Batch gradient descent)。以及他们在py

交叉编译环境搭建_来自南陵县的平头哥的博客-程序员秘密

【实验目的】 了解交叉编译工具链的概念、安装配置及使用【实验环境】 1、ubuntu 14.04发行版【实验步骤】 1、在ubuntu的用户家目录底下创建toolchain目录$ cd ~$ mkdir toolchain$cd toolchain 将学生资料中“工具与源码\交叉编译工具链”中的toolchain-4.5.1.farsight.tar.bz2拷贝到toolchain目录底下并且解压$ tar -xvf toolchai...

本地进程间的通信方式_本地通信有哪些_qwerLoL123456的博客-程序员秘密

        进程间是无法随意通信的,但有时候我们也需要多个进程间通信,其实操作系统也为我们提供了几种机制来实现进程间的通信;比如说:队列( queue )、管道( pipe )、进程管理器( manager )、信号量等。下面重点介绍一下队列( queue )、管道( pipe )、进程管理器( manager )。1.Queue ( 队列 )我们可以使用multiprocessing模块中的...

[RK3288][Android6.0] 调试笔记 --- hwclock命令无法使用_linux使用hwclock找不到文件_KrisFei的博客-程序员秘密

Platform: Rockchip OS: Android 6.0 Kernel: 3.10.92现象: 使用hwclock,提示找不到文件[email protected]:/ # hwclock hwclock: /dev/misc/rtc: No such file or directo

在ubuntu12.04下编译android4.1.2添加JNI层出现问题_dengdun6257的博客-程序员秘密

tiny4412学习者,在ubuntu12.04下编译android4.1.2添加JNI层出现问题: (虚心请教解决方法)trouble writing output: Too many methods:65540; max is65536. By package: 26 android 145 android.accessibilityservice...

推荐文章

热门文章

相关标签