随着互联网、移动互联网、物联网等的大数据技术广泛融合到商业、金融、教育、医疗、农业、电信、交通等各个行业,我们的时代真正进入了"数即万物,万物皆数"的大数据时代。大数据正在改变着我们生活的方方面面,引领未来社会的发展。
近几天我阅读了Google关于大数据的三篇经典论文：GFS，MapReduce，BigTable。阅读起来有些困难，理解起来也不是特别容易理解。以下是我对这三篇论文的一些看法。
首先是我对GFS的一些看法。GFS：Google File System。是一个面向大规模数据密集型应用的、可伸缩的分布式文件系统。GFS 与传统的分布式文件系统有着很多相同的设计目标，比如，性能、可伸缩性、可靠性以及可用性。他的设计思路是根据当前的和可预期的将来的应用规模和技术环境来评估传统的文件系统的特性。将他们引导到一个使用完全不同于传统的设计思路上。根据设计思路，认为组件失效是常态而不是异常，针对采用追加方式（有可能是并发追加）写入、然后再读取（通常序列化读取）的大文件进行优化，以及扩展标准文件系统接口、放松接口限制来改进整个系统。
其次是我对MapReduce的看法。MapReduce 是一个编程模型，也是一个处理和生成超大数据集的算法模型的相关实现。 MapReduce 架构的程序能够在大量的普通配置的计算机上实现并行化处理。这个系统在运行时只关心如何分割输入数据，在大量计算机组成的集群上的调度，集群中计算机的错误处理，管理集群中计算机之间必要的通信。采用 MapReduce 架构可以使那些没有并行计算和分布式处理系统开发经验的程序员有效利用分布式系统的丰富资源。 MapReduce 编程模型的原理是：利用一个输入 key/value pair 集合来产生一个输出的 key/value pair 集合。MapReduce 库的用户用两个函数表达这个计算：Map 和 Reduce。用户自定义的 Map 函数接受一个输入的 key/value pair 值，然后产生一个中间 key/value pair 值的集合。MapReduce 库把所有具有相同中间 key 值 I 的中间 value 值集合在一起后传递给 reduce 函数。 用户自定义的 Reduce 函数接受一个中间 key 的值 I 和相关的一个 value 值的集合。Reduce 函数合并这些value 值，形成一个较小的 value 值的集合。一般的，每次 Reduce 函数调用只产生 0 或 1 个输出 value 值。通常我们通过一个迭代器把中间 value 值提供给 Reduce 函数，这样我们就可以处理无法全部放入内存中的大量的 value 值的集合。
最后，是我对BigTable的一些看法。Bigtable 是一个分布式的结构化数据存储系统，它被设计用来处理海量数据：通常是分布在数千台普通夫服务器上的 PB 级的数据Google 的很多项目使用 Bigtable 存储数据，包括 Web 索引、Google Earth、Google Finance。这些应用对Bigtable 提出的要求差异非常大，无论是在数据量上（从 URL 到网页到卫星图像）还是在响应速度上（从后端的批量处理到实时数据服务）。尽管应用需求差异很大，但是，针对 Google 的这些产品，Bigtable 还是成功的提供了一个灵活的、高性能的解决方案。
参考教材：郭立夫《决策理论与方法》岳超源《决策理论与方法》第一章 绪论一、决策问题与概念二、决策的类型三、如何实施决策第二章 决策陷阱第三章 效用理论第四章 多属性效用第五章 多准则决策第六章 多属性决策第七章 群决策理论与方法第八章 冲突分析试验一 多属性决策方法应用实践...
SAP系统中，为了省去输入程序名称等繁琐步骤，SAP提供一种命令，称作‘事务代码’，通过执行事务代码达到快速进入相应程序的目的。
Lammps实现结冰匀相成核
以textbox为例 ①：先设置textbox的属性Multiline为true ②：组织好显示字符串：FistLine(第一行要显示的字符)、SecondLine(第二行要显示的字符)、。。。。。。。、第n行字符 ③：textbox.text="FistLine"+System.Environment.NewLine+"SecondLine"...
现在网络游戏或者联网游戏已经成为了PC平台上的主流，因此很多玩家在关注自己的爱机是否有足够性能运行游戏的同时，也非常关注自己的网络接入能否满足游戏的使用需求，对于游戏体验有较高要求的玩家甚至会对自己的网络系统进行升级，例如更换高性能的路由器和网卡等，以此避免网络系统的瓶颈给游戏体验带去影响。千兆有线网络的稳定性、抗干扰性和网络延迟上的表现已经得到了玩家的认可而在网络系统的搭建中，对游戏玩家我们一向...
1.什么是包 包是模块的一种形式，包的本质就是一个含有——init——.py文件的文件夹 导入包，读取的包文件夹里面的__init__.py文件2.为啥要有包？ 包是多种模块的集合 ，方便模块功能的管理、扩展与使用3.导入包的三步骤 1.创建一个包的名称空间 2.执行py文件...
消息队列提供了一种在两个不相关的进程之间传递数据的简单高效的方法。对于消息队列的操作，我们可以类比为这么一个过程：假如 A 有个东西要给 B，因为某些原因 A 不能当面直接给 B，这时候他们需要借助第三方托管（如银行），A 找到某个具体地址的建设银行，然后把东西放到某个保险柜里（如 1 号保险柜），对于 B 而言，要想成功取出 A 的东西，必须保证去同一地址的同一间银行取东西，而且只有 1 号保险柜的东西才是 A 给自己的。
第三届中国国际进口博览会于11月10日圆满结束了。超过60万人次的专业观众在回顾本届进博会的观感时都有一种叹为观止、不虚此行之感；超过3600家来自全世界150多个国家和地区的优秀企业代表，在回顾本届参展心得时更有一种意犹未尽、恋恋不舍之感。毕竟本届进博会展示体验精彩纷呈，采购签约从展会一开幕就高潮迭起、连绵不断。所有人都有着这样一种好奇——这场在疫情防控常态化大背景下的经贸盛会，和第一、第二两届究竟有着什么样的不同点，才那么具有魅力？ 全球高端自行车行业的领导者、中国高端自行车电商销量第一的品牌，意大利
原型：char *gcvt(double value, int ndigit, char *buf);相关函数 ecvt，fcvt，sprintf头文件：stdlib.h功能：将浮点型数转换为字符串，取四舍五入，同时返回一个指向字符串的存储位置的指针的函数说明：gcvt函数把一个浮点值转换成一个字符串(包括一个小数点和可能的符号字节)并存储该字符串在buffer中。该buffer应
近些年，基于深度学习的发展，计算机视觉在人工智能和深度学习的大背景下方兴未艾，与此同时，当越来越多的应用场景被挖掘出来时，也意味着计算机视觉的发展前景将无比广阔，其中图像处理技术就是最热...
Rook 是基于 Kubernetes 之上构建的存储服务框架。它支持 Ceph、NFS 等多种底层存储的创建和管理。帮助系统管理员自动化维护存储的整个生命周期。存储的整个生命周期包括部署...
hadoop/Linux环境准备（Windows11下）——创建虚拟机中ping后网络不可达ping不通的处理方法