巨杉数据库 CTO 王涛：新一代分布式数据库-程序员宅基地

2019数据技术嘉年华于11月16日在京落下了帷幕。大会历时两天，来自全国各地上千名学术精英、数据库领袖人物、数据库专家、技术爱好者在这里汇聚一堂，围绕“开源 • 智能 • 云数据 － 自主驱动发展 创新引领未来”的大会主题，共享"开源自研，云和数据，智能运维，智能业务，数据前沿，用户实践"六大主题盛宴。

在此小编为大家精心准备了“2019数据技术嘉年华——大咖演讲系列整理”，没来参会的朋友们，可以通过我们的系列报道，了解在本次大会中最新的数据行业资讯。爱好技术的朋友们不可错过哦~


本文是小编依据王涛老师在“2019数据技术嘉年华”大会现场演讲速记稿整理而来。

关注公众号“数据和云”，回复： 2019dtc ，更多精彩ppt等你下载！（PPT还在不断更新当中，请持续关注）

640?wx_fmt=jpeg
SequoiaDB 巨杉数据库 CTO

各位尊敬的领导、各位专家，大家早上好！ 今天非常荣幸能够参与这次“2019数据技术嘉年华”大会，我是巨杉数据库的CTO 王涛，今天我汇报的主题是：“ 新一代分布式数据库”。

分布式数据库也并不是最近几年刚兴起的词语，我自己原来做IBM  DB2的，可能很多人不知道DB2是支持分布式事务的关系型数据库。 IBM  DB2从上世纪90年代开始做分布式数据库，同时也支持分布式事务。

先来回顾一下 整个数据库的行业是怎样发展的，当前整个数据库的行业分布是什么样的。 从数据库的发展史来看，大家都知道关系型数据库并不是最古老的数据库，它从上个世纪70年代发展而来，这之前有IBM类似网状或者层次性的数据库， 到了70年代IBM研究员发表了关系型数据库的论文才促成第一款关系型数据库Oracle的诞生。 关系型数据库作为一个巨无霸，像Oracle、DB2一统江湖到了现在。 就 像现在很多新型数据库，包括我们也都开始支持分布式的事务， 比如说MongoDB这一类 也在开始支持分布式的交易，向很多事务型数据库靠拢。

在几十年过程当中，我们发现除了软件本身之外最大的变化是硬件。 从最开始的大型主机到90年代的小型机，直到现在大家使用PC服务器做部署，数据库发展和硬件发展息息相关绑在一起。

640?wx_fmt=png
数据库行业的技术发展路线

随着金融业务的移动互联网化和智能化，传统数据库已经无法应对数据量大、系统架构僵化及成本过高等诸多问题。 与此同时，这些问题的存在也成为推动传统业务向 分布式架构转型的驱动力。

640?wx_fmt=png

分布式架构转型的驱动力

所以我们认为分布式数据库当前要解决的问题，它的目标是什么？ 它有两个目标：第一是要解决数据的弹性扩展，一个机器存不下用十个机器来存； 第二，我们认为微服务的应用架构中，它所面临的严重的数据碎片化的问题，过去用一个数据库搞定的事现在用一百个数据库，怎么管理怎么使用这些数据库。

当前数据库的业界有几种做法：
第一种做法，这种做法最直接、最常规就是应用程序的改造。 这样我们对底层数据库使用最传统的类似于Oracle或者DB2传统数据库，从应用程序层面我们把一个紧耦合数据库拆分成上百个服务，这种机制依然存在数据的瓶颈，包括它的数据紧耦合，无法弹性扩张还有单点故障的问题，还有一个连接处极速增加。 这样对于传统数据库来讲压力非常大。
第二种做法，每一组的微服务对应一个独立的小数据库。 往往大家使用像MySQL或者像PG这种数据库来做。 这种机制它是能够解决集中式存储的问题，但是会带来新的巨大的挑战，数据的碎片化以及运维非常难的问题。 比如这种架构之下，假设上面四个微服务是来自同一个业务它的四个不同的模块，比如一个是用户账户，如果我们现在有一个应用报表需要来看某一个账户相关的登陆请求，我的数据分散多个子的数据库里，我想把它联合的集中起来是非常困难的。

所以我们认为真正的分布式数据库它要做的架构是什么样子？在某种程度，现在很多人说云数据库但我们认为整个思路都是接近的，大家可以看作整个分布式数据库是一个大的资源池，这个资源池里负责的是存储跟事务控制，所有的数据是存储在整个的底座里，但它这个底座之上可以通过创建不同类型的数据库实例满足上面多种业务需求。这个是我们认为分布式数据库它的整体的设计思路就是计算、存储、分离，整个计算层在上面的实例层，底下存储层负责数据本身存储和分布式事务。

640?wx_fmt=png
数据库如何应对微服务应用框架

说到分布式数据库本身，我们再看一下分布式数据库的业界都有几种玩法。   
首先，第一种玩法也是我们最经典的玩法，那就是所谓的应用程序的 分库分表，某种程度上我们不能说这是分布式数据库，而是说一种分布式应用的开发策略。 但也带来数据的极大碎片化，数据无法整合。
第二种做法， 原生数据库分布。 不管像巨杉还是高斯还是阿里都是使用类似的架构，其本质就是在数据库原生层面按照分布式策略来进行设计，所有代码是完全自研的。
还有一种是， 垂直分库。
就这三种架构，我做了一个简单的对比，这是我自己总结的一些东西，供大家参考一下。

640?wx_fmt=png
分布式数据库技术发展体系对比

说到分布式数据库，大家真正所关心的是什么？ 还是交易。 我们现在再说分布式数据库，大家所指的都是分布式的交易型数据库。
我们认为在评价一个新型分布式数据库有 两大维度、六个技术的方向。 两大维度分别是 传统技术兼容性和 新技术的前瞻性。 我们使用新产品时，对于传统机器兼容性还是十分看重的，不可能抛弃所有应用开发框架，再重新起一套东西。 新技术的前瞻也一样，既然是新的一种技术，自然要和分布式弹性扩展云服务结合起来，所以这块我们又列出了六个特性（六个维度）：
第一，ACID的支持。
第二，SQL完整支持。
第三，安全性。
第四，分布式与扩展性。
第五，HTAP。
第六，云与多租户。

640?wx_fmt=png

交易业务需要什么样的分布式数据库

我大概来介绍一下，巨杉数据库的设计过程当中，我们的理念是在什么地方。 我们把整个的数据库分成两层，第一层是数据库的 实例层，整个集群对外体现的是一个一个的不同的数据库实例，比如有MySQL实例、PG实例，还有非结构化的实例；第二层我们叫做 分布式存储层， 所有数据存储，所有事务交易都是在存储层来做的。

说到分布式交易型数据库，大家肯定关心事务。 对于事务来讲我们使用的是二段提交机制，像刚才讲到的，我们过去在IBM  DB2从上世纪90年代就涉足分布式的事务。 我们在二段提交基础上做很多创新和改良，比如当你做提交时会有时间窗，如果时间窗发生故障需要做手动操作，可以做到自动事务恢复并且保证事务完整性。

640?wx_fmt=png

强大的分布式事务能力


我们跟 MySQL的兼容性，对于MySQL来讲，我们是可以保证是在语法层面和MySQL有一个百分之百的兼容。 对于用户在MySQL上开发的应用，基本上可以做到不用改，拿过来直接运行。 我们现在有很多客户应用直接从MySQL或者PG上迁移过来，我们在数据库集群里创建MySQL兼容实例和PG兼容实例就可以满足这一点。

640?wx_fmt=png
MySQL兼容能力

下面，再简单介绍一下我们现在都有哪些场景在使用。 首先，我给大家几个数字，银行是我们主要服务的行业，我们现在在银行生产环境最大的单集群超过 2PB存储量，单集群超过 5440亿条记录存储，整个单一集群 141台物理服务器， 81个应用连接在上面，我们认为作为新型分布式数据库在一个银行级别的生产环境里能够有这种类型的集群，相对比较少见。

640?wx_fmt=png
金融级应用数据领先

我们整个技术方向是来自于IBM  DB2作为最核心的底层工程师，同时我们结合了业界分布式云数据库理念来构建一个分布式数据库。 我们所服务应用场景，主要是集中在四个场景： 核心交易、数据中台、内容管理、实时数据服务 。 我们在银行里主要应用场景也是围绕这四类的。

640?wx_fmt=png
规模应用场景，覆盖全维度金融级数据应用

Gartner是国际比较权威的咨询机构，我们17年 Gartner首 次把中国数据库纳入他们的评估列表里，17年我们首次和阿里云作为中国数据库纳入到他们的列表里。 我们也是 连续三年入选Gartner。

640?wx_fmt=png
海内外业界认可

最后我说一下SequoiaDB 3.4新版本。 在这个版本里面，我们在数据库的实例、数据库引擎和大对象引擎的三个领域进行了很大的提升。 欢迎大家下载！

我大概的分享就是这些，谢谢大家！

小编提醒 ： 关于 《2019数据技术嘉年华PPT》正在整理完善中，在“数据和云”公众号后台回复：2019dtc，即可下载！

出处：墨天轮（https://www.modb.pro/doc/topic/11536，复制到网页中打开或者点击“阅读原文”）

DBASK，DBA的即时问答平台

扩展阅读

640?wx_fmt=png

数据和云

ID：OraNews

如有收获，请划至底部，点击“在看”，谢谢！

资源下载

关注公众号：数据和云（OraNews）回复关键字获取

help，30万+下载的完整菜单栏

2019DTCC，数据库大会PPT

2018DTCC , 数据库大会PPT

2018DTC，2018 DTC 大会 PPT

ENMOBK，《Oracle性能优化与诊断案例》

DBALIFE，“DBA 的一天”海报

DBA04，DBA 手记4 电子书

122ARCH，Oracle 12.2体系结构图

2018OOW，Oracle OpenWorld 资料

产品推荐

云和恩墨BethuneX  企业版，集监控、巡检、安全于一身，你的专属数据库实时监控和智能巡检平台，漂亮的不像实力派，你值得拥有！

640?wx_fmt=png

云和恩墨zData一体机现已发布超融合版本和精简版，支持各种简化场景部署，零数据丢失备份一体机ZDBM也已发布，欢迎关注。

640?wx_fmt=jpeg

云和恩墨大讲堂 | 一个分享交流的地方

长按，识别二维码，加入万人交流社群

640?wx_fmt=jpeg

请备注：云和恩墨大讲堂

640
戳这里，阅读原文
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/enmotech/article/details/103154267

智能推荐

案例分享——低压电力线载波通信模组（借助电源线实现远距离数据传输、宽压输入、波特率范围广、应用场景多样化）_电力载波模块csdn-程序员宅基地

文章浏览阅读2k次，点赞7次，收藏10次。物联网领域，有很多数据通信场景，因为原设备整体系统结构、运行环境等方面的限制，需求在不增加通信数据线缆的情况下实现数据的远程传输，因为特殊应用场景下考虑到环境的限制，还不能使用常规的无线通信手段，所以借助电源线缆进行传输的电力线载波技术应运而生，本次博文给大家分享的就是博主完全自主研发的低压电力线载波通信模组。_电力载波模块csdn

密码学基础_密码体制的五个要素-程序员宅基地

文章浏览阅读7.4k次。密码学基本概念 密码学（Cryptology）是结合数学、计算机科学、电子与通信等学科于一体的交叉学科，研究信息系统安全的科学。起源于保密通信技术。具体来讲，研究信息系统安全保密和认证的一门科学。 密码编码学，通过变换消息（对信息编码）使其保密的科学和艺术 密码分析学，在未知密钥的情况下从密文推_密码体制的五个要素

python支持中文路径_基于python 处理中文路径的终极解决方法-程序员宅基地

文章浏览阅读1.9k次。1 、据说python3就没有这个问题了2 、u'字符串' 代表是unicode格式的数据，路径最好写成这个格式，别直接跟字符串'字符串'这类数据相加，相加之后type就是str，这样就会存在解码失误的问题。别直接跟字符串'字符串'这类数据相加别直接跟字符串'字符串'这类数据相加别直接跟字符串'字符串'这类数据相加unicode类型别直接跟字符串'字符串'这类数据相加说四遍3 、有些读取的方式偏偏..._python 路径 中文

阿里云 B 站直播首秀，用 Serverless 搭个游戏机？-程序员宅基地

文章浏览阅读107次。最近，阿云 B 站没声音，是在憋大招！8月5日周四 19:00 是阿里云的直播首秀，给大家请来了 Forrester 评分世界第一的 Serverless 团队产品经理江昱，给大家在线...._阿里云直播b站

什么是TCP/IP协议？-程序员宅基地

文章浏览阅读5.9w次，点赞103次，收藏665次。TCP/IP协议模型（Transmission Control Protocol/Internet Protocol），包含了一系列构成互联网基础的网络协议，是Internet的核心协议。_tcp/ip协议

linux中cgroup的简单使用_cgroup使用-程序员宅基地

文章浏览阅读2.5k次，点赞26次，收藏34次。Linux CGroup全称Linux Control Group， 是Linux内核的一个功能，用来限制，控制与分离一个进程组群的资源（如CPU、内存、磁盘输入输出等）。这个项目最早是由Google的工程师在2006年发起（主要是Paul Menage和Rohit Seth），最早的名称为进程容器（process containers）。在2007年时，因为在Linux内核中，容器（container）这个名词太过广泛，为避免混乱，被重命名为cgroup，并且被合并到2.6.24版的内核中去。_cgroup使用

随便推点

Magento 常用插件二-程序员宅基地

文章浏览阅读1.4k次。1. SMTP 插件 URL：http://www.magentocommerce.com/magento-connect/TurboSMTP/extension/4415/aschroder_turbosmtp KEY：magento-community/Aschroder_TurboSmtp 2. Email Template Adapter..._magento extension pour ricardo.ch

【连载】【FPGA黑金开发板】Verilog HDL那些事儿--低级建模的资源（六）-程序员宅基地

文章浏览阅读161次。声明：本文为原创作品，版权归akuei2及黑金动力社区共同所有，如需转载，请注明出处http://www.cnblogs.com/kingst/ 2.5 低级建模的资源 低级建模有讲求资源的分配，目的是使用“图形”来提高建模的解读性。 图上是低级建模最基本的建模框图，估计大家在实验一和实验二已经眼熟过。功能模块（低级功能模块）是一个水平的长方形，而控制模块（低级控制模块）是矩形。组..._cyclone ep2c8q208c黑金开发板

R语言实用案例分析-1_r语言案例分析-程序员宅基地

文章浏览阅读2.2w次，点赞10次，收藏63次。在日常生活和实际应用当中，我们经常会用到统计方面的知识，比如求最大值，求平均值等等。R语言是一门统计学语言，他可以方便的完成统计相关的计算，下面我们就来看一个相关案例。1. 背景最近西安交大大数据专业二班，开设了Java和大数据技术课程，班级人数共100人。2. 需求通过R语言完成该100位同学学号的生成，同时使用R语言模拟生成Java和大数据技术成绩，成绩满分为100，需要满足正_r语言案例分析

Java知识体系总结（2024版），这一次带你搞懂Spring代理创建过程-程序员宅基地

文章浏览阅读639次，点赞11次，收藏26次。虽然我个人也经常自嘲，十年之后要去成为外卖专员，但实际上依靠自身的努力，是能够减少三十五岁之后的焦虑的，毕竟好的架构师并不多。架构师，是我们大部分技术人的职业目标，一名好的架构师来源于机遇(公司)、个人努力(吃得苦、肯钻研)、天分(真的热爱)的三者协作的结果，实践+机遇+努力才能助你成为优秀的架构师。如果你也想成为一名好的架构师，那或许这份Java成长笔记你需要阅读阅读，希望能够对你的职业发展有所帮助。一个人可以走的很快，但一群人才能走的更远。

车辆动力学及在Unity、UE4中的实现_unity 车辆动力学模型-程序员宅基地

文章浏览阅读3.9k次，点赞9次，收藏53次。受力分析直线行驶时的车轮受力如下：水平方向上，所受合力为：F=Ft+Fw+FfF=F_t+F_w+F_fF=Ft​+Fw​+Ff​其中，FtF_tFt​为牵引力，FwF_wFw​为空气阻力，FfF_fFf​为滚动阻力，下面我们将逐个介绍。驱动力先来说扭矩，扭矩是使物体发生旋转的一个特殊力矩，等于力和力臂的乘积，单位为N∙mN∙mN∙m：设驱动轴的扭矩为TtT_tTt​，车轮半径为rrr，那么牵引力：Ft=Tt⁄rF_t=T_t⁄rFt​=Tt​⁄r如何求得驱动轴扭矩TtT_tTt​呢？_unity 车辆动力学模型

在vue中使用web3.js开发以太坊dapp_如何使用web3和vue.js创建你的第一个以太坊dapp-程序员宅基地

文章浏览阅读1.8w次，点赞2次，收藏65次。前端如何使用以太坊智能合约方法这里讲的是前端与MetaMask之间的交互文中涉及到的官方文档web3.js 1.0中文手册MetaMask官方文档web3.js文件链接：https://pan.baidu.com/s/1_mPT-ZcQ9GU_U1CVhBKpLA提取码：cbey//在vue中安装web3npm install web3 --save//在main.js引入import Web3 from 'web3'Vue.prototype.Web3 = Web3一、唤起Me_如何使用web3和vue.js创建你的第一个以太坊dapp

推荐文章

热门文章

相关标签