MySQL到Kafka实时数据同步，手把手教你！-程序员宅基地
技术标签： python java mysql 数据库 大数据
点击蓝字 关注我们
很多 DBA 同学经常会遇到要从一个数据库实时同步到另一个数据库的问题。同构数据还相对容易，遇上异构数据、表多、数据量大等情况就难以同步。
我自己亲测了一种方式，可以非常方便地完成 MySQL 数据实时同步到 Kafka，跟大家分享一下，希望对你有帮助。
本次 MySQL 数据实时同步到 Kafka 大概只花了几分钟就完成。使用的工具是 Tapdata Cloud，这个工具是永久免费的。
第一步：配置MySQL 连接
1.点击 Tapdata Cloud 操作后台左侧菜单栏的【连接管理】，然后点击右侧区域【连接列表】右上角的【创建连接】按钮，打开连接类型选择页面，然后选择 MySQL；
2.在打开的连接信息配置页面依次输入需要的配置信息；
【连 接 名 称】设置连接的名称，多个连接的名称不能重复
【数据库地址】数据库 IP / Host
【端 口】数据库端口
【数据库名称】tapdata 数据库连接是以一个 db 为一个数据源。这里的 db 是指一个数据库实例中的 database，而不是一个 mysql 实例。
【账 号】可以访问数据库的账号
【密 码】数据库账号对应的密码
【时 间 时 区】默认使用该数据库的时区；若指定时区，则使用指定后的时区设置。
3.测试连接，提示测试通过；
4.测试通过后保存连接即可。
第二步：配置 Kafka 连接
1.同第一步操作，点击左侧菜单栏的【连接管理】，然后点击右侧区域【连接列表】右上角的【创建连接】按钮，打开连接类型选择页面，然后选择 Kafka
2.在打开的连接信息配置页面依次输入需要的配置信息，配置完成后测试连接保存即可。
第三步：选择同步模式-全量/增量/全+增
进入Tapdata Cloud 操作后台任务管理页面，点击添加任务按钮进入任务设置流程。
根据刚才建好的连接，选定源端与目标端。
根据数据需求，选择需要同步的库、表，如果你对表名有修改需要，可以通过页面中的表名批量修改功能对目标端的表名进行批量设置。
在以上选项设置完毕后，下一步选择同步类型，平台提供全量同步、增量同步、全量+增量同步，设定写入模式和读取数量。
如果选择的是全量+增量同步，在全量任务执行完毕后，Tapdata Agent 会自动进入增量同步状态。
在该状态中，Tapdata Agent 会持续监听源端的数据变化（包括：写入、更新、删除），并实时地将这些数据变化写入目标端。
点击任务名称可以打开任务详情页面，可以查看任务详细信息。
点击任务监控可以打开任务执行详情页面，可以查看任务进度/里程碑等的具体信息。
第四步：进行数据校验
一般同步完成后，我都习惯性进行一下数据校验，防止踩坑。
Tapdata Cloud 有三种校验模式，我常用最快的快速count校验 ，只需要选择到要校验的表，不用设置其他复杂的参数和条件，简单方便。
如果觉得不够用，也可以选择表全字段值校验 ，这个除了要选择待校验表外，还需要针对每一个表设置索引字段。
在进行表全字段值校验时，还支持进行高级校验。通过高级校验可以添加JS校验逻辑，可以对源和目标的数据进行校验。
还有一个校验方式关联字段值校验 ，创建关联字段值校验时，除了要选择待校验表外，还需要针对每一个表设置索引字段。
上面就是我亲测的 MySQL数据实时同步到 Kafka 的操作分享，希望对你有帮助！
其他数据库的同步操作
其他数据库数据实时同步到 Oracle、MySQL、PG、SQL Server、MongoDB、ES 、达梦、Kafka、GP、MQ、ClickHouse、Hazelcast Cloud、ADB MySQL、ADB PostgreSQL、KunDB、TiDB、Dummy DB 的方式也都是先配置源和目标的连接，然后新建任务选择同步模式：全量/增量/全量+增量。
因为步骤相同，其他就不再贴图说明了。
创建连接的时候，有没有发现：DB2、Sybase、Gbase 几个数据库现在是灰色锁定状态，应该是在开发中了，可能后续也会支持这些数据库的同步功能。
Tapdata Cloud 是承诺永久免费使用的，不过要求更高、有预算的朋友也可以使用企业版，还可以申请试用。
内容来源于作者：海拥，后续蓝桥云课也会上线他的课程，敬请期待~
如果你有任何编程问题，欢迎通过文末方式加入代码交流群讨论哦~
智能推荐
苹果https java_apple登录 后端java实现最终版-程序员宅基地
文章浏览阅读298次。import com.alibaba.fastjson.JSONArray;import com.alibaba.fastjson.JSONObject;import com.auth0.jwk.Jwk;import com.helijia.appuser.modules.user.vo.AppleCredential;import com.helijia.common.api.model.Api..._com.auth0.jwk.jwk
NLP学习记录（六）最大熵模型MaxEnt_顺序潜在最大熵强化学习(maxent rl)-程序员宅基地
文章浏览阅读4.7k次。原理在叧掌握关于未知分布的部分信息的情况下，符合已知知识的概率分布可能有夗个，但使熵值最大的概率分布最真实地反映了事件的的分布情况，因为熵定义了随机变量的不确定性，弼熵值最大时，随机变量最不确定，最难预测其行为。最大熵模型介绍我们通过一个简单的例子来介绍最大熵概念。假设我们模拟一个翻译专家的决策过程，关于英文单词in到法语单词的翻译。我们的翻译决策模型p给每一个单词或短语分配一..._顺序潜在最大熵强化学习(maxent rl)
计算机毕业设计ssm科研成果管理系统p57gs系统+程序+源码+lw+远程部署-程序员宅基地
文章浏览阅读107次。计算机毕业设计ssm科研成果管理系统p57gs系统+程序+源码+lw+远程部署。springboot基于springboot的影视资讯管理系统。ssm基于SSM高校教师个人主页网站的设计与实现。ssm基于JAVA的求职招聘网站的设计与实现。springboot校园头条新闻管理系统。ssm基于SSM框架的毕业生离校管理系统。ssm预装箱式净水站可视化信息管理系统。ssm基于SSM的网络饮品销售管理系统。
Caused by: org.xml.sax.SAXParseException; lineNumber: 38; columnNumber: 9; cvc-complex-type.2.3: 元素_saxparseexception; linenumber: 35; columnnumber: 9-程序员宅基地
文章浏览阅读1.6w次。不知道大家有没有遇到过与我类似的报错情况，今天发生了此错误后就黏贴复制了报错信息“Caused by: org.xml.sax.SAXParseException; lineNumber: 38; columnNumber: 9; cvc-complex-type.2.3: 元素 'beans' 必须不含字符 [子级], 因为该类型的内容类型为“仅元素”。”然后就是一顿的百度啊， 可一直都没有找到..._saxparseexception; linenumber: 35; columnnumber: 9; cvc-complex-type.2.3:
计算机科学与技术创新创业意见,计算机科学与技术学院大学生创新创业工作会议成功举行...-程序员宅基地
文章浏览阅读156次。(通讯员 粟坤萍 2018-04-19)4月19日，湖北师范大学计算机科学与技术学院于教育大楼学院会议室1110成功召开大学生创新创业工作会议。参与本次会议的人员有党总支副书记黄海军老师，创新创业学院吴杉老师，计算机科学与技术学院创新创业活动指导老师，15、16、17级各班班主任及学生代表。首先吴杉老师介绍了“互联网+”全国大学生创新创业大赛的相关工作进度，动员各级班主任充分做好“大学生创新创业大..._湖北师范 吴杉
【Android逆向】爬虫进阶实战应用必知必会-程序员宅基地
文章浏览阅读1.1w次，点赞69次，收藏76次。安卓逆向技术是一门深奥且充满挑战的领域。通过本文的介绍，我们了解了安卓逆向的基本概念、常用工具、进阶技术以及实战案例分析。然而，逆向工程的世界仍然在不断发展和变化，新的技术和方法不断涌现。展望未来，随着安卓系统的不断更新和加固，逆向工程将面临更大的挑战。同时，随着人工智能和机器学习技术的发展，我们也许能够看到更智能、更高效的逆向工具和方法的出现。由于篇幅限制，本文仅对安卓逆向技术进行了介绍和案例分析。
随便推点
Python数据可视化之环形饼图_数据可视化绘制饼图或圆环图-程序员宅基地
文章浏览阅读1.1k次。制作饼图还需要下载pyecharts库，Echarts 是一个由百度开源的数据可视化，凭借着良好的交互性，精巧的图表设计，得到了众多开发者的认可。随着学习python的热潮不断增加，Python数据可视化也不停的被使用，那我今天就介绍一下Python数据可视化中的饼图。在我们的生活和学习中，编程是一项非常有用的技能，能够丰富我们的视野，为各行各业的领域提供了新的角度。环形饼图的制作并不难，主要是在于数据的打包和分组这里会有点问题，属性的标签可以去 这个网站进行修改。图中的zip压缩函数，并分组打包。_数据可视化绘制饼图或圆环图
SpringMVC开发技术~5~基于注解的控制器_jsp/servlet到controller到基于注解的控制器-程序员宅基地
文章浏览阅读325次。1 Spring MVC注解类型Controller和RequestMapping注释类型是SpringMVC API最重要的两个注释类型。基于注解的控制器的几个优点：一个控制器类可以控制几个动作，而一个实现了Controller接口的控制器只能处理一个动作。这就允许将相关操作写在一个控制器类内，从而减少应用类的数量基于注解的控制器的请求映射不需要存储在配置文件中，而是使用RequestM..._jsp/servlet到controller到基于注解的控制器
利用波特图来满足动态控制行为的要求-程序员宅基地
文章浏览阅读260次，点赞3次，收藏4次。相位裕量可以从增益图中的交越频率处读取（参见图2）。使用的开关频率、选择的外部元件（例如电感和输出电容），以及各自的工作条件（例如输入电压、输出电压和负载电流）都会产生巨大影响。图2所示为波特图中控制环路的增益曲线，其中提供了两条重要信息。对于图2所示的控制环路，这个所谓的交越频率出现在约80 kHz处。通过使用波特图，您可以查看控制环路的速度，特别是其调节稳定性。图2. 显示控制环路增益的波特图（约80 kHz时，达到0 dB交越点）。图3. 控制环路的相位曲线，相位裕量为60°。
Glibc Error: `_obstack@GLIBC_2.2.5‘ can‘t be versioned to common symbol ‘_obstack_compat‘_`_obstack@glibc_2.2.5' can't be versioned to commo-程序员宅基地
文章浏览阅读1.8k次。Error: `_obstack@GLIBC_2.2.5’ can’t be versioned to common symbol '_obstack_compat’原因：https://www.lordaro.co.uk/posts/2018-08-26-compiling-glibc.htmlThis was another issue relating to the newer binutils install. Turns out that all was needed was to initi_`_obstack@glibc_2.2.5' can't be versioned to common symbol '_obstack_compat
基于javaweb+mysql的电影院售票购票电影票管理系统(前台、后台)_电影售票系统javaweb-程序员宅基地
文章浏览阅读3k次。基于javaweb+mysql的电影院售票购票电影票管理系统(前台、后台)运行环境Java≥8、MySQL≥5.7开发工具eclipse/idea/myeclipse/sts等均可配置运行适用课程设计，大作业，毕业设计，项目练习，学习演示等功能说明前台用户：查看电影列表、查看排版、选座购票、查看个人信息后台管理员：管理电影排版，活动，会员，退票，影院，统计等前台：后台：技术框架_电影售票系统javaweb
分分钟拯救监控知识体系-程序员宅基地
文章浏览阅读95次。分分钟拯救监控知识体系本文出自：http://liangweilinux.blog.51cto.com0 监控目标我们先来了解什么是监控，监控的重要性以及监控的目标，当然每个人所在的行业不同、公司不同、业务不同、岗位不同、对监控的理解也不同，但是我们需要注意，监控是需要站在公司的业务角度去考虑，而不是针对某个监控技术的使用。监控目标1.对系统不间断实时监控:实际上是对系统不间..._不属于监控目标范畴的是 实时反馈系统当前状态