技术标签: mysql # Maxwell 数据库 maxwell
Maxwell:实时监控Mysql数据库的数据变更操作(包括insert、update、delete),并将变更数据以 JSON 格式发送给 Kafka、Kinesi等流数据处理平台。
Maxwell的工作原理是实时读取MySQL数据库的二进制日志(Binlog),从中获取变更数据,再将变更数据以JSON格式发送至Kafka等流处理平台。
JSON数据格式
字段 | 解释 |
---|---|
database | 变更数据所属的数据库 |
table | 表更数据所属的表 |
type | 数据变更类型 |
ts | 数据变更发生的时间 |
xid | 事务id |
commit | 事务提交标志,可用于重新组装事务 |
data | 对于insert类型,表示插入的数据;对于update类型,标识修改之后的数据;对于delete类型,表示删除的数据 |
old | 对于update类型,表示修改之前的数据,只包含变更字段 |
二进制日志(Binlog)是MySQL服务端非常重要的一种日志,它会保存MySQL数据库的所有数据变更记录。Binlog的主要作用包括主从复制和数据恢复。Maxwell的工作原理和主从复制密切相关。
BinLog与HBase中的WAL(Write ahead log)预写日志功能类似,记录对数据库操作的语句。
应用场景
工作原理
存在的问题:由于主从执行的命令一样,但当产生随机数或now()插入当前时间戳等情况时会造成主从不一致的情况。
Maxwell将自己伪装成slave,并遵循MySQL主从复制的协议,从master同步数据。
下载Maxwell (https://github.com/zendesk/maxwell/releases/download/v1.29.2/maxwell-1.29.2.tar.gz)
Maxwell-1.30.0及以上版本不再支持JDK1.8
解压安装到指定目录
tar -zxvf maxwell-1.29.2.tar.gz -C /opt/module/
修改配置文件/etc/my.cnf配置Mysql,启动Mysql BinLog
my.cnf
[mysqld]
#数据库id
server-id = 1
#启动binlog,该参数的值会作为binlog的文件名
log-bin=mysql-bin
#binlog类型,maxwell要求为row类型
binlog_format=row
#启用binlog的数据库,需根据实际情况作出修改
binlog-do-db=gmall
Statement-based:基于语句,Binlog会记录所有写操作的SQL语句,包括insert、update、delete等。
优点: 节省空间
缺点: 有可能造成数据不一致,例如insert语句中包含now()函数。
Row-based:基于行,Binlog会记录每次写操作后被操作行记录的变化。
优点:保持数据的绝对一致性。
缺点:占用较大空间。
mixed:混合模式,默认是Statement-based,如果SQL语句可能导致数据不一致,就自动切换到Row-based。
Maxwell要求Binlog采用Row-based模式。
重启mysql服务
sudo systemctl restart mysqld
创建Mexwell所需数据库和用户名
Maxwell需要在MySQL中存储其运行过程中的所需的一些数据,包括binlog同步的断点位置(Maxwell支持断点续传)
创建数据库
create database maxwell
调整Mysql数据库密码等级
每次重启mysql服务后,如果需要设置简单的密码,则需要进行如下操作
set global validate_password_policy=0;
set global validate_password_length=4;
创建Maxwell用户并赋予其必要权限
创建maxwell用户,指定密码为maxwell,并且可以通过任意的ip使用该用户连接mysql;
将maxwell库中所有表的全部权限赋予通过任意ip使用maxwell登录mysql的用户;
将其与库的表赋予部分权限。
CREATE USER 'maxwell'@'%' IDENTIFIED BY 'maxwell';
GRANT ALL ON maxwell.* TO 'maxwell'@'%';
GRANT SELECT, REPLICATION CLIENT, REPLICATION SLAVE ON *.* TO 'maxwell'@'%';
配置Maxwell
切换至Maxwell目录并修改Maxwell配置文件名称
cp config.properties.example config.properties
修改Maxwell配置文件config.properties
#Maxwell数据发送目的地,可选配置有stdout|file|kafka|kinesis|pubsub|sqs|rabbitmq|redis
producer=kafka
#目标Kafka集群地址
kafka.bootstrap.servers=hadoop102:9092,hadoop103:9092,hadoop104:9092
#目标Kafka topic,可静态配置,例如:maxwell,也可动态配置,例如:%{database}_%{table}
kafka_topic=maxwell
#MySQL相关配置
host=hadoop102
user=maxwell
password=maxwell
jdbc_options=useSSL=false&serverTimezone=Asia/Shanghai
依次启动hadoop集群、zookeeper、kafka
启动maxwell
启动前先在kafka中创建好maxwell主题,否则会报错。可以在日志文件中查看。
此问题也可以通过修改maxwell源码解决。
/opt/module/maxwell/bin/maxwell --config /opt/module/maxwell/config.properties --daemon
停止maxwell
ps -ef | grep maxwell | grep -v grep | grep maxwell | awk '{print $2}' | xargs kill -9
maxwell启停脚本mxw
#!/bin/bash
MAXWELL_HOME=/opt/module/maxwell
status_maxwell(){
result=`ps -ef | grep maxwell | grep -v grep | wc -l`
return $result
}
start_maxwell(){
status_maxwell
if [[ $? -lt 1 ]]; then
echo "启动Maxwell"
$MAXWELL_HOME/bin/maxwell --config $MAXWELL_HOME/config.properties --daemon
else
echo "Maxwell正在运行"
fi
}
stop_maxwell(){
status_maxwell
if [[ $? -gt 0 ]]; then
echo "停止Maxwell"
ps -ef | grep maxwell | grep -v grep | awk '{print $2}' | xargs kill -9
else
echo "Maxwell未在运行"
fi
}
case $1 in
start )
start_maxwell
;;
stop )
stop_maxwell
;;
restart )
stop_maxwell
start_maxwell
;;
esac
启动Kafka消费者
bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic maxwell
模拟生成数据
java -jar gmall2020-mock-db-2021-01-22.jar
观察Kafka消费者可以查看到消费的数据
我们在进行增量同步之前,先进行一次历史数据的全量同步。这样就能保证得到一个完整的数据集。Maxwell提供了bootstrap功能来进行历史数据的全量同步。
/opt/module/maxwell/bin/maxwell-bootstrap --database gmall --table user_info --config /opt/module/maxwell/config.properties
bootstrap数据格式
{
"database": "fooDB",
"table": "barTable",
"type": "bootstrap-start",
"ts": 1450557744,
"data": {
}
}
{
"database": "fooDB",
"table": "barTable",
"type": "bootstrap-insert",
"ts": 1450557744,
"data": {
"txt": "hello"
}
}
{
"database": "fooDB",
"table": "barTable",
"type": "bootstrap-insert",
"ts": 1450557744,
"data": {
"txt": "bootstrap!"
}
}
{
"database": "fooDB",
"table": "barTable",
"type": "bootstrap-complete",
"ts": 1450557744,
"data": {
}
}
DataX和MaxWell不能同时使用于一张表,原因是DataX的数据与MaxWell的数据格式不同。DataX是一条一条的信息(DataX通过JSON格式的文件作为配置文件,定制两端的Reader和Writer的信息(表)格式),而MaxWell是一条一条JSON格式的信息。
文章浏览阅读2.5w次,点赞19次,收藏142次。1.问题自从发现Selenium这块新大陆后,许多异步加载、js加密、动态Cookie等问题都变得非常简单,大大简化了爬虫的难度。但是有些时候使用Selenium仍然有一些缺陷,比如现在很多网站数据都是通过json结构的接口来交互,通过分析报文的方式直接发包可以直接拿到json数据,数据不但全而且还很好解析,这比解析html网页容易多了。另一个非常重要的问题就是,很多时候一些接口返..._采集软件 抓取network的请求
文章浏览阅读1w次。现在做的小程序项目需要适配iphoneX,所以不再使用page自身的滚动,需要在判断是iphoneX机型下把view底部留白34px;34px是避开iphoneX底部的操作范围,以下代码同样适用H5。实现方法:最外层用content包裹滚动,默认情况下滑动时手指松开即停止滑动。为了实现顺滑滚动,加上这句代码:-webkit-overflow-scrolling: auto | touch;auto...
文章浏览阅读4.2k次,点赞9次,收藏60次。Python 3.8 + PyCharm + PyQt5(四)-串口助手UI布局代码编写模块加载代码实现线程发送数据所有后面讲解和记录的源码都会在GuiHub中,可以自行下载上节我们讲到通过数字输入框,然后做了一个简单的加法,操作了按钮事件,字符转换等。这次我们来讲讲实现串口助手,通过串口进行通讯。UI布局首先创建pycharm工程建立新的UI,并拖拽QT控件,进行UI的布局,布局如下,当然个人喜好,喜欢怎么放就怎么放。当然两个按钮分别对应了2个槽:一个打开串口槽:一个发送给数据槽:_pycharm怎么制作串口
文章浏览阅读64次。1.我们为什么使用Jmeter开源,免费,基于Java编写,可集成到其他系统可拓展各个功能插件 支持接口测试,压力(负载和压力)测试等多种功能,支持录制回放, 入门简单相较于自己编写框架活其他开源工具,有较为完善的UI界面,便于接口调试 多平台支持,可在Linux,Windows,Mac上运行,支持多协议2.Jmeter的作用接口测试 postman/jmeter/soapui性能测试 jmeter/loadrunner数据库测试 jmeter/loadrunner3.Jmeter的目录结构/
文章浏览阅读1.1k次。编译环境:Dev-C++迭代回溯方法求解0-1背包问题的具体算法实现_0-1背包问题的回溯算法设计c语言
文章浏览阅读2.4k次。Ubuntu12.10安装系统的中文语音的时候一直卡住,安装不上,按我这个急性子不小心我把整个系统关闭了,再重启系统后,当进入账号界面输入正确密码后,电脑一直黑屏,无法进入桌面(可以看到鼠标)。上网查了一些方法试了不行:比如如下:图形界面程序损坏,可能是在更新内核或者安装软件的时候,把与xorg相关的文件给清除了。系统黑屏后 Ctrl+ALT+F4 进入 命令行模式sudo..._lightdm输入密码后进不去dwm
文章浏览阅读2k次,点赞2次,收藏11次。1、Node是什么?(转自:https://blog.csdn.net/m0_37938910/article/details/103673105)Node.js 就是运行在服务端的 JavaScript。Node.js不是一种独立的语言,也不是一个JavaScript的框架,Node.js只是一个让JavaScript运行在浏览器之外的平台。它采用事件驱动、异步编程、为网络服务而设计,实现了诸如文件系统、模块、包、操作系统 API、网络通信等 Core JavaScript 没有或者不完善的功能。N_一. node.js编程题(共1题,100分) 1. (编程题) 下载并解压附件,编写程序将txt目录
文章浏览阅读4.8k次,点赞3次,收藏31次。TensorFlow Object Detection API介绍物体检测是检测图片或视频中所出现的全部物体,并用矩形进行标注,物体的类别可以包括多种,比如:人、车、动物等等,即正确的答案可以是多个。TensorFlow提供了用于检测图片或视频中所包含物体的接口(Object Detection API),具体详情可参考下面链接:https://github.com/tensorflow/m..._label_map_util
文章浏览阅读346次。我正在设计一组要打印的HTML页面,我希望页面的元素最终达到相同的比例.例如,有一类div,宽度定义为200px宽,出现在几页上.当每个页面打印时,我希望它的尺寸显示为相同的尺寸(适用于例如切割和叠加).我正在使用一些在Chrome中最好的东西(主要是CSS缩放规则,可以在其他地方使用较小的元素),所以我希望继续使用Chrome. (这在Firefox中更容易,因为它在打印对话框中具有明确的比..._html 打印时 放大
文章浏览阅读939次。在我们平时布局网站的时候,想要把div进行隐藏,但是很多人不知道css控制div显示隐藏?下面我们来讲解一下css如何让div隐藏。一:使用display:none属性来隐藏div我们可以使用display:none属性来隐藏所有的信息,包括文本和图片,语法为:这里你是看不到的当我们使用div中的css样式,我们就可以使用display:none属性对内容进行隐藏,并且通过浏览器也是看不到的,同时..._隐藏 css
文章浏览阅读1.6k次。css3动画库,预设了抖动(shake)、闪烁(flash)、弹跳(bounce)、旋转(rotateIn|rotateOut)、翻转(flip)、淡入淡出(fadeIn|fadeOut)等动画效果。1、过渡动画是需要触发条件的(hover事件或click事件等),只能完成简单的动画。2、加统一的类名animated,然后选择自己想要的动画效果,然后复制粘贴。第一个animated是必须添加的样式名,第二个是指定的动画样式名。2、帧动画不需要任何的触发条件,可以完成复杂轨迹的动画。_css3动画插件
文章浏览阅读1.1w次,点赞80次,收藏300次。你所不知道的编程插件,看完直呼内行_python插件大全