mysql 开源~canal安装解析

一简介:今天咱们来聊聊canal的一些东西

二原理:

canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议
mysql master收到dump请求，开始推送binary log给slave(也就是canal)
canal解析binary log对象(原始为byte流)

三安装

1 环境安装

1 安装JDK环境

2 安装canal

1 wget https://github.com/alibaba/canal/releases/download/canal-1.0.24/canal.deployer-1.0.24.tar.gz

2 mkdir -p /usr/local/canal

3 tar xzvf canal.deployer-1.0.24.tar.gz -C /usr/local/canal/

3 在目标数据库创建canal用户

GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%' IDENTIFIED BY 'canal';

flush privileges

4 修改cannal默认端口

sed -i 's/11111/3310/g' canal.properties

5 创建相关解析库

cd conf

mkdir db2

cd db2

cp ../example/instance.properties .

6 配置文件解读并修改

## mysql serverId
canal.instance.mysql.slaveId = 1234//类似于mysql slave的server_id，用于模拟一台机器

# position info

canal.instance.master.address = IP:PORT//目标数据库的IP和PORT
canal.instance.master.journal.name =
canal.instance.master.position =
canal.instance.master.timestamp =

# username/password
canal.instance.dbUsername = canal //复制的账号和密码
canal.instance.dbPassword = canal
canal.instance.defaultDatabaseName =
canal.instance.connectionCharset = UTF-8//连接解析的字符集

# table regex
canal.instance.filter.regex = db2.*\\..*//perl的正则匹配,设置过滤的库和表,下面会有说明
# table black regex
canal.instance.filter.black.regex =

按照以上修改即可

7 启动

/bin/startup.sh 查看端口是否存在进程是否存在

8 相关正则匹配

1. 所有表：.* or .*\\..*

2. canal schema下所有表： canal\\..*

3. canal下的以canal打头的表：canal\\.canal.*
4. canal schema下的一张表：canal.test1
5. 多个规则组合使用：canal\\..*,mysql.test1,mysql.test2 (逗号分隔)

6 匹配多个类似库: canal_.*\\..*

9 配置总结

1 spring方式：基于spring xml + properties进行定义，构建spring配置.

2 增加DB源的话，直接添加即可，无需重启服务.即时生效

四自动重启脚本

#!/bin/sh

export JAVA_HOME=/usr/java/jdk1.7.0_45

export PATH=$PATH:$JAVA_HOME/bin:/data/canal/bin
result2=`netstat -anlp|grep '0.0.0.0:3310'|wc -l`
if [[ "$result2" > 0 ]];
then
echo "ok"
else
sh /usr/local/canal/bin/startup.sh
fi

五相关注意事项

1 选择合适版本

2 相关客户端只能被独占这点要尤其注意

六以后关于具体测试之类的会补充

巴特西

mysql 开源~canal安装解析

最新文章

热门文章