import com.alibaba.otter.canal.protocol.Message

1.1. MySQL开启binlog日志 [mysqld] log-bin=mysql-bin # 开启 binlog binlog-format=ROW # 选择 ROW 模式 server_id=1 # 配置 MySQL replaction 需要定义，不要和 canal 的 slaveId 重复 修改完成后输入: show variables like 'log_bin';查看binlog是否生效 show variables like 'log_bin'; 1.2. 授权 canal 链接 MySQL 账号具有作为 MySQL slave 的权限 -- 创建一个用户名密码均为canal的账户 CREATE USER canal IDENTIFIED BY 'canal'; -- 授予用户'canal'在所有数据库和表上进行SELECT查询以及复制从库和复制客户端的权限，并且允许该用户从任何主机连接到数据库服务器。 GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%'; --...

🏷️个人主页：牵着猫散步的鼠鼠 🏷️系列专栏：Java全栈-专栏 🏷️个人学习笔记，若有缺误，欢迎评论区指正 1.前言 4.总结 canal [kə'næl] ，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。其诞生的背景是早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。所以其核心功能如下： 数据实时备份 异构数据源(elasticsearch、Hbase)与数据库数据增量同步 业务缓存cache 刷新，保证缓存一致性 带业务逻辑的增量数据处理，如监听某个数据的变化做一定的逻辑处理 原理实现图如下所示 canal是借助于MySQL主从复制原理实现，所以我们接下来先来了解一下主从复制原理。 大概流程可以理解为如下： master将改变记录到二进制日志(binary log)中（这些记录叫做二进制日志事件，binary log...

Flink 系列文章 一、Flink 专栏 Flink 专栏系统介绍某一知识点，并辅以具体的示例进行说明。 1、Flink 部署系列 本部分介绍Flink的部署、配置相关基础内容。 2、Flink基础系列 本部分介绍Flink 的基础部分，比如术语、架构、编程模型、编程指南、基本的datastream api用法、四大基石等内容。 3、Flik Table API和SQL基础系列 本部分介绍Flink Table Api和SQL的基本用法，比如Table API和SQL创建库、表用法、查询、窗口函数、catalog等等内容。 4、Flik Table API和SQL提高与应用系列 本部分是table api 和sql的应用部分，和实际的生产应用联系更为密切，以及有一定开发难度的内容。 5、Flink 监控系列 本部分和实际的运维、监控工作相关。 二、Flink 示例专栏 Flink 示例专栏是 Flink 专栏的辅助说明，一般不会介绍知识点的信息，更多的是提供一个一个可以具体使用的示例。本专栏不再分目录，通过链接即可看出介绍的内容。 两专栏的所有文章入口点击：Flink...