entry.getHeader .getLogfile Offset

在日常项目开发中，可能会遇到使用 ES 做关键词搜索的场景，但是一般来说业务数据是不会直接通过 CRUD 写进 ES 的。 因为这可能违背了 ES 是用来查询的初衷，数据持久化的事情可以交给数据库来做。那么，这里就有一个显而易见的问题：ES 里的数据从哪里来？ 本文介绍的就是如何将 MySQL 的表数据迁移到 ES 的全过程。 该方案的思路很简单直接：将数据库中的表数据一次性查出，放入内存，在转换 DB 与 ES 的实体结构，遍历循环将 DB 的数据 放入 ES 中。 但是对机器的性能考验非常大：本地 MySQL 10w 条数据，电脑内存16GB，仅30秒钟内存占用90%，CPU占用100%。太过于粗暴了，不推荐使用。 @Component05 @Slf4j public class FullSyncArticleToES implements CommandLineRunner { @Resource private ArticleMapper articleMapper; @Resource private ArticleRepository...

前几天在网上冲浪的时候发现了一个比较成熟的开源中间件——Canal。在了解了它的工作原理和使用场景后，顿时产生了浓厚的兴趣。今天，就让我们跟随阿Q的脚步，一起来揭开它神秘的面纱吧。 简介 canal 翻译为管道，主要用途是基于 MySQL 数据库的增量日志 Binlog 解析，提供增量数据订阅和消费。 早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。 基于日志增量订阅和消费的业务包括 数据库镜像； 数据库实时备份； 索引构建和实时维护（拆分异构索引、倒排索引等）； 业务 cache 刷新； 带业务逻辑的增量数据处理； 当前的 canal 支持源端 MySQL 的版本包括 5.1.x，5.5.x，5.6.x，5.7.x，8.0.x。 工作原理 MySQL主备复制原理 MySQL master 将数据变更写入二进制日志( binary log, 其中记录叫做二进制日志事件 binary log...

最近遇到一个需求，需要监听数据库中的数据变化，并及时通知后端服务做出相应的处理。本文将介绍如何使用四种方式实现监听MySQL数据库中的数据变化并通知后端服务的功能，包括： 轮询方式 使用触发器方式 MySQL自带的Binlog方式 使用开源的Canal工具 一、轮询方式 轮询方式是指定时查询MySQL数据库中的某个表，然后与上一次查询结果进行比较，从而得知是否有数据发生变化。 它通过定期查询MySQL数据库的方式来检测数据变化。我们可以在后端服务中使用定时器，在一定时间间隔内轮询MySQL数据库，从而检测数据变化并做出相应的动作。 具体实现步骤如下： 在后端服务中使用定时器，定时轮询MySQL数据库。 定时器触发时，执行SQL语句查询MySQL数据库中的数据，比较查询结果与之前保存的结果，判断是否有变化。 如果数据发生变化，则通知后端服务做出相应的动作。 轮询方法的优点是实现简单，不需要额外的插件或配置，适用于数据变化频率较低的场景。但是存在以下几个问题： 浪费资源：需要不断地查询数据库，即使数据库中没有数据变化，也会一直消耗资源。...