CDC 工具对比
CDC 工具对比
简介
Change Data Capture (缩写为 CDC)—— 大概可以机翻为 “变动数据捕获”—— 你可以将它视为和数据库有关的架构设计模式的一种。它的核心思想是,监测并捕获数据库的变动(包括数据或数据表的插入,更新,删除等),将这些变更按发生的顺序完整记录下来,写入到消息中间件中以供其他服务进行订阅及消费。
目前市面上常见的处理方式大致分为如下三种:
- 基于日志的解析模式;
- 基于增量条件查询模式;
- 数据源主动 Push 模式。
开源项目对比
项目名 | 支持数据库 | 工作方式 |
---|---|---|
Sqoop | JDBC 链接均可 | 增量条件查询 |
Kafka Connector JDBC | JDBC 链接均可 | 增量条件查询 |
Maxwell | MySQL | 日志解析 |
Canal | MySQL | 日志解析 |
DataBus | Oracle,MySQL | 日志解析 |
Debezium | MySQL, MongoDB, Postgre SQL, Oracle, SQL Server, Cassandra, Vitess | 日志解析 |
参考资料
CDC 工具对比
https://wangqian0306.github.io/2021/cdc/