【置顶】ClickHouse MaterializeMySQL实时同步MySQL汇总

原标题：【置顶】ClickHouse MaterializeMySQL实时同步MySQL汇总

原文出处：https://bohutang.me/3030/12/12/clickhouse-and-friends-mysql-replication-materializemysql/

最后更新: 2020-09-19

1. 如何下载

因为 MaterializeMySQL 还处于 experimental 阶段，根据社区反馈的问题、需求我们也在进行修复和开发，请大家尽量下载最新版进行体验:

目前任何 master 分支的 build 都可以试用，比如选择 20.10.1.4699 下载安装。

2. 如何使用CREATE DATABASE ckdb ENGINE = MaterializeMySQL( ‘[mysql-host]:[mysql-port]’, ‘[mysql-database]’, ‘[mysql-user]’, ‘[mysql-password]’);

3. 更新汇总

  • [x] 支持 decimal 类型 PR#14535

  • [x] 支持 DATETIME(x) fractional seconds precision PR#13761

  • [ ] 支持 YEAR, TIME 类型 (TODO)

  • [ ] 支持 DROP TABLE database.table, table_2, … 语法 (TODO)

  • [ ] 支持 gc thread 清理已经 deleted 的数据 (TODO)

  • [ ] 支持复制状态查询 (TODO)

[x] 支持 decimal 类型 PR#14535

[x] 支持 DATETIME(x) fractional seconds precision PR#13761

[ ] 支持 YEAR, TIME 类型 (TODO)

[ ] 支持 DROP TABLE database.table, table_2, … 语法 (TODO)

[ ] 支持 gc thread 清理已经 deleted 的数据 (TODO)

[ ] 支持复制状态查询 (TODO)

  • 提bug

  • 提问题/需求

  • 加入 ClickHouse 交流社群，请在 about 添加博主后提申请

提bug

提问题/需求

加入 ClickHouse 交流社群，请在 about 添加博主后提申请

clickhouse-server log 错误日志

5.2 执行的SQL操作

  • MySQL 表结构

  • MySQL 侧配置

  • MySQL 侧执行过的 SQL

MySQL 表结构

MySQL 侧配置

MySQL 侧执行过的 SQL

  • MaterializeMySQL Data inconsistency between MySQL and Clickhouse (已修复，请使用master最版本)

  • MaterializeMySQLSyncThread: Attempt to read after eof (已修复，请使用master最版本)

  • MaterializeMySQLSyncThread DB::Exception: Packet payload is not fully read (已修复，请使用master最版本)

  • Cannot open file /data/clickhouse/metadata/dmp_idm//.metadata.tmp, errno: 17, strerror: File exists (已修复，请使用master最版本)

MaterializeMySQL Data inconsistency between MySQL and Clickhouse (已修复，请使用master最版本)

MaterializeMySQLSyncThread: Attempt to read after eof (已修复，请使用master最版本)

MaterializeMySQLSyncThread DB::Exception: Packet payload is not fully read (已修复，请使用master最版本)

Cannot open file /data/clickhouse/metadata/dmp_idm//.metadata.tmp, errno: 17, strerror: File exists (已修复，请使用master最版本)

  • ClickHouse和他的朋友们（9）MySQL实时复制与实现

  • ClickHouse和他的朋友们（11）MySQL实时复制之GTID模式

ClickHouse和他的朋友们（9）MySQL实时复制与实现

ClickHouse和他的朋友们（11）MySQL实时复制之GTID模式

Enjoy ClickHouse 🙂

责任编辑：

Thenews.cc