ClickHouse MergeTree 是否会写入重复数据？

`MergeTree` 引擎**不会自动去重**，即使定义了 `ORDER BY` 作为主键（排序键），它仍然允许插入重复的数据。 **原因**： - `ORDER BY` 只是排序键，不是唯一键，不会自动去重。 - `MergeTree` 只是提供了分区、索引和 `Merge` 机制，并不主动检查数据是否已存在。 **结论**： ✅ **如果你写入了相同的 `id`，数据仍然会重复！** ### **如何避免 `MergeTree` 写入重复数据？** 如果你的数据有可能重复，通常需要**手动去重**，以下是常见的几种方法： ### **方法 1：使用 `ReplacingMergeTree`（推荐）** 如果你的数据有版本信息，可以使用 `ReplacingMergeTree`，让 ClickHouse 在 `Merge` 时自动去重。 #### **创建表** ```sql CREATE TABLE example ( id UInt64, value String, version UInt64 ) ENGINE = ReplacingMergeTree(version) ORDER BY id; ``` #### **写入数据** ```sql INSERT INTO example VALUES (1, 'A', 1); INSERT INTO example VALUES (1, 'B', 2); ``` #### **查询（去重后）** ```sql SELECT * FROM example FINAL; ``` ✅ 只会返回 `id=1, value='B', version=2`（因为 `version=2` 替换了 `version=1`）。 **⚠️ 注意**： - `ReplacingMergeTree` **不会立即去重**，它在 `Merge` 过程中才会合并数据。 - 使用 `FINAL` 强制去重： ```sql SELECT * FROM example FINAL; ``` - `Merge` 不是实时的，可以手动触发： ```sql OPTIMIZE TABLE example FINAL; ``` ### **方法 2：使用 `ReplicatedMergeTree` + insert_deduplicate** 如果你使用 `ReplicatedMergeTree`，可以启用 ClickHouse 自带的去重功能。 ```sql SET insert_deduplicate=1; INSERT INTO example VALUES (1, 'A', 1); INSERT INTO example VALUES (1, 'A', 1); -- 这条数据不会被插入 ``` **⚠️ 适用于 `ReplicatedMergeTree`，但 `MergeTree` 无法使用此方法！** ### **方法 3：`INSERT SELECT DISTINCT` 进行去重** 如果你不想在 `Merge` 过程中去重，而是希望在插入数据时去重，可以用 `INSERT SELECT DISTINCT`： ```sql INSERT INTO example SELECT DISTINCT * FROM source_table; ``` 或者只保留最新的数据： ```sql INSERT INTO example SELECT id, any(value), max(version) FROM source_table GROUP BY id; ``` ### **方法 4：使用 `ALTER TABLE DELETE` 手动去重** 如果数据已经写入，可以手动删除重复数据： ```sql ALTER TABLE example DELETE WHERE id IN ( SELECT id FROM ( SELECT id, COUNT(*) AS cnt FROM example GROUP BY id HAVING cnt > 1 ) ); ``` 或者只保留 `version` 最新的一条： ```sql ALTER TABLE example DELETE WHERE (id, version) NOT IN ( SELECT id, max(version) FROM example GROUP BY id ); ``` **⚠️ 缺点**： - `ALTER DELETE` 会导致数据文件变更，影响查询性能。 - `DELETE` 只是标记删除，ClickHouse 需要 `Merge` 才会真正删除。 ### **方法 5：在应用层控制去重** 最简单的方法是在应用层（如 Java、Python、Go）： 1. **查询是否已存在** ```sql SELECT count(*) FROM example WHERE id = 1; ``` 2. **如果不存在，则插入** ```sql INSERT INTO example VALUES (1, 'A', 1); ``` **⚠️ 适用于少量数据，但对大规模并发写入不现实。** ### **总结** | 方式 | 适用场景 | 备注 | |------|--------|------| | `ReplacingMergeTree` | 有 `version` 字段，数据可替换 | 需要 `Merge` 触发去重 | | `ReplicatedMergeTree + insert_deduplicate=1` | 分布式存储，防止重复 `INSERT` | 仅适用于 `ReplicatedMergeTree` | | `INSERT SELECT DISTINCT` | 批量插入时去重 | 适用于批量 ETL | | `ALTER TABLE DELETE` | 事后去重 | 影响性能 | | 应用层去重 | 低并发插入 | 需要额外查询，适用于小规模数据 | 如果你的 `MergeTree` 表有重复数据，推荐： - **首选 `ReplacingMergeTree`（数据有 `version` 时）** - **如果是 `ReplicatedMergeTree`，用 `insert_deduplicate=1`** - **数据已经写入，手动 `DELETE` 或 `OPTIMIZE`** - **批量插入时可用 `INSERT SELECT DISTINCT` 处理** 你可以根据业务需求选择最合适的去重方案。