在 ClickHouse 中建表时，引擎的选择依据是什么？

在 ClickHouse 中建表时，引擎的选择主要根据数据的使用模式、更新频率、存储需求和查询特性来决定。以电商场景举例说明： ### 一、电商场景常用的 ClickHouse 引擎选择与对应场景： #### 1. MergeTree 系列（推荐且最常用） - **场景**： - 存储订单交易明细、用户行为日志、浏览记录等。 - 数据量大，写入频繁，以批量追加为主，偶尔有数据修正。 - **原因**： - 支持分区和主键索引，查询性能高。 - 支持高效的数据合并，适合大数据分析场景。 - 数据可追加、偶尔更新或删除（异步合并）。 **示例**： ```sql CREATE TABLE order_detail ( order_id UInt64, user_id UInt64, product_id UInt64, amount Decimal(10,2), order_date DateTime ) ENGINE = MergeTree PARTITION BY toYYYYMM(order_date) ORDER BY (user_id, order_date); ``` #### 2. ReplacingMergeTree（去重合并） - **场景**： - 用户维度表（例如会员信息、用户画像等），数据更新较频繁。 - 需要根据主键去重或覆盖旧数据（以最新为准）。 - **原因**： - 可以根据指定的主键自动去重，保留最新版本数据。 - 适合需要根据主键进行数据修正的场景。 **示例**： ```sql CREATE TABLE user_profile ( user_id UInt64, username String, level UInt8, updated_at DateTime ) ENGINE = ReplacingMergeTree(updated_at) ORDER BY user_id; ``` #### 3. SummingMergeTree（聚合求和） - **场景**： - 存储商品的库存、销量、销售额汇总表，数据为增量变动。 - 预聚合数据加快分析速度（实时统计销量、库存）。 - **原因**： - 适合对数值型数据进行自动求和合并，提高查询性能。 - 常用于库存管理、销售汇总分析等业务。 **示例**： ```sql CREATE TABLE product_sales_summary ( product_id UInt64, sale_date Date, sale_count UInt32, revenue Decimal(18,2) ) ENGINE = SummingMergeTree(sale_count, revenue) PARTITION BY toYYYYMM(sale_date) ORDER BY (product_id, sale_date); ``` #### 4. CollapsingMergeTree（状态变更跟踪） - **场景**： - 电商订单状态变化历史跟踪，比如订单从未支付到支付成功、取消、退款的状态流转。 - **原因**： - 支持记录状态变更历史，便于精确分析状态变化过程和当前状态。 - 自动合并正负状态（+1、-1）实现数据自动折叠。 **示例**： ```sql CREATE TABLE order_status_log ( order_id UInt64, status String, change_time DateTime, sign Int8 -- 状态进入记为+1，状态退出记为-1 ) ENGINE = CollapsingMergeTree(sign) PARTITION BY toYYYYMM(change_time) ORDER BY (order_id, change_time); ``` #### 5. Log 引擎（临时数据存储） - **场景**： - 临时日志分析，实时监控场景。 - 数据不需要长期保留。 - **原因**： - 快速写入，无索引和分区功能。 - 适合短期临时数据存储、后续快速清理。 **示例**： ```sql CREATE TABLE temp_event_log ( event_id UInt64, event_type String, create_time DateTime ) ENGINE = Log; ``` ### 二、常见电商业务推荐的引擎选择总结： | 电商场景 | 推荐引擎 | 特点总结 | |---------|----------|------------| | 订单明细 | MergeTree | 大量追加，少量更新 | | 用户画像 | ReplacingMergeTree | 主键去重，数据覆盖 | | 商品销量、库存汇总 | SummingMergeTree | 数值自动聚合，快速查询 | | 订单状态跟踪 | CollapsingMergeTree | 状态变更历史记录 | | 临时实时日志 | Log | 临时存储，性能高 | ### 三、总体决策原则： - **追加为主、偶尔更新** → MergeTree - **按主键去重（最新数据）** → ReplacingMergeTree - **数值聚合汇总** → SummingMergeTree - **记录状态变更过程** → CollapsingMergeTree - **短期日志临时存储** → Log引擎