稠密向量和稀疏向量有什么区别？

## 作用 - **稠密向量（Dense Vector）**：用较低维的连续数值向量表示对象，常用于词向量、语义检索、推荐系统和大模型中的 Embedding，能够表达语义相似性。 - **稀疏向量（Sparse Vector）**：用高维向量表示对象，大多数维度为 0，只有少数维度非零，常见于 one-hot、TF-IDF 等早期 NLP 和信息检索方法。 ## 原理 - **信息分布不同** - 稠密向量：绝大多数元素都是有意义的数值，通常每一维都非零，数值可正可负。 - 稀疏向量：大部分元素是 0，只有少数位置有值，体现的是较低的信息密度。 - **维度和表示形式不同** - 稠密向量通常是低维向量，例如 100～768 维，如 Word2Vec、GloVe、BERT embedding。 - 稀疏向量通常维度很高，例如 10,000 维中只有一个位置为 1，其余全为 0，one-hot 编码就是典型例子。 - **示例对比** - 稀疏表示单词 `apple`： - `[0, 0, 0, 1, 0, 0, 0, 0, ..., 0]` - 稠密表示单词 `apple`： - `[0.12, -0.33, 0.01, 0.88, -0.47, ..., 0.05]` - **核心区别** - 稀疏向量：高维、很多 0、非零值少，偏离散表示。 - 稠密向量：维度相对较低、每维基本都有数值，偏连续语义表示。