检索场景中的topK参数如何设置，设置依据是什么？

## 作用 - topK 用于控制检索系统返回给大模型的候选内容数量，核心目标不是“固定返回多少条”，而是尽量召回与问题相关的内容。 - topK 过小：复杂问题可能漏掉关键信息，导致回答不完整。 - topK 过大：简单问题会引入无关噪声，增加 token 成本、拖慢响应，还可能干扰大模型或触发中间遗忘。 - 因此，不建议所有场景都固定使用 topK=3、5 或 10，应结合问题类型、相关度分数、重排序结果和上下文长度设置。 ## 原理与设置依据 ### 1. 优先使用“初始 topK + 相似度阈值”的动态方式 - 可以先召回较多候选，例如初始 topK=20。 - 再根据向量相似度或重排序分数过滤，只保留达到相关度阈值的内容，而不是强行保留固定条数。 - 这样简单问题可能只保留 1～2 条，复杂问题可能保留多条，更符合实际相关内容数量。 - 阈值需要根据具体向量模型、重排序模型和业务数据校准；文中给出的经验范围大致是 0.45～0.65。 ### 2. 按场景设置初始 topK - **短问答、代码问答、单事实查询**：相关内容通常较集中，初始 topK 可设为 3～4，阈值约 0.55。 - **常规技术问答、产品咨询**：初始 topK 可设为 4～5，阈值约 0.5。 - **长文档总结、多跳推理、流程类问题**：相关信息可能分散，初始 topK 可设为 6～8，阈值约 0.45。 ### 3. 重排序后再做硬截断 - 初始召回的内容经过 rerank 后，应按相关度重新排序。 - 可只把相关性最高的内容交给大模型；文中建议最多保留前 20 条。 - 如果软阈值过滤后不足 20 条，就全部保留；超过 20 条，则只保留前 20 条，避免上下文过长和噪声累积。 ### 4. 调参判断标准 - 看是否存在**漏召回**：如果答案关键信息不在候选中，应适当增大初始 topK 或降低阈值。 - 看是否存在**噪声过多**：如果大模型被无关内容带偏，应提高阈值、减小最终送入模型的条数，或加强重排序。 - 最好用一批带标注的业务 query 评估：检查召回命中率、答案准确率、无关内容比例、token 成本和响应延迟。 - 不同模型、知识库分块方式、文档领域的分数分布不同，阈值不能照搬，应在自己的数据上验证。 ### 5. 常见误区 - 不要认为 topK 越大越好；超过一定范围后，新增内容大多相关性较低，反而可能降低效果。 - 不要所有 query 使用同一个固定 topK；简单问题和复杂问题需要的证据数量不同。 - 不要把初始召回结果不经筛选、不重排序就全部塞进上下文。 - topK 只是 RAG 优化的一部分，分块质量、重排序、Prompt、上下文噪声过滤等也会明显影响最终效果。