可通过哪些方式提高数据处理Agent的准确率？

## 作用 - 提升数据处理 Agent 的回复准确率，降低幻觉和工具调用错误率。 - 让召回内容、提示词规则和工具触发逻辑更匹配业务场景，使结果达到业务准确率阈值。 ## 原理与方式 - **优化知识库预处理** - 不直接上传图文混排、扫描版等非结构化 PDF。 - 先转换为纯文本，并按每段不超过 500 字拆分，改善长文本召回效果。 - **优化 Prompt** - 在 prompt 模板中补充明确规则。 - 增加 3–5 个 few-shot 示例，让模型学习期望的输入输出格式和判断标准。 - **调整 RAG 检索参数** - 将 `top_k` 设置为 3–5，避免召回数量过少导致依据不足。 - 调高知识库召回结果的权重或优先级，使回答更依赖可靠资料。 - **优化工具调用规则** - 明确工具触发条件和参数填写规则，减少错误调用、误触发或漏调用。 - 对接第三方内部 API 时，保证工具描述清晰、输入输出约束明确。 - **建立测试与回归验证** - 用业务测试用例验证返回内容是否符合知识库、是否出现幻觉。 - 对知识库缺失、检索参数过小、权限错误、超时等问题分别排查。 - 设定准确率门槛，例如客服场景不低于 90%、内部助手场景不低于 85%。 - **按优先级迭代优化** - 先改 prompt 和 few-shot 示例。 - 再调整 RAG 检索权重、`top_k` 和知识库内容。 - 然后优化工具调用规则。 - 常规手段仍无法满足要求时，再考虑微调大模型。

## 作用 提高数据处理 Agent 的准确率，核心是减少意图误判、低置信度错误输出和场景漂移带来的问题，使 Agent 能更稳定地理解用户请求并执行正确的数据处理动作。 ## 原理与可采用方式 ### 1. 提升训练数据质量 - 收集真实用户对话或真实业务请求数据，避免完全依赖大模型批量生成的“假数据”。 - 对数据进行清洗和标注，标注准确率应保持较高水平。 - 通过同义改写、口语化表达、语气词注入等方式做数据增强。 - 控制生成数据比例：真实样本建议不低于 70%，生成样本最多约 30%，并进行人工抽检。 - 对样本不足的意图补充数据，避免模型因样本过少而泛化能力差。 ### 2. 采用“规则 + 大模型”的分层识别架构 - 高频、固定、边界清晰的意图优先用关键词或规则匹配处理。 - 为规则和模型分别设置置信度阈值，例如规则置信度足够高时直接返回结果，不再调用大模型。 - 规则优先级应高于大模型，以降低短文本识别的随机波动和调用成本。 - 对占比较高的高频意图必须配置规则兜底，减少简单请求被误分类。 ### 3. 微调领域专属模型 - 通用大模型面对垂直领域术语时可能准确率不足，可使用高质量领域标注数据进行微调。 - 微调后应在独立验证集上评估，达到预设准确率后再上线。 - 医疗、法律等极垂直领域，如果有大量标注数据，也可以考虑自建或专门微调模型。 ### 4. 设置低置信度澄清与兜底机制 - 使用双阈值策略： - 置信度中等但不确定时，通过多轮澄清让用户确认意图。 - 置信度很低时，转人工或进入安全兜底流程。 - 避免 Agent 在不确定时直接执行错误操作，降低用户可感知错误率。 ### 5. 建立 BadCase 回流和持续迭代机制 - 将识别错误、用户负反馈、人工修正结果自动回流到训练集。 - 定期重新训练或微调模型，例如每周迭代一次。 - 通过持续监控发现用户表达变化和业务意图分布漂移，避免上线后准确率逐渐下降。 ### 6. 引入上下文信息 - 对多轮对话场景，开启会话上下文跟踪。 - 将最近几轮对话历史传入模型，辅助判断当前请求的真实意图。 - 这有助于解决省略、指代不清和上下文依赖导致的识别错误。 ### 7. 上线前用典型用例验证并排查问题 - 构造覆盖主要意图、边界表达和易混淆意图的测试集。 - 对低置信度样本，检查对应意图的训练样本是否充足。 - 对误分类样本，检查是否存在冲突、重复或歧义的关键词规则。 - 持续根据验证结果补充样本、调整规则和阈值。