粗路由有哪些实现方式
粗路由是 Agent 的前置过滤器:不用大模型,低成本、快速砍掉绝大多数无关 Skill,只给后面的精决策留一小撮候选。它只判断「意图大类 / 是否相关」,不负责填参数。
四种实现方式
| 方案 | 做法 | 优点 | 缺点 | 适用 |
|---|---|---|---|---|
| 关键词规则 | 每个 Skill 配正向词和否定词,命中正向词入选,命中否定词排除,可加权重和阈值 | 零推理成本、毫秒级、稳定可调试 | 同义词和口语化表达容易漏 | 高频标准化查询,做第一层兜底 |
| 轻量分类器 | 把 Skill 分成意图大类,训练 bert-small、textcnn 或蒸馏小模型,输出大类(可多标签) | 能理解同义词、泛化好、推理便宜 | 要标注样本,类别多时工作量大,冷启动难 | 线上生产的主流方案 |
| 向量检索 | 给每个 Skill 的简短描述生成向量,query 向量化后取 Top-N | 不用标注,新增 Skill 直接入库,不怕换说法 | 会召回语义相近但功能不同的 Skill,有少量向量计算开销 | Skill 多、经常新增的场景 |
| 规则 + 向量混合 | 先用关键词黑名单排除明显无关的,再用向量召回 TopN,最后用规则二次打分去重 | 稳定性和语义能力兼顾,可控,对新增 Skill 友好 | 要维护两套逻辑,调试稍复杂 | 工程里最推荐的组合 |
两个要点
- 分类器只分到「大类」,不要直接分到单个 Skill,大类下面再召回。
- 向量检索嵌入的是简短的用途描述,不是完整 schema,否则向量会被冗余信息污染。
选型建议
- Skill 少且稳定:关键词 + 分类器。
- Skill 多且常变:向量或混合方案。
工程踩坑
- 粗路由只分组,不选最终 Skill。 最终调用交给主大模型,否则粗路由一错,错误会直接传到下游。
- 宁可多召回 1~2 个,不要漏召回。 漏掉正确的 Skill 是致命的,多放几个无关的让精筛处理,损耗很小。
- 分层边界要划清。
- 粗路由:能不能进入候选集合(低成本)。
- 精决策(主 Agent):要不要调用、参数是什么(贵模型)。
最简落地建议
从零搭建 Agent,优先上「向量召回 + 简单关键词黑白名单」的混合粗路由,开发最快,对 Skill 多的场景最友好。业务稳定后,再叠加轻量分类器做优化。