Skill太多,怎么让Agent不乱调用、提高命中率
一句话核心:别把一堆技能全扔给Agent随便挑,要做「分层过滤+缩小候选池」,让它每次只在少数几个相关Skill里选,而不是大海捞针
先讲问题根源
Skill一多(几十个、上百个),就像给人一本厚厚的工具手册。Agent读全部Skill描述会:
- 信息过载,容易混淆各个Skill能干啥;
- 分不清哪些和当前用户问题相关,瞎猜、乱调用(幻觉调用,甚至调用根本不存在的Skill);
- 上下文塞太多,模型注意力被稀释,判断命中率直接下滑。
本质:不是模型不够聪明,是候选集合太大,检索/选择难度指数上升。
实操方案,按简单到复杂说
1. 先做前置召回(最关键):不要全量喂
不要把所有Skill的定义一次性丢进prompt。
- 给每个Skill打标签、写简短摘要;
- 用户一问,先用检索(向量/关键词)从所有Skill库里面,挑出最可能相关的3~5个候选Skill;
- 只把这几个的详细定义丢给Agent做决策。
效果:原来从100个里面选 → 现在只在3个里面选,选错概率大幅下降。
2. 分层路由,粗筛再精筛
两层判断:
- 粗路由(轻量小模型/规则):快速判断用户意图大类,直接砍掉一大片无关技能。 例:用户问查天气,直接跳过数据库、文件读写、代码执行类Skill;
- 精决策(主Agent大模型):只在粗筛剩下的少量Skill里,判断要不要调用、参数怎么填。
好处:便宜又快,还不让大模型被一堆无关Skill干扰。
3. Skill设计本身要精简
- 每个Skill职责单一,不要一个Skill干好几件事;
- 描述写短、写明确,一句话说清楚这个工具什么时候该用,什么时候绝对不要用;
- 淘汰重叠Skill:两个Skill能力重复就合并,模型很容易搞混功能重复的工具;
- 别什么都做成Skill,简单问答让模型直接回答就行,少一次选择就少一次出错。
4. 加约束规则,兜底防乱调用
硬规则不靠模型"自觉",靠代码拦住:
- 前置条件检查:Skill需要的信息还没有,就先别给它。 例:「计算伤残赔付」必须已经有伤残鉴定结果,没有就直接把这个Skill藏起来;
- 调用前校验:Skill到底存不存在?参数类型、必填项、取值范围对不对?不对直接打回,拦住幻觉调用;
- 高风险操作加保险:删数据、转账、提交申请这类,必须二次确认或人工审批;
- 按场景/身份过滤:不同用户权限、不同会话阶段,能看到的Skill本来就不一样。
向量检索只懂"意思像不像",不懂业务规矩,所以这层不能省。
5. 给例子,让模型分得清
- 相似的Skill容易搞混,就给正例(这句话该用哪个)和反例(这句话看着像但不该用哪个,为什么);
- 每个业务领域留几条高质量例子就够,不用多。
6. 上线后持续改
收集线上翻车的case,分类处理:
| 翻车类型 | 怎么修 |
|---|---|
| 选错Skill | 改描述、补反例、调整排序 |
| Skill选对但参数填错 | 优化参数说明,补例子 |
| 该用的Skill根本没被召回 | 补充描述和标签,调整召回策略 |
Skill特别多(几十到上百个)怎么办
| 方案 | 大白话理解 | 适合场景 |
|---|---|---|
| 分层Agent(推荐) | 像公司分部门:前台Agent只负责判断找哪个部门,每个部门的Agent只管自己那几个Skill | 业务复杂、Skill跨多个领域 |
| Tool Graph(工具图) | 把Skill连成流程图,走完这一步才能到下一步,不用全局乱找 | 流程固定的场景,如理赔、工单 |
几个常见坑
- 别指望模型一次看懂上百个Skill,上下文窗口再大,选择准确率照样掉;
- 别只优化向量检索,却不做前置条件过滤;
- 别把所有能力都包装成Skill;
- 高风险Skill一定要有二次确认。
怎么衡量做得好不好
- 选对率:模型选的Skill是不是该选的那个;
- 参数通过率:选对之后,参数填得合不合法;
- 幻觉调用率:调用了不存在的Skill的比例,越低越好;
- 漏召回率:明明需要工具,候选里却没有对应Skill的比例。