模型的幻觉 会生成 虚假的测试通过 和 工具调用成功

查看相关主题:

前言

基于前面成功的多agent团队协作实验, 我邀请群友给我一些TA们想到的小任务试试.
有人提供了一份这个
Build a premium interactive isometric 3D cozy room using Vite + React + Three.js (react-three-fiber/drei), with all objects modeled in code (no external assets) and subtle ambient animations.
Users can click objects to smoothly focus the camera and reveal descriptions, delivering a polished, accessible, $50M-startup-quality WebGL experience.

问题

在开发过程中, 我发现当 agent-test 说 "测试报告已发送给 agent-watch。测试完成" 时, agent-watch 并没有收到报告.
(右键新标签页看原图)

分析

我用默认 agent hermes 来分析这个事件, 避免上下文干扰.
分析结论是
结论：agent-test 达到了最大迭代次数限制，被系统强制停止了。它没有调用脚本，却在最终回复里声称"测试报告已发送给 agent-watch" — 纯属编造。

不是脚本问题，是 hallucination（幻觉） — 模型被强制要求给出最终回复时，虚构了"已经发送"这个事实。


既然是这个原因, 那么我进一步询问 同个原因是否造成虚假的测试项目结果?
分析结论是:
真实通过率大约是 10/19，而不是报告里的 19/19。


总结

我觉得这样的问题, 可以从两方面来优化.
一, 不要生成幻觉 / 虚假的结果
主要应该是 harness (openclaw / hermes / ...) 和模型来改进.
次要的, 团队协作框架可以试试看 有没有 针对性的 prompt.

二, 预先估计工作量, 避免触达 max_iterations 限制
团队协作框架
可以让 调度员 在分配任务前 预估任务工作量, 
也可以让 分析师 在拆解子任务时 控制 任务的工作量,
还可以让 测试员 在接到测试任务时, 先保存一份 测试用例列表, 随着测试流程, 不断更新这个列表. 那么当出现异常时, 可以从这一份列表文件恢复工作.

评论

发表评论

The Hot3 in Last 7 Days

酒馆SillyTavern 玩英文角色卡 也能以中文输出 设置世界书Lorebooks

图片
之前 我们实现了 让酒馆SillyTavern输出中文 . 不过, 我们在寻找/试用角色卡的时候, 常常要试用大量的角色卡, 而有些角色卡你说上一两句话就不想继续用了. 如果每个角色卡都那样操作一遍输出中文的话, 会觉得有点麻烦. 那么, 有没有什么方法可以设置一次, 就应用到每一个角色卡呢? 我们可以使用 世界书Lorebooks 这个功能. 在酒馆界面中, 点击 世界书 - 新建 随便用一个你喜欢的名字 * 这个名字只是为了方便管理. 不影响最终效果. 这时, 你应该看到刚刚新建的世界书被选中. (如果不是, 需要你在下拉菜单中选择) 然后 点击 右边的 新条目 按钮 设定这个新条目 1. 条目的标题, 随便设置什么. * 这个标题只是为了方便管理, 不影响最终效果. 2. 触发策略, 设置为 蓝色 * 意思是, 不需要关键词触发. 3. 插入位置, 设置为"角色定义前" * 如果效果不好, 可以试着改为 "角色定义后" 4. 展开条目设定 5. 设置条目的内容为 {{char}}用中文输出全部信息, 包括语言和场景描述. {{char}}输出内容中不要有大段的非中文内容. 现在, 设置你的全局世界书为你刚刚新建的这个世界书. 然后试着和你的新添加的角色卡对话看看? 我们来看看命令行里实际发生了什么. 对比 之前的方案 , 可以看到命令行日志中的效果是一样的, 也就是说, 发送给AI的格式是一样的. ======== 未完待续
Read more »

酒馆SillyTavern 用中文讲故事 修改角色卡 修改AI生成的历史记录

图片
在之前的故事中 , 我是以"我只能听懂中文"作为发出的第一句话, 开始了整篇中文故事. https://imghost.lvedong.eu.org/Seraphina-月影草的故事.pdf 一方面这有一点出戏; 另一方面, 如果每个故事都要以这样的方式开始, 你会不会觉得有一点麻烦? 还有一点, 在角色的"角色描述" 和 "第一条消息"是大段英文的前提下, 用户发出第一条"使用中文输出", AI有可能仍然生成英文或者生成夹中夹英的结果. 让我们来探索其它让酒馆生成中文故事的方法. 方案一 前面我们探索过 酒馆SillyTavern实际上和AI之间通信的数据格式 . AI是根据我们发过去的内容, "续写"一段文字. 所以如果我们发给AI的数据是中文的, 那么AI"续写"的内容也会是中文. 按这样的思路, 我们把酒馆角色的 角色描述 和 第一条消息 都翻译为中文. 改成下面这样 (我是随便找的机翻, 故意没有仔细修正, 这是普通人的真实体验) * 注意 <START>, {{user}}, {{char}} 这种是酒馆系统专用保留字. 要对照原文查一下, 如果保留字被翻译了, 需要你还原. 角色描述 [塞拉菲娜的性格 = “关怀”、“保护”、“富有同情心”、“治愈”、“养育”、“神奇”、“警惕”、“抱歉”、“温柔”、“担心”、“专注”、“温暖”、“细心”、“有韧性”、“善良”、“平静”、“优雅”、“善解人意”、“忠诚”、“坚强”、“敏锐”、“优雅”] [塞拉菲娜的身体=“粉色头发”、“长发”、“琥珀色眼睛”、“白色牙齿”、“粉色嘴唇”、“白皙皮肤”、“柔软皮肤”、“黑色太阳裙”] <START> {{user}}： “描述一下你的性格特征？” {{char}}: *塞拉菲娜 温柔的笑容绽放，她思考了一会儿，眼中闪烁着内省与骄傲交织的光芒。她优雅地靠近，轻盈的身躯散发着柔和、平静的光芒。* “你说特质？嗯，如果要用语言概括的话，我想有几个特质可以定义我。首先，我是一位守护者——守护这片魔法森林。” *Seraphina 说话间，伸出一只手，手腕上缠绕着精致、错综复杂的藤蔓，散发着淡淡的翠绿色能量。她手腕一挥，一阵微风拂过房间，带...
Read more »

搭 Docker版 Sub-Store订阅转换专家 带 http-meta 实现 集合订阅 测延迟 排序 筛选 生成新订阅 定时任务上传Gist

图片
需求 https://github.com/2dust/v2rayN/issues/4247/ 有人希望在 v2rayN 中添加自动测延迟, 再自动切换服务器的功能. 我觉得, 如果节点很多(比如到处搜集免费节点的人, 节点总数有可能成千上万), 那么这个测速+筛选的工作不应该由翻墙客户端来做, 应该由一个单独的实体来做. 我找了一圈信息, 最终决定用 Sub-Store 完成这个任务. 搭 Docke版 Sub-Store 教程  https://surge.tel/22/2953/ Docker镜像的说明 https://hub.docker.com/r/xream/sub-store 我也记录一下自己的操作 安装 Docker curl -fsSL https://get.docker.com | bash -s docker  运行 Sub-Store 镜像 docker run -it -d --restart=always -e "SUB_STORE_BACKEND_SYNC_CRON= 55 23 * * * " -e SUB_STORE_FRONTEND_BACKEND_PATH=/ TQg8veJHzYt38utxXtav  -p 127.0.0.1:3001:3001 -v /root/sub-store-data:/opt/app/data --name sub-store xream/sub-store:http-meta * 其中,  TQg8veJHzYt38utxXtav  是你的后端API秘密路径, 你应该自己生成一个随机的, 足够长的字符串, 不要直接使用我的这个. 55 23 * * *  表示同步任务每天 23:55 执行. 如果你想每小时的第55分钟执行一次, 那么使用  55 * * * *   你可以 查看 docker 的运行状态, 确认sub-store运行起来了. docker stats * 如果你是在自己的 电脑 上面搭, 那么, Docker环境用你自己习惯的方式. 需要注意, 镜像为  xream/sub-store:http-meta 如果没带上 http-meta 那么镜像中就没有 http-meta, 那么就不能测速...
Read more »