测试全绿不等于变聪明:一次 LLM 功能的盲审记录
这轮给量化助手加了几个能力:限定两轮补证、对当前仓位/完整目标/全现金三种方案做纯函数比较、回读当天的判断与方案版本、把上一日复盘带回次日上下文。新增 195 条测试全过,全量回归 1467 条全过;本轮改动的 11 个文件静态检查通过,7 个源码文件的定向类型检查也通过。
按很多团队的惯例,这时候可以写「功能已完成」。
但我又找了独立盲审:同一份冻结事实包、同一个模型、四份真实报告,去掉版本标签、源码和未来价格。结果四份没有一份整体合格;一组新旧对照分不出胜负,另一组新版反而更差。
这篇不写功能清单,只写这次验收里最值钱的部分:为什么「测试全绿」不能推出「变聪明」,以及下次怎么少骗自己一点。
一、测试全绿,到底证明了什么
它证明了程序契约:缺权重时不硬算组合损益、空范围不扩大成全部、未来版本不回填、旧链接不许现抓、工具额度用完就停、缺节不冒充已覆盖。这些都是可断言的行为,195 条测试覆盖得相当扎实。
它没有证明判断质量。
举个具体差别:测试可以断言「缺权重时不得输出组合损益」,但不能断言「模型会不会把『用户还没决定权重』说成『数据缺失』」。前者是程序行为,后者是语义理解。前者可以写成 assert,后者只能拿真实输出去评。
这次的四份真实报告里,恰好三种语义错误都出现了:
- 把「信号日入选阈值」当成持仓退出或盘中作废规则——把「能买」读成「该卖」;
- 把「还没决定的买入权重」说成「数据缺失」——把「没决定」读成「没有」;
- 把历史复盘里的转述当成当前已结算事实——把「当时说」读成「现在真」。
这三种都不是代码 bug。代码把该给的字段都给了,工具也没越权;错在模型对「资格/决定/事实」三个词的边界理解。测试全绿,照样发生。
严格说,这轮也不是所有检查都全绿:全局严格类型检查仍挂着 21 条既有错误。我只陈述「本轮改动零新增」,不说「整体类型检查通过」。这个区别,和后面盲审不合格要单独写出来,是同一个道理。
二、新旧对照:提示词修点,修不了面
做法很简单:同一个模型、同一份冻结输入、同一条提示路线,旧单轮/旧工具对新多轮/新工具,各跑两个场景。冻结输入意味着报告只能读当时保存的事实包,不能现抓行情、不能补看网页、不能用当前库重建历史持仓。
第一轮的结论很直接:新版能拒绝在缺权重时给组合损益,也能区分「信号合格」和「方案待决定」;但在另外几处仍然翻车——口径冲突时擅自择一、对单票集中度下没有证据的断言、把缺失的权重类型说错。
修订提示后只复测新版:能拒绝在缺权重时给组合损益,也能区分「信号合格」和「方案待决定」;但口径冲突擅自择一、单票集中度断言、缺失权重类型说错仍在。三个原点修掉了两个,剩下的换了形式还在。这正好说明提示词工程的边界:它能修「点」,很难修「面」。你指出的这个例子修好了,换一个同构的场景,它可能换个方式再犯。
所以拿几个修好的样例当验收,等于拿补考成绩单证明平时成绩。
三、盲审怎么做,才不会自己骗自己
这次盲审的规则只有三条:
- 去标签:四份报告不标新旧、不标版本、不标来源。
- 去源码:评审看不到实现,也看不到提示词。
- 去未来价格:只给当时可得的事实包,不给之后的走势。
评审只回答两个问题:这份报告能不能用?如果能,哪份更好?
判据不是文采,而是六件事:事实引用能不能回溯到当时;缺失有没有显式写出来;结论有没有越过证据;方案里的「假设/待定/已定」有没有分清;信号资格有没有被当成可成交;没取到的证据有没有被说成「没有证据」。
结果四份没有一份整体合格。一组新旧对照,评审连谁更好都分不出来;另一组新版反而更差。评审报告里明确写了:智能提升未证明,策略收益证据不存在。
这句话听起来很扫兴,但它是这次验收里唯一可信的结论。因为如果连「新版比旧版好」都分不出来,任何「更聪明」的说法都只是开发者的体感。
四、三条可复制的护栏
这轮实现里,有三条护栏值得单独拿出来,因为它们直接决定「事后看起来对」和「当时能判断」是不是一回事。
第一条:回放不许现抓当日行情。 冻结回放只能吃已保存的事实包。一旦允许现抓,「今天涨了所以我昨天看多是对的」就会混进报告,而这不是判断,是后见之明。
第二条:旧链接不许补抓。 只有输入时点后 90 秒内、且截止前已经见过的链接才允许抓正文;网页后来更新了,也不能冒充当时的存证。时间窗口不是为了省请求,是为了不让「后来补的资料」变成「当时就知道」。
第三条:不许用当前库重建历史持仓。 历史持仓只读当时的快照或记录。当前库是事后整理过的,用它回填历史,等于用今天的答案改昨天的卷子。
这三条都不难实现,难的是承认:只要有一条松动,后面所有评估都不可信。
五、可复制检查清单
如果你也在给 LLM 功能做验收,我会按这个顺序做:
- 先分两层:程序契约用单元测试,语义质量用真实输出评审,别拿前者代替后者。
- 再做对照:同事实包、同提示路线、同模型,新旧各跑同一批场景。
- 然后盲评:去标签、去源码、去未来信息;先问「能不能分出来」,再问「谁更好」。
- 保留失败样例:只报赢的样例,等于把试验数 N 偷偷改小。
- 最后写结论:能证明就写能证明到什么程度,不能证明就写「未验证」。
测试全绿是必要条件,不是充分条件。真正难的不是把功能接上,而是在四份报告都不合格的时候,忍住不写「智能升级」。
这版还不合格。下一版会不会更好,等盲审过了再说。
边界
本文只讨论 LLM 功能的验收方法;样本是四份报告、两个场景,不作统计推断,也不构成任何投资建议。文中未使用具体标的、持仓与收益数据。
本站内容为个人研究记录与方法分享,模拟,不构成投资建议;据此操作风险自负。