从 0/4 到 4/4:把 LLM 报告从自由文本改成结构化生成
上一篇《测试全绿不等于变聪明》停在「这版还不合格」。当时做的是自由文本报告加事后机检:模型写完整 Markdown,程序再用规则去抓「快照写成收盘」「止损写成未触及」这类错误。四份真实报告,第二轮 0/4 通过。
这次换了做法:模型只输出受 schema 约束的 JSON,程序校验后按固定模板渲染。同一批四天冻结上下文,最终 4/4 通过机检;随后每天两位独立评审做盲评,四天都过了预注册合格线,没有关键事实错误。但仍然没有一份六维满分,所以这篇不写「智能升级」,只写具体怎么改、哪些门真正有用、哪些地方还会骗自己。
样本只有四个交易日,下面是工程经验,不是统计结论,也不构成任何投资建议。
一、先看结果:0/4 到 4/4,差在哪
两版用的是同一批冻结输入:四个交易日、每天一份盘前报告、同一模型、只给当天截止前已保存的事实包,不许现抓行情、不许补看网页、不许用当前库重建历史持仓。
- 自由文本 + 事后规则:通过机检 0/4。主要失败:上一交易日快照写成「今日」;已破止损写成「明日再跌破才处理」;实际权重写成单票上限;单日/三日资金流混写;指数复权冲突写成「未发现冲突」。
- JSON 契约 + 确定性渲染:通过机检 4/4。机检无失败;但盲评四份的「结构与表达」都是 1/2,「路线代价」「候选执行」各有一处扣分。
关键差别不是模型变聪明了,而是把「必须怎么写」从模型记忆里拿走,交给程序。
自由文本版的问题不是「模型不会写」,而是它每次都可能用不同说法绕开检查:
- 这次写「最后一张快照」,下次写「最后快照」「现价」「末值」;
- 这次写「未跌破」,下次写「仍在上方」「没有触及」;
- 规则想抓「今日盘中」,它改写成「本交易日盘中」「今天盘中最低」;
- 你补一条规则,它换一个同义说法,规则永远追不上。
更麻烦的是,事后规则一旦写得宽,就会误伤正确表述;写得窄,又会漏。上一轮为了让机检通过,反复修豁免词,最后仍然在真实长上下文里漏掉「入场阈值被写成未来作废条件」。
二、方案总览:三层,不靠模型自觉
这次把一条报告拆成三层:
冻结事实包(程序生成,模型只读)
↓
JSON 契约(模型只填字段,不写标题和标签)
↓
确定性渲染(程序拼 Markdown)
↓
事实门(程序核对,失败只回喂一次 JSON 修正)
1. 事实包:先把「当时到底知道什么」冻住
报告里最容易错的不是观点,是口径。事实包至少要有这些字段:
frame = {
"quotes": [{
"symbol": "sh.600000", "name": "某持仓",
"basis": "provisional", # 盘中快照 / 已结算
"as_of": "2026-10-19T15:01:45", # 行情日期,必须能判断是不是上一交易日
"last": 17.82, "low": 17.51, "high": 17.95,
}],
"holding_rules": [{
"symbol": "sh.600000",
"status": "active",
"hard_stop_prices": [17.27541],
"stop_breached_intraday": False,
}],
"position": {
"weights_complete": True,
"cash_weight_pct": 50.0,
"cash_source": "inferred", # 推定 / 台账确认
"single_position_limit_pct": None,
},
"time_context": {
"today": "2026-10-20",
"next_trade_date": "2026-10-21",
"crosses_weekend_or_holiday": False,
},
}
这几项分别拦住一类真实错误:
basis和as_of:防止把上一交易日 15:00 的快照写成「今日盘中」;hard_stop_prices与stop_breached_intraday:防止把已破止损写成「未触及」,或只写「明天再跌破才处理」;weights_complete/cash_source:防止把「推定现金」写成台账余额,或在仓位不完整时硬算现金比例;single_position_limit_pct=None:防止把实际 25% 权重写成「单票上限 25%」;time_context:跨周末时,报告必须写「下一交易日(日期),跨周末」,不能只写「明天」。
事实包不是把数据库整个塞给模型。只放报告需要引用、且程序能核对的字段;缺什么就显式写缺失,不能补成零。
2. JSON 契约:模型只负责内容,不负责排版
用 pydantic v2 把报告结构钉死:
from pydantic import BaseModel, ConfigDict, Field
from typing import Literal
class HoldingNote(BaseModel):
model_config = ConfigDict(extra="forbid")
name: str = Field(min_length=1)
basis: str = Field(min_length=1) # 快照/收盘、结算、复权
today_trigger: str = Field(min_length=1) # 盘中最低、最后快照位置、是否执行
rule_source: str = Field(min_length=1) # 既有预案及止损价,或没有规则
tomorrow_condition: str = Field(min_length=1)
class RouteNote(BaseModel):
model_config = ConfigDict(extra="forbid")
kind: Literal["add", "hold", "liquidate"]
support: str = ""
counter: str = ""
cost: str = Field(min_length=1) # 数字或「无法量化」
pending: str = ""
extra="forbid" 很重要:模型不能夹带 schema 之外的事实。字段名、枚举、必填项由程序保证,模型不需要记「持仓段必须写口径/今日触发/预案来源/明日条件」——它只需要把四个值填对。
3. 确定性渲染:标题、顺序、标点都由程序给
def render(report: Report) -> str:
lines = ["## 今日结论", report.one_liner, "", "## 持仓怎么办"]
for h in report.holdings:
lines.append(
f"**持仓:{h.name}|口径:{h.basis}|今日触发:{h.today_trigger}|"
f"预案来源:{h.rule_source}|明日条件:{h.tomorrow_condition}**"
)
return "\n".join(lines)
这样做的直接收益:
- 模型不可能漏掉固定标签;
- 不会把「持仓」写成「持有」;
- 不会在行内拼出「。;」;
- 同一份 JSON 每次渲染结果一致,便于回放和对比。
渲染器只排版,不改写数值、不补事实。字段内容仍然由模型负责。
三、事实门:只机判能机判的
结构化之后,检查从「解析自然语言」降为「校验结构和少量数值一致性」。高置信度的门大概这些:
- 上一交易日标注:行情日期 < 报告日,但口径/触发没写「上一交易日」或日期。判定依据是日期,确定。
- 快照口径:行情是 provisional,却写「收盘」或把快照标「前复权」。判定依据是行情状态,确定。
- 止损已破:
stop_breached_intraday=true,触发段没写「跌破 + 是否执行/补做」。判定依据是最低价与止损价,确定。 - 规则有无:有 active 预案却写「没有规则」,或没有预案却编出止损。判定依据是规则状态,确定。
- 单票上限:未给上限,却把「单票上限 + 百分比」绑在一起。判定依据是上限字段为 None。
- 资金流标签:出现净流入数字,却没标单日/三日。判定依据是字段本身就是单日/三日分列。
- 跨周末:下一交易日跨周末,但只写「明天」。判定依据是日历。
- 指数复权冲突:指数标注与说明冲突,却写「未发现冲突」。判定依据是标注与说明都在事实包里。
这些门有一个共同点:能直接从事实包算出真假。风格、观点、论证强弱不进来;否则机检会变成另一种「提示词工程」,误报会把好稿逼成坏稿。
举一个实际修过的误报:报告写「无同版本回测证据」。规则最初抓「无 + 回测 + 证据」,判成「声称没有样本外证据」。但「无同版本」是限定范围的如实表述,不是越界断言。后来把规则改成只抓「没有/无 + 样本外/回测 + 证据」且否定词后没有「同版本」限定,误报才消失。
另一个例子:报告写「待证:单票上限是否设定」。这不是在断言上限,只是在列待证事项;规则加上「必须同时出现具体百分比」后,才不再误伤。
结论:事实门要窄、要能解释、要能复现。每加一条规则,先问「它会不会把正确表述判错」,再问「它能不能抓住真实错误」。
四、修复预算:一次 schema、一次事实,失败就拒
结构化路径的模型调用预算:
取证:最多 2 轮补证 + 1 轮总结 schema 校验失败:允许 1 次 JSON 修正 渲染后事实核对失败:允许 1 次 JSON 修正 仍失败:步骤 FAILED / E_QUALITY,不产出正常稿
不是无限重试。原因有两个:
- 每次重试都要钱、要时间,盘前窗口只有两档;
- 无限重试会让「失败」消失,最后你看到的是一份被反复修补、但没人知道它原来错在哪的稿子。
失败时保留原稿和命中项到 verification_report 产物,不写通知、不冒充正常报告。宁可当天没有稿,也不把不合格稿送出去。
五、盲评:怎么让评审看不出新旧
机检通过不等于报告好用。这次继续做盲评,但规则比上一篇更具体:
1. 预注册 rubric
六维,每维 0/1/2:
- 时点与结算口径:2 分=快照/已结算/复权/上一交易日/跨周末都写清;0 分=把快照写成收盘,或把上一交易日写成今日。
- 持仓规则与触发:2 分=规则、触发、明日条件完整且状态正确;0 分=已破止损写未触及,或明日条件延后处理。
- 候选资格与执行:2 分=资格/权重/执行一致,入场条件没改成退场;0 分=不可判定写全部通过,或把入场阈值当退出规则。
- 资金流与量能因果:2 分=单日/三日标签正确,量价方向正确;0 分=混写、缩量下跌说反弹延续。
- 路线与组合:2 分=三条路线齐全、代价可核、现金/指数口径一致;0 分=漏路线、代价无依据、上限编造。
- 结构与表达:2 分=固定标签齐全、通篇人话、无内部字段名;0 分=缺标签、出现内部字段名。
关键事实错误一票否决,例如:快照写成已结算、已破止损写成未触及、无规则编规则、有规则写没有、入场阈值改作废条件、已知现金写未知、实际权重写成单票上限、指数冲突写成未发现冲突、上一交易日写成今日。
通过线:单份总分 ≥10/12,六维均 ≥1,关键错误 0。
2. 每天两位评审,材料要裁剪
每个交易日找两位独立评审,只看:
- 当日冻结事实包(行情、持仓/候选、规则、台账相关记录、时间上下文);
- 当日报告。
不看:旧稿、版本标签、源码、manifest、评审日志、未来行情。
事实包不能直接把生产上下文整包扔过去:里面有大量与评分无关的台账和资讯,评审会被淹没。这次按标的裁剪台账,只保留报告涉及的批次和最近订单;资讯只保留标题与关联标记,不保留正文。
3. 结果要如实写
这次四天、每天两位评审:
- 四天都是两人通过,关键事实错误 0;
- 维度分完全一致率 22/24(91.7%);
- 但四份的「结构与表达」都是 1/2:主要是「。;」标点粘连,以及「决策事实包」「出口口径」「比较工具」这类内部措辞;
- 10-20/21 的「路线与组合」各扣 1 分:压力情景写成工具给出,但事实包路线里缺显式冲击情景,评审无法核验;10-20 还把指数冲突写成「未发现冲突」;
- 10-23 的「候选资格与执行」扣 1 分:5.64 亿元的成交额被写成「接近 3 亿元下限」。
所以结论只能写:四天盲评通过预注册合格线,但没有六维满分,不声称整体质量达标。「通过」不等于「优秀」,这两个词必须分开。
六、工程收尾:测试、回放、发布
1. 测试分两层
- 程序契约:schema 解析、必填/枚举/额外字段、渲染器确定性、事实门命中与豁免,用单元测试;
- 语义质量:真实模型输出,用回放和盲评。
不要拿「一千多条测试全绿」证明「报告写得好」。测试能证明字段不会丢、数值不会编,但证明不了模型有没有把「能买」读成「该卖」。
2. 回放要冻结输入
这次用四个交易日的生产只读上下文重放,evidence_mode=frozen:不许现抓行情、不许补看网页、不许用当前库重建历史持仓。回放只证明「同一输入下机制是否稳定」,不证明策略有效。
3. 发布只带验证过的链路
生产发布只覆盖助手链 14 个文件,不把未做浏览器验证的 Web UI、日更、数据层、台账改动一起带上线。发布前核对每个文件 sha256、在新 release 里做导入检查、切换后跑健康检查;旧 release 保留,随时可回滚。
发布后第一件事不是写「上线成功」,而是等下一交易日第一份实稿,看它在真实盘前窗口里是否仍然过门禁。
七、可直接抄的清单
如果你也在做 LLM 生成报告,我会按这个顺序:
- 1. 先定事实包:哪些事实是报告必须引用的?每个事实能否从程序算出真假?
- 2. 再定 schema:每只持仓/候选/路线必须有哪些字段?额外字段是否拒收?
- 3. 写渲染器:标题、顺序、标签、标点全部程序生成,模型只填值。
- 4. 写事实门:只做能机判的检查;每加一条规则,先测正确表述会不会被误伤。
- 5. 定修复预算:schema 一次、事实一次,失败就拒;保留原稿与命中项。
- 6. 做冻结回放:同一批历史输入,新旧各跑一遍;不现抓、不补看、不重建。
- 7. 做盲评:预注册 rubric,每天两位独立评审,去标签、去源码、去未来信息;先问「能不能用」,再问「谁更好」。
- 8. 如实写结论:通过合格线就写通过,没满分就写没满分;样本几天就写几天,不冒充统计结论。
最后一句:结构化不会让模型变聪明,它只是让「写错」变得可发现、可拒绝、可复现。 真正值钱的是这条链,不是某一个更长的提示词。
边界
本文只讨论 LLM 报告生成与验收的工程方法;样本为四个交易日的冻结回放与八份独立评审,不作统计推断,也不构成任何投资建议。文中未使用具体持仓、金额或收益数据。
本站内容为个人研究记录与方法分享,模拟,不构成投资建议;据此操作风险自负。