那次被读反了的 grep
一个四模型审计周期审查了一个添加了新公开方法的 Charter —— 那是唯一让这个 feature 能工作的方法。四个审计者中有三个报告没有严重或高等级发现。这个 feature 在生产代码中有零个调用者、3,376 个通过的测试,而且端到端并不工作。这个缺陷用一次 grep 就能机械地检出;有一个审计者跑了正是那次 grep,却把结果读反了。事后复盘产出了对审计 prompt 的一条新规则 —— 以及一个更令人不安的发现,关于实现者自己那套根本不可能变红的验证。
一个四模型审计周期审查了一个添加了新公开方法的 Charter —— 那是唯一让这个 feature 能工作的方法。四个审计者中有三个报告没有严重或高等级发现。这个 feature 在生产代码中有零个调用者、3,376 个通过的测试,而且端到端并不工作。这个缺陷用一次 grep 就能机械地检出;有一个审计者跑了正是那次 grep,却把结果读反了。事后复盘产出了对审计 prompt 的一条新规则 —— 以及一个更令人不安的发现,关于实现者自己那套根本不可能变红的验证。