跳到主要内容

2 篇文档带有标签「audit」

查看所有标签

一百万条断言无法裁决的事

Bun 的 Rust 重写在一个值得研究的规模上跑了 AI 对抗式审查 —— 一个模型家族、分开的 context window,以及 1,386,826 条测试断言作为最终裁判。StrayMark 的审计看起来不一样,是因为目标不一样,而这个差别不是风格问题。当一套能通过的测试套件可以当裁判时,你用 context 隔离审查者;当裁判是一次人类判断时,你按模型家族多样化 —— 而 25 个审计周期的真实数据恰恰说明了为什么,包括一个悄悄变瞎了的家族。

审计以为自己是谁

StrayMark 的审计只有在独立的模型家族各自趋同到一个 finding 时才值钱 —— 一致就是那个信号。一连串 release 把这条保证加固,以对抗三种伪造它的方式。最新的一种最锋利:一个 router CLI 注入了它自己的产品名,于是一个审计器在报告上署名 "qwen-code",哪怕 operator 早已切换了后端模型。趋同的数学被喂了一个关于谁做了这件工作的谎言。