5 documentos etiquetados con "audit"

De ritual manual en Sentinel a comando CLI canonizado

El único archivo del framework que vivía en otro idioma

Un ciclo de auditoría con cuatro modelos revisó un Charter que añadía un método público nuevo — el único método que hacía funcionar una feature. Tres de cuatro auditores reportaron que no había hallazgos críticos ni altos. La feature tenía cero llamadores en producción, 3.376 tests en verde, y no funcionaba de punta a punta. El defecto era detectable mecánicamente con un solo grep; un auditor corrió exactamente ese grep y leyó el resultado al revés. El post-mortem produjo una regla nueva en el prompt de auditoría — y un hallazgo más incómodo sobre la verificación del propio implementador, que no podía dar rojo.

La reescritura de Bun en Rust corrió revisión adversarial de IA a una escala que vale la pena estudiar — una sola familia de modelo, ventanas de contexto separadas, y 1.386.826 aserciones de test como juez final. Las auditorías de StrayMark se ven distintas porque el objetivo es distinto, y la diferencia no es de estilo. Cuando un suite de tests que pasa puede ser el juez, aíslas a los revisores por contexto. Cuando el juez es un juicio humano, diversificas por familia de modelo — y 25 ciclos de auditoría con datos reales muestran exactamente por qué, incluida una familia que se quedó callada y ciega.

La auditoría de StrayMark solo vale algo si familias de modelos independientes convergen en un finding por sí mismas — el acuerdo es la señal. Una serie de releases endureció esa garantía contra tres formas de fingirla. La más fresca es la más filosa — un router CLI inyecta su propio nombre de producto, así que un auditor firmó su reporte como "qwen-code" aun después de que el operador había cambiado el modelo de backend. A la matemática de convergencia le estaban dando de comer una mentira sobre quién hizo el trabajo.