system-one-benchFicha de modelo
Todas las cifras de una configuración en una sola pantalla: ajustado global, acierto por set y por pregunta, calibración, coste, latencia y su papel en las cascadas y las alertas de manipulación. Todo sale del mismo scorer que el marcador.
Cargando…
Global ajustado
Margen sobre la línea base de responder siempre lo más frecuente, promediado por fase: 0 = la mayoría trivial, 100 = perfecto. La fase OOD no entra en la media porque su mayoría ya es 100 %.
Acierto por set y por pregunta
Porcentaje de puntos con su IC95 y, debajo, los puntos por pregunta (en preguntas de nivel, medio punto a un nivel de distancia). Entre paréntesis, lo que consigue la mayoría trivial en esa pregunta.
Calibración y latencia por set
Brier: error cuadrático medio de las probabilidades sí/no (0 perfecto; 0,25 = responder siempre 50 %). ECE: distancia media a la diagonal de calibración. 0,45–0,55 cuenta las respuestas sí/no casi moneda al aire en la frontera.
Coste y latencia
El coste es solo lo que cobra la API por 1.000 registros de fase completos (las cifras locales no incluyen hardware ni electricidad). La latencia es la mediana por mensaje; en cascadas, la suma de las dos pasadas.
Cascadas y alertas de manipulación
Qué papel juega esta configuración en las segundas pasadas y, si tiene alerta de manipulación medida (umbral ≥ 0,5), cuántos mensajes manipulados detecta y cuántos honestos marca por error.