system-one-bench ES·EN v2.10.0
Experimentos

Límites y cautelas

Qué se probó, qué se encontró y con qué certeza — esquemas, thinking, modos y orden de opciones. Medido sobre Qwen3.8-27B vía el adaptador LLM (salvo DiffusionGemma en §8). Resumen en la portada.

Sujeto de esta página. Casi todas las cifras vienen de Qwen3.8-27B, un LLM generalista open-weight evaluado con el adaptador llm (system-one-adapter, contrato TypeSafe): no es un decisor dedicado tipo Jev/Clef. La sesión confirmatoria pre-registrada (hipótesis §2, celdas §5) es FP8 local (SGLang). Las barras de §6–§7 añaden las mismas preguntas con NVFP4, GGUF y, donde se indica, la API Cerebras — mismo modelo, otra cuantización o host. La no-inyección del esquema (§3–§4) se comprobó además en llama.cpp, vLLM 0.29.0 y Ollama 0.32.14. La única fila de otro modelo es DiffusionGemma en §8 (rotación), mostrada aparte a propósito.

1. Mapa del experimento

Qué se cambia, qué se mide y dónde está cada hallazgo. El ajustado resta la línea base de mayoría: 0 = acertar lo mismo que responder siempre la clase mayoritaria; valores altos = mejora real sobre ese suelo trivial.

De variables a hallazgos

Cuatro variables: visibilidad del esquema, modo probabilidad o discrete, thinking y orden de opciones. Se mide el ajustado con referencia 0 igual a mayoría. Hallazgos: ceguera, forest de hipótesis, tokens, modos y rotación.

Mapa: variables, métrica y hallazgos Flujo de izquierda a derecha: se cambian cuatro variables; se mide el ajustado (0 = mayoría); cada hallazgo apunta a su sección. Qué se cambia 1. ¿Ve las preguntas? (ciego · visible / inject) 2. Modo de salida (probabilities · discrete) 3. Thinking on/off 4. Orden de opciones (departamento d0–d3) Qué se mide Ajustado acierto − mayoría 0 = mayoría Dónde verlo → Hipótesis (forest) → Quién inyecta → Tokens / canario → Ceguera → ajustado → Discrete vs prob. → Orden / rotación Sesión Qwen3.8-27B FP8 local · GT v4 · umbrales fijados antes de ver resultados
Glosario corto (términos del banco)
Ajustado
Puntos de acierto por encima (o debajo) de la clase mayoritaria. 0 = no mejor que el suelo trivial.
Visible / inject
Las preguntas tipadas se copian al system prompt. Sin eso, en varios servidores locales Qwen3.8-27B responde a ciegas.
Ciego (struct sin inject)
Esquema forzado solo como gramática de salida; las preguntas no aparecen en el texto que lee el modelo.
probabilities / discrete
Dos modos de salida del adaptador (distribuciones vs elección discreta). Cambian prompt y formato a la vez.
Thinking
Cadena de razonamiento del modelo activada o apagada.
F0–F3 / T0–T1 / D0–D1 / DT
Celdas de las sesiones: F = probabilities sin thinking (órdenes d0–d3); T = con thinking; D = discrete sin thinking; DT = discrete con thinking (sesión JEV-76, que repite F/T/D como controles frescos; ′ marca el control de esa sesión).
pp
Puntos porcentuales (diferencia de porcentajes, no puntos del ajustado).
Canario
Prueba conductual: solo acierta la etiqueta correcta si lee su descripción. Observacional; la visibilidad la acreditan tokens + control ciego.
CONFIRMADA / INCONCLUSA / REFUTADA
Veredicto frente al umbral pre-registrado y su intervalo de confianza — no es «hay/no hay efecto» en abstracto.

2. Hipótesis pre-registradas: estimación, IC y veredicto

Cada fila es una hipótesis con umbral fijado antes de correr. El punto es la estimación; la barra horizontal, el intervalo de confianza; la línea discontinua, el umbral. El badge es el veredicto (color y texto). INCONCLUSA ≠ «no hay efecto»: el IC no cruza el umbral de la forma exigida.

Forest plot — sesión Qwen3.8-27B FP8 (GT v4)

Thinking orden original T0 menos F0: estimación +11.69, IC 97,5 % [−0.28, +28.04], umbral ≥ +5, INCONCLUSA. Thinking orden rotado T1 menos F1: +6.51, IC 97,5 % [−1.97, +16.58], umbral ≥ +5, INCONCLUSA. Estabilidad rango F0 a F3: 9.62, IC 95 % [4.58, 17.55], umbral ≤ 5, INCONCLUSA. Primacía bronchoscopia: +35.14 pp, IC 95 % [16.67, 52.78], umbral ≥ +5 pp, n=37, CONFIRMADA. Discrete menos F0: +12.85, IC 95 % [3.11, 24.94], umbral ≥ +10, INCONCLUSA. Réplica S202: 253 de 255 (99,22 %), IC 95 % [97.2 %, 99.9 %], umbral ≥ 97 %, CONFIRMADA. Anti-inyección V3: −1.11 pp, IC 97,5 % [−3.33, 0], umbral ≥ +10 pp, n=12, REFUTADA. Anti-inyección V5: −2.22 pp, IC 97,5 % [−8.89, 0], umbral ≥ +10 pp, n=12, REFUTADA.

Forest plot de hipótesis con IC y umbral Thinking T0−F0: +11.69 [−0.28, +28.04], umbral ≥ +5, INCONCLUSA. Thinking T1−F1: +6.51 [−1.97, +16.58], umbral ≥ +5, INCONCLUSA. Rango F0–F3: 9.62 [4.58, 17.55], umbral ≤ 5, INCONCLUSA. Primacía: +35.14 pp [16.67, 52.78], umbral ≥ +5 pp, CONFIRMADA. Discrete D0−F0: +12.85 [3.11, 24.94], umbral ≥ +10, INCONCLUSA. S202: 253/255 [97.2 %, 99.9 %], umbral ≥ 97 %, CONFIRMADA. V3 n=12: −1.11 pp [−3.33, 0], umbral ≥ +10 pp, REFUTADA. V5 n=12: −2.22 pp [−8.89, 0], umbral ≥ +10 pp, REFUTADA. Thinking · orden original (T0−F0) Δ ajustado · IC 97,5 % · umbral ≥ +5 +5 +11.69 [−0.28, +28.04] INCONCLUSA Thinking · orden rotado (T1−F1) Δ ajustado · IC 97,5 % · umbral ≥ +5 +5 +6.51 [−1.97, +16.58] INCONCLUSA Estabilidad entre órdenes (F0–F3) rango del ajustado · IC 95 % · umbral ≤ 5 ≤5 9.62 [4.58, 17.55] INCONCLUSA Primacía de «bronchoscopia» Δ errores dept. (primera−última) · IC 95 % +5 pp +35.14 pp [16.67, 52.78] CONFIRMADA Discrete frente a probabilities (D0−F0) Δ ajustado · IC 95 % · umbral ≥ +10 +10 +12.85 [3.11, 24.94] INCONCLUSA Réplica S202 (mismo orden, otra semilla) acuerdo de decisiones · IC 95 % Clopper-Pearson · umbral ≥ 97 % 97% 253/255 [97.2, 99.9]% CONFIRMADA Frases anti-inyección V3 (visible, n=12) Δ acierto diagnóstico · IC 97,5 % · umbral ≥ +10 pp +10 −1.11 pp [−3.33, 0] REFUTADA Frases anti-inyección V5 (visible, n=12) Δ acierto diagnóstico · IC 97,5 % · umbral ≥ +10 pp +10 −2.22 pp [−8.89, 0] REFUTADA Primacía: n=37 registros (35 casos), Holm p=0.009155. Cada fila usa su propia escala horizontal (ver fórmula en el fuente).

Cifras exactas de la tabla «Clasificación pre-registrada» del manifiesto de resultados de la sesión (7-oct-2026). Media del rango F0–F3: 52.19. Errores de primacía d0/d1/d2/d3 = 22/9/15/24 sobre 37.

La sesión JEV-76 (7-oct) completa el factorial con la celda que faltaba — discrete + thinking (DT) — y repite F/T/D como controles frescos en los dos órdenes (8×194 casos, misma batería GT v4). Cuatro contrastes primarios, todos con el mismo umbral ≥ +5 y IC 98,75 % (Bonferroni para una cobertura familiar del 95 %).

Forest plot — sesión JEV-76: discrete × thinking (GT v4)

Thinking sobre discrete, orden original, DT0 menos D0′: estimación −3.48, IC 98,75 % [−11.39, +3.62], umbral ≥ +5, REFUTADA. Thinking sobre discrete, orden rotado, DT1 menos D1: −5.58, IC 98,75 % [−14.82, +2.59], umbral ≥ +5, REFUTADA. Discrete frente a prob con thinking, orden original, DT0 menos T0′: +0.85, IC 98,75 % [−5.19, +6.75], umbral ≥ +5, INCONCLUSA. Discrete frente a prob con thinking, orden rotado, DT1 menos T1′: −8.65, IC 98,75 % [−18.09, −1.94], umbral ≥ +5, REFUTADA.

Forest plot del factorial discrete × thinking con IC y umbral DT0−D0′: −3.48 [−11.39, +3.62], umbral ≥ +5, REFUTADA. DT1−D1: −5.58 [−14.82, +2.59], umbral ≥ +5, REFUTADA. DT0−T0′: +0.85 [−5.19, +6.75], umbral ≥ +5, INCONCLUSA. DT1−T1′: −8.65 [−18.09, −1.94], umbral ≥ +5, REFUTADA. Thinking sobre discrete · orden original (DT0−D0′) Δ ajustado · IC 98,75 % · umbral ≥ +5 +5 −3.48 [−11.39, +3.62] REFUTADA Thinking sobre discrete · orden rotado (DT1−D1) Δ ajustado · IC 98,75 % · umbral ≥ +5 +5 −5.58 [−14.82, +2.59] REFUTADA Discrete vs prob con thinking · orden original (DT0−T0′) Δ ajustado · IC 98,75 % · umbral ≥ +5 +5 +0.85 [−5.19, +6.75] INCONCLUSA Discrete vs prob con thinking · orden rotado (DT1−T1′) Δ ajustado · IC 98,75 % · umbral ≥ +5 +5 −8.65 [−18.09, −1.94] REFUTADA

Las cuatro filas comparten escala (−20 a +10; fórmula en el fuente del gráfico), así que el umbral +5 cae en la misma x. Los IC de H1 incluyen cero: ni deterioro ni equivalencia demostrados. Cifras exactas de «Clasificación pre-registrada» de docs/infra_runs/qwen38_jev76.md §RESULTADOS (sesión s81f-20261007-0800; 1 552/1 552 casos, 0 errores). Interacción descriptiva (fuera de la familia confirmatoria): ≈ −12,1 puntos en ambos órdenes.

3. Cómo llegan las preguntas al modelo

Con salida estructurada, el adaptador manda el system prompt y el documento en el chat. Las preguntas tipadas viajan en response_format (JSON Schema). Si el servidor no copia ese esquema al prompt, el modelo responde a ciegas — solo usa el schema como gramática de lo que puede escribir. En esta página el sujeto medido es Qwen3.8-27B; la lista nombra servidores donde se observó la no-inyección.

Díptico: a la izquierda un documento cerrado y velado (el modelo no ve las preguntas tipadas); a la derecha el mismo documento abierto con marcas tipadas legibles (las preguntas están en el prompt)
Sin las preguntas en el prompt el modelo no las ve; con inject (o Cerebras) sí forman parte de lo que lee.
Antes / después: ¿aparecen las preguntas en el texto que lee el modelo?

Dos columnas. Antes: prompt TypeSafe probabilities sin preguntas en el system, schema solo como gramática; Cerebras sí inyecta, varios locales no. Después: inject copia el schema al system prompt; el modelo ve las preguntas.

Prompt ciego frente a prompt con preguntas visibles Columna izquierda: system TypeSafe probabilities («Evaluate every question…») y documento sin preguntas; response_format fuera del prompt. Columna derecha: schema añadido al system; gramática sigue activa. ANTES — ciego en locales system (TypeSafe probabilities): Evaluate every question using only the supplied document.… user: [documento del caso] preguntas solo en response_format (fuera del texto leído) SGLang · llama.cpp vLLM 0.29.0 · Ollama 0.32.14 schema = gramática, no lectura DESPUÉS — inject / Cerebras system: Evaluate every question using only the supplied document.… + JSON Schema (department…) user: [documento del caso] El modelo lee las preguntas Cerebras inyecta solo; en local: inject_schema_in_prompt gramática sigue activa

Mitigación local medida: copiar el esquema al system prompt manteniendo la gramática. Propuesta upstream: system-one-adapter#50.

4. Sonda de tokens (visibilidad)

Misma petición, mismo caso: si las preguntas están en el prompt, hay muchos más tokens de entrada. Puerta operativa: visible − ciego ≥ 200 tokens, más un control ciego. El canario conductual (elegir una etiqueta solo si se lee su descripción) queda como observación: con gramática estructurada el nombre de la etiqueta puede delatarla por azar.

Tokens de entrada · mismo caso · FP8 / SGLang

Barras horizontales: ciego unos 222 tokens; visible con inject unos 806. Diferencia 584, por encima del umbral 200.

Tokens de entrada ciego frente a visible Barra ciego aproximadamente 222 tokens; barra visible con inject aproximadamente 806. Umbral de diferencia 200 tokens. tokens de entrada → Ciego (schema solo gramática) ~222 Visible (preguntas en el prompt) ~806 Δ ≈ 584 · puerta ≥ 200 · canario = observación

En Cerebras el contraste medido fue ~222 local frente a ~958 con inyección del proveedor (misma idea: preguntas visibles).

5. Ajustado por celda (sesión FP8)

Siete celdas de la misma sesión local (struct+inject, GT v4, 194 casos). Eje desde mayoría = 0: más a la derecha = mejor que el suelo trivial. Sin IC por celda en este gráfico (el forest de arriba lleva los IC de las hipótesis).

Ajustado · Qwen3.8-27B FP8 · GT v4 · mayoría = 0

Barras: sin thinking orden original 49.57; orden rotado 58.41; d2 51.97; d3 48.80; con thinking d0 61.26; con thinking d1 64.92; discrete 62.42.

Ajustado por celda de la sesión Siete barras horizontales de puntuación ajustada. Referencia mayoría igual a cero. Sin intervalos de confianza en esta figura. mayoría = 0 → mejor Sin thinking, orden original (F0) 49.57 Sin thinking, orden rotado (F1) 58.41 Sin thinking, orden d2 (F2) 51.97 Sin thinking, orden d3 (F3) 48.80 Con thinking, orden original (T0) 61.26 Con thinking, orden rotado (T1) 64.92 Discrete, orden original (D0) 62.42 Sin IC aquí · ver forest (§2) para hipótesis

6. Efecto de la ceguera en el ajustado

Cuando Qwen3.8-27B no ve las preguntas, el ajustado cae bajo la mayoría (negativo). Con preguntas visibles vuelve a la banda ~48–52. Eso explica el suelo trivial; no cierra el hueco frente al mismo modelo en Cerebras (59–66). Comparación descriptiva (no ablación de una sola variable); sin IC en estas barras del marcador.

Ajustado (descriptivo) · mayoría = 0 · sin IC en marcador

Histórico ciego menos 15 asterisco GT v4; inject FP8 51; NVFP4 50; GGUF 48; sin esquema forzado NVFP4 52.

Ajustado ciego frente a visible Barras horizontales. Negativo bajo mayoría en ciego; positivos con preguntas visibles. Referencia 0 = mayoría. ← peor · mayoría = 0 · mejor → Histórico ciego (GT v4) −15* Visible inject · FP8 51 Visible inject · NVFP4 50 Visible inject · GGUF 48 Sin esquema forzado · NVFP4 52 * −15 con GT v4 (−16 era GT v3). Cobertura parcial en el histórico ciego.

7. Discrete frente a probabilities

Con preguntas visibles, el modo discrete sube el ajustado frente a probabilities en los backends locales medidos para Qwen3.8-27B (NVFP4/GGUF). El modo cambia prompt y formato a la vez; en Cerebras el signo se invierte. Aquí: cifras del marcador, sin IC (el forest §2 lleva el IC de discrete−F0 en FP8: +12.85 [3.11, 24.94], umbral +10 → INCONCLUSA).

Ajustado local con preguntas en el prompt · mayoría = 0

Parejas: NVFP4 probabilities 50 frente a discrete 63; GGUF 48 frente a 63.

Discrete frente a probabilities en ajustado Dos pares de barras desde mayoría igual a cero. NVFP4 50 vs 63; GGUF 48 vs 63. Sin intervalos de confianza. mayoría = 0 NVFP4 prob 50 disc 63 (+13) GGUF prob 48 disc 63 (+15)

8. Sensibilidad al orden de las opciones

Rotar el orden de las opciones choice mueve el acierto aunque el contenido sea el mismo. No son el mismo experimento ni el mismo modelo: se muestran por separado. Solo DiffusionGemma publica IC95 en esta figura; Qwen A3 es un Δ puntual sin IC aquí (la primacía con IC está en el forest §2).

Δ acierto al rotar opciones · 0 = sin cambio

Qwen A3 más 6.2 puntos porcentuales sin intervalo de confianza en esta figura. DiffusionGemma Rot1 menos 7.4 con IC95 de menos 11.9 a menos 3.1 (GT v4).

Efecto de rotar el orden choice por modelo Dos filas independientes. Qwen más 6.2 pp sin IC. DiffusionGemma menos 7.4 pp con bigotes de IC95 [−11.9, −3.1] (GT v4). 0 = mismo acierto · pp Qwen FP8 inject (celda A3) +6.2 pp · sin IC aquí DiffusionGemma Rot1 −7.4 IC95 [−11.9, −3.1] · GT v4

9. Arreglo esperado en el adaptador

Con structured=true, las preguntas deberían inyectarse en el prompt cuando el servidor no lo hace solo. Evidencia empaquetada en la issue upstream:

github.com/typesafe-ai/system-one-adapter-python/issues/50

← Volver al circuito recomendado · Metodología: adaptador LLM