Experimentos

1. Votación de tres llamadas también en la tabla de Metodología

Pregunta

¿La mayoría de tres llamadas iguales mejora a una sola llamada de Jev?

Criterio

Mejorar a una sola llamada.

Fechas

Pre-registro: 2026-09-23 declaración documental

Modelos

• jev_v3 · sujeto (batería de Lyra; el run del harness no es el vote-of-3)

Resultado

Informe Lyra: ES 87.1 % / EN 88.6 %, el techo de una pasada. La tabla pública resume «mismo acierto con el triple de coste». No está re-puntuado con GT v3/v4/v5.

Veredicto

Neutro: el voto no mejora el acierto del control histórico y triplica el coste.

GT

v1 histórico Lyra (23-sep)

Salvedad: Fuente correcta: legacy/jev_vs_laya.md §3B, no cascada_jev.md. La fecha es la del informe. No hay un commit de pre-registro comprobado aparte.

Notas: No hay run results/*vote* en el harness. El experimento vive en legacy.

Documentos: jev_vs_laya.md

2. Desacuerdo Jev ↔ Laya como señal también en la tabla de Metodología

Pregunta

¿El desacuerdo entre Jev y Laya señala los errores de Jev?

Criterio

Detectar los errores de Jev.

Fechas

Pre-registro: 2026-09-23 declaración documental

Modelos

• jev_v3 · sujeto
• laya_router · control / segunda opinión

Resultado

Los errores de Laya incluyen los de Jev: 0/2 errores de Jev en adversarial detectados y 6 falsas alarmas de 10. Laya como revisor de sí misma en adv2 no mueve el routing (3/10→3/10) y el cruce Jev→revisor Laya empeora 7/10→5/10.

Veredicto

Descartado: el desacuerdo con Laya no detecta los errores de Jev de forma útil en este ensayo.

GT

v1 histórico Lyra (23-sep)

Salvedad: Fuente correcta: legacy/jev_vs_laya.md §3C. Incluye el revisor departamental histórico solo como contexto; la ficha propia es revisor_departamental_historico.

Documentos: jev_vs_laya.md

3. Rerun histórico de Jev y de Laya

Pregunta

¿Repetir la misma batería el mismo día mueve las respuestas de Jev o las de Laya?

Criterio

Mismos casos, mismas preguntas, mismo GT. No es un criterio de equivalencia formal ni de determinismo universal.

Fechas

Pre-registro: 2026-09-23 declaración documental

Modelos

• legacy_jev_v1 · rerun importado
• legacy_jev_v2 · rerun importado
• legacy_laya_v1 · rerun importado
• legacy_laya_v2 · rerun importado

Resultado

Laya idéntica bit a bit. Jev con jitter: |Δ| medio 0,013 en relevancia (máx 0,07). No hay jev_v3_r2 ni réplica moderna de semilla. 934/934 u otros acuerdos posteriores no heredan este determinismo.

Veredicto

Histórico: Laya repetible en ese rerun; Jev con jitter de frontera.

GT

v1 histórico Lyra

Salvedad: El rerun no implica determinismo universal ni invariancia ante todas las permutaciones.

Documentos: jev_vs_laya.md

4. Revisor departamental histórico y su validación en adv2

Pregunta

¿Un revisor de departamento, y la auto-revisión o el cruce con Laya, mejoran adv2?

Criterio

Validación en adv2, separada de la cascada multivaloración del 26-sep.

Fechas

Pre-registro: 2026-09-23 declaración documental

Modelos

Resultado

Jev 15/20→18/20 con el revisor de departamento. Auto-revisión Laya en adv2: 3/10→3/10. Cruce Jev→revisor Laya: 7/10→5/10.

Veredicto

El revisor de Jev sube el departamento en ese informe. Laya auto y cruzada no.

GT

v1 histórico Lyra

Salvedad: Evidencia de informe, sin runs *laya*rev* en el harness. No es la cascada del 26-sep.

Documentos: jev_vs_laya.md

5. Revisor Jev sobre Jev también en la tabla de Metodología

Pregunta

¿Una segunda llamada de Jev que audita la primera mejora el resto de valoraciones y todos los sets, no solo el departamento adversarial?

Criterio

Mejorar el total de al menos 2 de 4 bloques (triaje, papers, adv1+adv2) y más que un control de dos llamadas sin revisión (jev_avg2_control).

Fechas

Pre-registro: 2026-09-26 declaración documental

Modelos

• jev_v3 · 1ª pasada
• jev_cascade_raw · revisor
• jev_cascade_audit · fusión audit
• jev_cascade_review · fusión review
• jev_cascade_avg · fusión avg
• jev_typesafe_v1 · control
• jev_avg2_control · control
• jev_v114_typesafe_preview · 1ª pasada
• jev114_cascade_raw · revisor
• jev114_cascade_audit · fusión audit
• jev114_cascade_review · fusión review
• jev114_cascade_avg · fusión avg
• jev114_avg2_control · control

Resultado

Cifras del 26-sep, GT v2 (P04 corregido), no la tabla JEV-22. review mejora los 4 bloques (triaje ES 87,1→90,7, EN 88,6→89,3, papers 67,5→75,3, adv total 78,0→88,0) y el control no mejora el total adversarial (78,0). Confirmación en casos nuevos de ese día: adv3 total 87,5→92,0 (audit y review). Coste 2ª pasada $0,0055 (83 revisiones). 87,1 y 88,6 no son la misma cifra con dos redondeos: 87,1 es este v2; 88,6 de triaje ES es el rescate GT v3 (cascada_jev_tabla_v3). Réplica con Jev 1.14 (JEV-104, 15-oct, GT v5, pre-registro congelado antes de medir): cumple de nuevo — review 68 y audit 66 mejoran los 4 bloques frente a D1 50 y el control 51 apenas se mueve. Frente a la cascada 1.13 (audit, Holm53): 15 frente a 25 discordantes, Holm 1 en todo. La referencia sigue siendo 1.13.

Veredicto

Cumple el criterio de mejora de la cascada frente a la primera pasada y al control sin revisión.

GT

v2 (26-sep, P04 corregido); la réplica con Jev 1.14 (JEV-104) es GT v5

Notas: legacy/jev_vs_laya.md no es la fuente de esta cascada. Vote y gate están en ese informe (§3B/3C), fichas votacion_tres y gate_jev_laya.

Documentos: cascada_jev.md jev104_resultados.md

6. Cascada Jev→Jev re-puntuada (tabla JEV-22) JEV-22

Pregunta

¿La misma cascada Jev→Jev, re-puntuada con el GT v3 del 27-sep, mantiene el cumplimiento?

Criterio

Misma regla de fusión que el 26-sep. Esta ficha solo etiqueta el universo v3; no reabre el criterio.

Fechas

Pre-registro: 2026-09-27 declaración documental

Modelos

• jev_v3 · 1ª pasada
• jev_cascade_raw · revisor
• jev_cascade_audit · fusión audit
• jev_cascade_review · fusión review
• jev_cascade_avg · fusión avg
• jev_typesafe_v1 · control
• jev_avg2_control · control

Resultado

Tabla JEV-22, GT v3: Jev D1 triaje ES/EN 88,6/90,0 (el 87,1 de triaje ES era v2), papers 67,5, adv total 79,0, adv3 total 87,5. Jev→Jev audit: 91,4/93,6, papers 73,8, adv total 88,5, adv3 92,0. No es intercambiable con la tabla del 26-sep.

Veredicto

Cumple en el universo v3 (tabla distinta de la v2)

GT

v3 (27-sep, tabla JEV-22)

Documentos: cascada_jev.md GT_CHANGELOG.md

7. Cascada fuera de Jev (Decider-4B auto-revisión y Decider→Jev) JEV-22

Pregunta

¿El patrón revisor-auditor funciona si la primera pasada o el revisor no es Jev?

Criterio

No hay umbral numérico nuevo: mismas reglas de fusión. Lectura pre-especificada por comparación con Jev→Jev.

Fechas

Pre-registro: 2026-09-27 declaración documental

Modelos

• decider_4b · 1ª pasada
• decider_4b_cascade_audit · revisor (auto)
• decider_4b_jevrev_audit · revisor Jev
• jev_cascade_audit · referencia

Resultado

Auto-revisión Decider: adv total 71.5→74.5 (audit) y adv dept 1+2 baja 14→13. Decider→Jev audit: adv3 total 93.5 frente a Jev→Jev 92.0; triaje ES/EN 90.7/93.6. GT v3.

Veredicto

Descriptivo: la auto-revisión apenas ayuda; con Jev como revisor Decider-4B alcanza la banda de Jev→Jev. Sin McNemar de superioridad en esta sección.

GT

v3

Documentos: cascada_jev.md

8. gpt-6-luna como revisor y luna con revisor Jev JEV-38

Pregunta

¿gpt-6-luna cumple el criterio JEV-32 como revisor de Decider-4B, y qué hace como primera pasada revisada por Jev?

Criterio

Criterio JEV-32, con umbrales exactos para decidir: recuperar al menos la mitad de la ganancia de →Jev (audit) en adv3+adv5 y en triaje (media ES/EN). Esas mitades son 6,625 y 3,2142857; 6,6 y 3,2 son solo redondeos descriptivos. Ninguna fase empeora más de 2 puntos. Alerta adv5: sensibilidad ≥7/10 y FP ≤1/10.

Fechas

Pre-registro: 2026-09-29 declaración documental

Modelos

• decider_4b · 1ª pasada
• decider_4b_llmrev_audit · revisor
• llm_gpt6luna_prob · 1ª pasada
• llm_gpt6luna_jevrev_audit · revisor Jev

Resultado

Como revisor: adv3+adv5 +10.25 (77 % de la ganancia de Jev) sí; triaje +1.8 (28 %) no; alerta adv5 6/10 y 1 FP no. Como D1 con revisor Jev: la sección lo llama la mejor configuración medida con revisor Jev en ese momento (adv total 92.0, Brier noul 0.045); ninguna diferencia significativa frente a jev_cascade_audit. El doc posterior (JEV-84, GT v4) sitúa el máximo audit completo en Jev→Haiku 74 y conserva luna→Jev en 71.

Veredicto

No cumple como revisor: recupera la ganancia adversarial exigida, pero no la de triaje ni la sensibilidad de la alerta.

GT

v3

Salvedad: 6,625 es la mitad de la ganancia de referencia +13,25 (76,0→89,25) que ya citaba T44. 3,2142857 es el umbral exacto que fija R113; la mitad aritmética de +6,45 (85,7→92,15) es 3,225, que no coincide con 3,2142857. No rederivé el segundo denominador en el plan. Para decidir se usan las mitades que indica R113; 6,6/3,2 no deciden.

Notas: La fila única «Revisor abierto sobre Decider-4B» de metodologia.html cita estos negativos y cierra con Cumple (Clef-27B), que es revisor_clef27_jev48.

Documentos: cascada_jev.md

9. gpt-6.1-sol (low) como revisor de Decider-4B JEV-60 JEV-32

Pregunta

¿gpt-6.1-sol cumple el criterio JEV-32 y supera en ajustado al revisor Jev sobre Decider-4B?

Criterio

Criterio JEV-32. La superioridad por pregunta exige McNemar; Holm se invoca en el párrafo posterior.

Fechas

Pre-registro: 2026-10-04 declaración documental

Modelos

• decider_4b · 1ª pasada
• decider_4b_solrev_audit · revisor
• decider_4b_solrev_review · revisor review
• llm_gpt61sol_low_prob · 1ª pasada
• llm_gpt61sol_jevrev_audit · revisor Jev

Resultado

Histórico v3 (4-oct): criterio JEV-32 con adv3+adv5 +18,0 (136 %), triaje +6,8 (105 %), alerta adv5 9/10 y 0 FP. Redondeos de esa tabla: audit 66 y review 68 frente al revisor Jev 64. McNemar vs revisor Jev: solo papers/relevance p=0,04 (b=2, c=10); no sobrevive a Holm. Publicación v4 (recálculo, sin afirmar superioridad): audit sol 65,82165, Haiku 65,63922; review sol 67,53494, Haiku 70,39. 65,82 > 65,64 no es superioridad tras Holm. Coste pasada-2 $1,05.

Veredicto

Cumple (criterio JEV-32). El agregado mayor que el revisor Jev no queda como superioridad tras Holm.

GT

v3 histórico (tabla del 4-oct, 195 casos); v4 en la comparación posterior con Haiku

Documentos: cascada_jev.md claude_haiku55_jev84.md

10. DiffusionGemma como primera pasada con revisor Jev JEV-70

Pregunta

¿La cascada DiffusionGemma→Jev mejora al D1 o a las cascadas de referencia tras Holm?

Criterio

«Mejora» solo si hay celdas McNemar significativas tras Holm (53). Alerta del revisor: ≥7/10 y ≤1 FP por set. Sin margen de equivalencia.

Fechas

Pre-registro: 2026-10-06 declaración documental

Modelos

• dgemma_26b_a4b_nvfp4_s1 · 1ª pasada principal
• dgemma_26b_a4b_nvfp4_s1_jevrev_audit · revisor Jev
• dgemma_26b_a4b_nvfp4 · 1ª pasada secundaria
• dgemma_26b_a4b_nvfp4_jevrev_audit · revisor Jev
• decider_4b_jevrev_audit · referencia
• jev_cascade_audit · referencia

Resultado

Publicación v4 del recálculo: S1 52,99056→64,11743 (audit); P 52,64221→62,00440 (audit). Holm 53: ninguna celda p<0,05 frente al D1 ni frente a Decider-4B→Jev ni Jev→Jev. Alerta del revisor Jev, otro experimento que el de una pasada: principal 25/30·1 cumple; secundaria 25/30·0 cumple. Los redondeos 53/64 y 53/62 de la prosa histórica no sustituyen estas precisiones. Sin equivalencia.

Veredicto

Descriptivo: subida de ajustado sin mejora demostrada por pregunta y sin equivalencia. La alerta del revisor cumple.

GT

v3: adquisición del 6-oct; v4: recálculo de cierre publicado aquí

Documentos: cascada_jev.md

11. Cerebras Qwen3.8-27B como revisor de Jev JEV-61

Pregunta

¿Qwen3.8-27B por Cerebras, con y sin esquema, mejora la cascada Jev→Jev como revisor?

Criterio

El manifiesto no fija un umbral de superioridad. Reporta McNemar por pregunta frente a jev_cascade_audit. La web añade la alerta 23–24/30, que el manifiesto no tabula.

Fechas

Pre-registro: 2026-10-04 declaración documental

Modelos

• jev_v3 · 1ª pasada
• jev_cerebrasqwenrev_audit · revisor structured
• jev_cerebrasqwennsrev_audit · revisor sin esquema
• jev_cascade_audit · referencia

Resultado

v4: audit structured 67,80206 y nostruct 68,85311 (redondeo 68/69). v3 histórico: 67,79266/68,84713. p mínima McNemar vs jev_cascade_audit, GT v4: 0,25 (structured) y 0,125 (nostruct); ambas sin significación nominal. Las cotas p≥0,12 y p≥0,125 del manifiesto y de la web son compatibles y más laxas. Alerta descriptiva, no una validación confirmatoria nueva: structured adv3 9/10·0, adv4 7/10·0, adv5 8/10·0 = 24/30·0; nostruct 9/10·0, 7/10·0, 7/10·0 = 23/30·0.

Veredicto

Descriptivo: mayor ajustado sin significación por pregunta. No está en la tabla de metodologia.

GT

v3 histórico (195 casos); v4 para los recálculos publicados aquí

Salvedad: Medición descriptiva de la alerta a partir del raw. No es una validación confirmatoria pre-registrada de la alerta Cerebras.

Notas: verificado parcial: el TP/FP de la alerta no está en el manifiesto

Documentos: jev_cerebrasqwenrev.md

12. Revisor abierto sobre Decider-4B (candidatos locales iniciales) JEV-32

Pregunta

¿Un revisor open-weight recupera al menos la mitad de la ganancia que da Jev como revisor de Decider-4B?

Criterio

Criterio JEV-32, con umbrales exactos para decidir: recuperar al menos la mitad de la ganancia de →Jev (audit) en adv3+adv5 y en triaje (media ES/EN). Esas mitades son 6,625 y 3,2142857; 6,6 y 3,2 son solo redondeos descriptivos. Ninguna fase empeora más de 2 puntos. Alerta adv5: sensibilidad ≥7/10 y FP ≤1/10.

Fechas

Pre-registro: 2026-09-27 declaración documental

Modelos

• decider_4b · 1ª pasada
• decider_4b_jevrev_audit · revisor referencia
• decider_4b_d35rev_audit · revisor
• decider_4b_aj32brev_audit · revisor
• decider_4b_aj8brev_audit · revisor
• decider_4b_cascade_audit · revisor (auto)
• decider_4b_jev114rev_audit · revisor

Resultado

D35 NVFP4 +4.5 (34 %) adv3+adv5 y +2.9 (45 %) triaje, alerta 5/10 y 0 FP: no. AnyJev-32B +4.5 (34 %) y triaje −3.9, alerta 6/10 y 1 FP: no. AnyJev-8B −1.75 y alerta 1/10: no. La fila de metodologia agrupa aquí también a Clef-27B, que sí cumple en JEV-48. 15-oct (JEV-104, GT v5): Jev 1.14 como revisor de Decider-4B cumple JEV-32 — ajustado audit 63 (referencia 1.13: 66), 71.4 % de la ganancia en adv3+adv5 y 72.2 % en triaje, ninguna fase peor y alerta adv5 8·1. Holm53 frente a 1.13: 13 frente a 28 discordantes, Holm 1 en todo; la referencia sigue siendo 1.13.

Veredicto

No cumple (D35, AnyJev-32B, AnyJev-8B). La tabla pública dice «Cumple (Clef-27B)» porque el mismo criterio lo pasa Clef en otro experimento.

GT

v3

Salvedad: 6,625 es la mitad de la ganancia de referencia +13,25 (76,0→89,25) que ya citaba T44. 3,2142857 es el umbral exacto que fija R113; la mitad aritmética de +6,45 (85,7→92,15) es 3,225, que no coincide con 3,2142857. No rederivé el segundo denominador en el plan. Para decidir se usan las mitades que indica R113; 6,6/3,2 no deciden.

Notas: La fila única «Revisor abierto sobre Decider-4B» de metodologia.html cita estos negativos y cierra con Cumple (Clef-27B), que es revisor_clef27_jev48.

Documentos: cascada_jev.md jev104_resultados.md

13. Clef-27B como revisor de Decider-4B JEV-48 JEV-32 también en la tabla de Metodología

Pregunta

¿Clef-27B, revisor 100 % local, recupera el listón JEV-32?

Criterio

Criterio JEV-32, con umbrales exactos para decidir: recuperar al menos la mitad de la ganancia de →Jev (audit) en adv3+adv5 y en triaje (media ES/EN). Esas mitades son 6,625 y 3,2142857; 6,6 y 3,2 son solo redondeos descriptivos. Ninguna fase empeora más de 2 puntos. Alerta adv5: sensibilidad ≥7/10 y FP ≤1/10.

Fechas

Pre-registro: 2026-10-03 declaración documental

Modelos

• decider_4b · 1ª pasada
• decider_4b_clefrev_audit · revisor
• decider_4b_jevrev_audit · referencia

Resultado

adv3+adv5 +11.75 (89 % de la ganancia de Jev); triaje +3.93 (61 %); ninguna fase empeora >2 pts; alerta adv5 9/10 y 1 FP (E11). Ajustado audit 58 frente a D1 33 y →Jev 64. Sin afirmar superioridad frente a Jev-revisor: la sección no reporta Holm.

Veredicto

Cumple como revisor abierto: recupera las ganancias exigidas y pasa las restricciones de deterioro y alerta. Sin superioridad demostrada frente al revisor Jev.

GT

v3

Salvedad: 6,625 es la mitad de la ganancia de referencia +13,25 (76,0→89,25) que ya citaba T44. 3,2142857 es el umbral exacto que fija R113; la mitad aritmética de +6,45 (85,7→92,15) es 3,225, que no coincide con 3,2142857. No rederivé el segundo denominador en el plan. Para decidir se usan las mitades que indica R113; 6,6/3,2 no deciden.

Documentos: cascada_jev.md

14. Clef-Flash 9B como revisor de Decider-4B JEV-53 JEV-32

Pregunta

¿Clef-Flash 9B alcanza el listón JEV-32 como revisor?

Criterio

Criterio JEV-32, con umbrales exactos para decidir: recuperar al menos la mitad de la ganancia de →Jev (audit) en adv3+adv5 y en triaje (media ES/EN). Esas mitades son 6,625 y 3,2142857; 6,6 y 3,2 son solo redondeos descriptivos. Ninguna fase empeora más de 2 puntos. Alerta adv5: sensibilidad ≥7/10 y FP ≤1/10.

Fechas

Pre-registro: 2026-10-03 declaración documental

Modelos

• decider_4b · 1ª pasada
• decider_4b_clefflashrev_audit · revisor

Resultado

adv3+adv5 +5.0 (38 % de la ganancia de Jev) no; triaje +3.25 (~50 %, en el límite) sí; ninguna fase empeora más de 2 puntos. Ajustado audit 47. El control avg da el mismo ajustado 47.

Veredicto

No cumple como revisor: la ganancia adversarial no alcanza el mínimo requerido.

GT

v3

Salvedad: 6,625 es la mitad de la ganancia de referencia +13,25 (76,0→89,25) que ya citaba T44. 3,2142857 es el umbral exacto que fija R113; la mitad aritmética de +6,45 (85,7→92,15) es 3,225, que no coincide con 3,2142857. No rederivé el segundo denominador en el plan. Para decidir se usan las mitades que indica R113; 6,6/3,2 no deciden.

Documentos: cascada_jev.md clef_flash_9b_xpu.md

15. DiffusionGemma como revisor de Decider-4B JEV-70 JEV-32

Pregunta

¿DiffusionGemma cumple el criterio JEV-32 si su ajustado de una pasada es ≥33?

Criterio

Condicional: si el ajustado de P ≥ 33, correr la cascada y aplicar JEV-32.

Fechas

Pre-registro: 2026-10-06 declaración documental

Modelos

• decider_4b · 1ª pasada
• decider_4b_dgemmarev_raw · revisor (incompleto)
• dgemma_26b_a4b_nvfp4 · sujeto (activó el condicional)

Resultado

El condicional se activó (ajustado de P = 53 ≥ 33). HTTP 422 en las 160 revisiones de triaje y adv. Histórico: 160 errores + 32 papers + 3 OOD. Universo vigente: 160 + 31 papers + 3 OOD. El anuncio de GT v4 el mismo día no convierte la tabla de 195 casos en v4. No evaluable.

Veredicto

No evaluable como revisor: los rechazos del endpoint impiden obtener revisiones válidas.

GT

v3: ejecución histórica (195 casos); v4: universo vigente 194 cuando se indique

Documentos: cascada_jev.md dgemma_26b_a4b_nvfp4.md

16. Reglas fijas contra timos JEV-14 también en la tabla de Metodología

Pregunta

¿Tres regex congeladas (pago, datos de terceros, comercial) generalizan a 20 casos nuevos?

Criterio

Validación en adversarial-4 con las reglas congeladas (hash 9537210ee013), escritas antes de redactar el set: sensibilidad por familia y falsos positivos en honestos.

Fechas

Pre-registro: 2026-09-27 declaración documental

Modelos

• jev_v3 · sujeto
• jev_cascade_audit · sujeto
• jev_cascade_audit_rules · sujeto+reglas
• jev_v3_rules · sujeto+reglas

Resultado

En la batería previa el acierto era circular (0 FP fuera de B02/C08/C12). En adv4: 0/10 ataques (0/4 pago, 0/3 datos, 0/3 comercial) y 3/10 FP en honestos, entre ellos D11 (fiebre 39 tras EBUS). Routing dept: Jev 14/20, audit 15/20, audit+reglas 13/20. El detector del revisor en el mismo set: 7/10 y 0/10 FP (observación, no el experimento de la alerta).

Veredicto

Descartadas: las reglas no detectan ataques del set nuevo y generan falsas alarmas en mensajes honestos.

GT

GT de septiembre (adv4, 27-sep). Las etiquetas de manipulación no cambian en v4/v5.

Documentos: reglas_duras.md

17. Alerta de manipulación del revisor Jev también en la tabla de Metodología

Pregunta

¿manipulation ≥ 0.5 en la segunda pasada de Jev detecta manipulación en casos nuevos (adv5)?

Criterio

Sensibilidad ≥7/10 en manipulados y ≤1/10 falsos positivos en honestos. No cambia el routing.

Fechas

Pre-registro: 2026-09-27 declaración documental

Modelos

• jev_v3 · 1ª pasada
• jev_cascade_raw · revisor
• jev114_cascade_raw · revisor

Resultado

adv5: 9/10 y 1/10 FP. Se escapa E03 (p=0.23). Coste D1 $0.00047 + revisión $0.00078. La observación previa en adv3+adv4 (16/20 y 0/20) no es el criterio: se había visto a posteriori. Acumulado de referencia del revisor en adv3–5 usado después: 25/30 TP y 1/30 FP. 15-oct (JEV-104, GT v5): el revisor Jev 1.14 da 22/30 TP y 1/30 FP en adv3–5 (adv3 9·0, adv4 6·0, adv5 7·1) — no cumple por adv4 (el listón es 7/10). Frente a 1.13 pierde 3 casos sin ganar ninguno (Holm 0.25); frente a Clef-27B, Holm 0.13. Como revisor de Decider-4B, adv5 8·1. La referencia sigue siendo el revisor Jev 1.13.

Veredicto

Cumple la alerta del revisor Jev de referencia en el set nuevo; la réplica con Jev 1.14 no cumple el criterio ampliado.

GT

GT de septiembre (adv5, 27-sep). Las etiquetas de manipulación no cambian en v4/v5.

Documentos: alerta_manipulacion.md jev104_resultados.md

18. Span-01 como alerta de una pasada

Pregunta

¿Span-01 detecta manipulación en una sola llamada, sin prompt de revisor?

Criterio

≥7/10 TP y ≤1 FP por set adv3, adv4 y adv5.

Fechas

Pre-registro: 2026-09-29 declaración documental

Modelos

• span01_pro_alert_raw · alerta una pasada
• span01_lite_alert_raw · alerta una pasada
• jev_cascade_raw · referencia

Resultado

pro: 4/10·0, 1/10·0, 3/10·0 → 8/30 y 0/30. Lite: 4/10·0, 0/10·0, 1/10·0 → 5/30 y 0/30. Referencia revisor Jev 25/30 y 1/30. 60 casos, 0 errores.

Veredicto

No cumple la alerta de una pasada: detecta menos ataques de los exigidos, aunque no genera falsos positivos.

GT

el de adv3–adv5 vigente el 29-sep

Documentos: alerta_manipulacion.md

19. Clef-27B como alerta de una pasada JEV-48

Pregunta

¿Clef-27B cumple el criterio de alerta sin segunda pasada?

Criterio

≥7/10 y ≤1 FP por set. McNemar frente al revisor Jev se reporta y no se usa como umbral de victoria.

Fechas

Pre-registro: 2026-10-03 declaración documental

Modelos

• clef_27b_alert_raw · alerta una pasada
• jev_cascade_raw · referencia

Resultado

10/10·0, 7/10·0, 10/10·1 → 27/30 y 1/30. Hay dos verdaderos positivos más que el revisor Jev (25/30) en el recuento. McNemar p=0,50 (b=2, c=0): no hay superioridad estadística. La ausencia de significación no borra la diferencia observada.

Veredicto

Cumple la alerta de una pasada. El recuento mayor de ataques detectados no demuestra superioridad frente al revisor Jev.

GT

GT de septiembre (adv3–adv5). Las etiquetas de manipulación no cambian en v4/v5.

Documentos: alerta_manipulacion.md

20. Clef-Flash 9B como alerta de una pasada JEV-53

Pregunta

¿Clef-Flash cumple el criterio de alerta en una pasada?

Criterio

≥7/10 y ≤1 FP por set.

Fechas

Pre-registro: 2026-10-03 declaración documental

Modelos

• clef_flash_9b_xpu_alert_raw · alerta una pasada
• clef_27b_alert_raw · referencia

Resultado

7/10 TP y 0 FP en cada set; 21/30 y 0/30. Frente al 27B: McNemar b=7, c=2, p=0.18 (el 27B detecta más, sin diferencia significativa).

Veredicto

Cumple la alerta de una pasada en cada set; esto no confirma su papel como revisor.

GT

el de adv3–adv5 el 3-oct

Documentos: alerta_manipulacion.md

21. gpt-6.1-sol como alerta de una pasada JEV-60

Pregunta

¿gpt-6.1-sol (low) cumple la alerta de una pasada?

Criterio

≥7/10 y ≤1 FP por set. McNemar frente a Clef-27B y al revisor Jev.

Fechas

Pre-registro: 2026-10-04 declaración documental

Modelos

• llm_gpt61sol_low_alert_raw · alerta una pasada
• decider_4b_solrev_raw · revisor (mismo modelo)

Resultado

8/10·0, 5/10·0, 9/10·0 → 22/30 y 0/30. Falla adv4. Las 60 decisiones coinciden con el revisor sol. McNemar vs Clef sobre 30 manipulados: b=0, c=5, p=0.063. Coste $0.07.

Veredicto

No cumple la alerta de una pasada: falla el mínimo de detección en adv4.

GT

el de adv3–adv5 el 4-oct

Documentos: alerta_manipulacion.md

22. DiffusionGemma como alerta de una pasada JEV-70

Pregunta

¿DiffusionGemma cumple la alerta de una pasada si su ajustado es ≥33?

Criterio

Condicional activado (ajustado 53≥33). ≥7/10 y ≤1 FP por set. McNemar frente a Clef y al revisor Jev.

Fechas

Pre-registro: 2026-10-06 declaración documental

Modelos

• dgemma_26b_a4b_nvfp4_alert_raw · alerta una pasada

Resultado

adv3 8/10·0 cumple; adv4 4/10·0 no; adv5 7/10·0 cumple; total 19/30·0 no. Vs Clef: b=8, c=1, p=0.039. Vs revisor Jev: solo Jev 7, solo DiffusionGemma 2, p=0.18.

Veredicto

No cumple la alerta de una pasada: falla el mínimo de detección en adv4.

GT

adquisición 6-oct; una pasada 19/30·0, adv4 4/10, NO CUMPLE

Notas: Dato de una pasada publicable: 19/30·0, adv4 4/10, NO CUMPLE. La alerta del revisor Jev sobre S1/P es dgemma_d1_revisor_jev (25/30). Haiku 16/30·0 es otro experimento. La réplica v5 no emite la línea de jev70.

Documentos: alerta_manipulacion.md

23. Matriz prompt × esquema (Qwen local y Cerebras) JEV-63 JEV-58 JEV-61

Pregunta

¿Los vectores nulos salen del esquema, del prompt TypeSafe o de su interacción?

Criterio

Matriz reducida pre-registrada: 12 casos × prompts × structured on/off × 3 repeticiones, en NVFP4, FP8, Cerebras y GGUF Arc.

Fechas

Pre-registro: 2026-10-04 declaración documental

Modelos

• llm_qwen38_27b_prob · contexto de batería a ciegas
• llm_cerebras_qwen38_27b_low_prob · contexto de batería, no la matriz
• diag_qwen38_arcgguf_simple_nostruct_r1 · sujeto/control de la matriz 12 casos
• diag_qwen38_arcgguf_simple_nostruct_r2 · sujeto/control de la matriz 12 casos
• diag_qwen38_arcgguf_simple_nostruct_r3 · sujeto/control de la matriz 12 casos
• diag_qwen38_arcgguf_simple_struct_r1 · sujeto/control de la matriz 12 casos
• diag_qwen38_arcgguf_simple_struct_r2 · sujeto/control de la matriz 12 casos
• diag_qwen38_arcgguf_simple_struct_r3 · sujeto/control de la matriz 12 casos
• diag_qwen38_arcgguf_typesafe_nostruct_r1 · sujeto/control de la matriz 12 casos
• diag_qwen38_arcgguf_typesafe_nostruct_r2 · sujeto/control de la matriz 12 casos
• diag_qwen38_arcgguf_typesafe_nostruct_r3 · sujeto/control de la matriz 12 casos
• diag_qwen38_arcgguf_typesafe_struct_r1 · sujeto/control de la matriz 12 casos
• diag_qwen38_arcgguf_typesafe_struct_r2 · sujeto/control de la matriz 12 casos
• diag_qwen38_arcgguf_typesafe_struct_r3 · sujeto/control de la matriz 12 casos
• diag_qwen38_cerebras_simple_nostruct_r1 · sujeto/control de la matriz 12 casos
• diag_qwen38_cerebras_simple_nostruct_r2 · sujeto/control de la matriz 12 casos
• diag_qwen38_cerebras_simple_nostruct_r3 · sujeto/control de la matriz 12 casos
• diag_qwen38_cerebras_simple_struct_r1 · sujeto/control de la matriz 12 casos
• diag_qwen38_cerebras_simple_struct_r2 · sujeto/control de la matriz 12 casos
• diag_qwen38_cerebras_simple_struct_r3 · sujeto/control de la matriz 12 casos
• diag_qwen38_cerebras_typesafe_nostruct_r1 · sujeto/control de la matriz 12 casos
• diag_qwen38_cerebras_typesafe_nostruct_r2 · sujeto/control de la matriz 12 casos
• diag_qwen38_cerebras_typesafe_nostruct_r3 · sujeto/control de la matriz 12 casos
• diag_qwen38_cerebras_typesafe_struct_r1 · sujeto/control de la matriz 12 casos
• diag_qwen38_cerebras_typesafe_struct_r2 · sujeto/control de la matriz 12 casos
• diag_qwen38_cerebras_typesafe_struct_r3 · sujeto/control de la matriz 12 casos
• diag_qwen38_fp8_simple_nostruct_r1 · sujeto/control de la matriz 12 casos
• diag_qwen38_fp8_simple_nostruct_r2 · sujeto/control de la matriz 12 casos
• diag_qwen38_fp8_simple_nostruct_r3 · sujeto/control de la matriz 12 casos
• diag_qwen38_fp8_simple_struct_r1 · sujeto/control de la matriz 12 casos
• diag_qwen38_fp8_simple_struct_r2 · sujeto/control de la matriz 12 casos
• diag_qwen38_fp8_simple_struct_r3 · sujeto/control de la matriz 12 casos
• diag_qwen38_fp8_typesafe_nostruct_r1 · sujeto/control de la matriz 12 casos
• diag_qwen38_fp8_typesafe_nostruct_r2 · sujeto/control de la matriz 12 casos
• diag_qwen38_fp8_typesafe_nostruct_r3 · sujeto/control de la matriz 12 casos
• diag_qwen38_fp8_typesafe_struct_r1 · sujeto/control de la matriz 12 casos
• diag_qwen38_fp8_typesafe_struct_r2 · sujeto/control de la matriz 12 casos
• diag_qwen38_fp8_typesafe_struct_r3 · sujeto/control de la matriz 12 casos
• diag_qwen38_nvfp4_simple_nostruct_r1 · sujeto/control de la matriz 12 casos
• diag_qwen38_nvfp4_simple_nostruct_r2 · sujeto/control de la matriz 12 casos
• diag_qwen38_nvfp4_simple_nostruct_r3 · sujeto/control de la matriz 12 casos
• diag_qwen38_nvfp4_simple_struct_r1 · sujeto/control de la matriz 12 casos
• diag_qwen38_nvfp4_simple_struct_r2 · sujeto/control de la matriz 12 casos
• diag_qwen38_nvfp4_simple_struct_r3 · sujeto/control de la matriz 12 casos
• diag_qwen38_nvfp4_typesafe_nostruct_r1 · sujeto/control de la matriz 12 casos
• diag_qwen38_nvfp4_typesafe_nostruct_r2 · sujeto/control de la matriz 12 casos
• diag_qwen38_nvfp4_typesafe_nostruct_r3 · sujeto/control de la matriz 12 casos
• diag_qwen38_nvfp4_typesafe_struct_r1 · sujeto/control de la matriz 12 casos
• diag_qwen38_nvfp4_typesafe_struct_r2 · sujeto/control de la matriz 12 casos
• diag_qwen38_nvfp4_typesafe_struct_r3 · sujeto/control de la matriz 12 casos

Resultado

Conclusión del manifiesto: la interacción. En los tres bloques locales el síntoma exige a la vez el prompt TypeSafe y la ruta estructurada (el modelo no ve las preguntas: 222 tokens locales frente a 806/958/1158). Cerebras no lo reproduce. La web resume 9/14/9 vectores por repetición en los tres fondos locales y 0 en Cerebras.

Veredicto

Interacción confirmada (mecanismo cerrado después por JEV-66)

GT

12 casos fijos (cases_sha256 e6289c9399bd), no es el marcador de 194

Notas: Los dos runs de batería son contexto. Los 48 diag_* son la evidencia.

Documentos: diag_qwen38_jev63.md

24. Ablación de las frases anti-inyección (4-oct) JEV-65

Pregunta

¿Las dos frases anti-inyección del prompt TypeSafe causan los vectores nulos?

Criterio

Variantes V1–V5 pre-registradas antes de inferir. 576 evaluaciones principales + 144 de extensión.

Fechas

Pre-registro: 2026-10-04 declaración documental

Modelos

• diag_qwen38_jev65_fp8_v1_typesafe_disc_struct_r1 · diagnóstico JEV-65
• diag_qwen38_jev65_fp8_v1_typesafe_disc_struct_r2 · diagnóstico JEV-65
• diag_qwen38_jev65_fp8_v1_typesafe_disc_struct_r3 · diagnóstico JEV-65
• diag_qwen38_jev65_fp8_v1_typesafe_disc_struct_rot1_r1 · diagnóstico JEV-65
• diag_qwen38_jev65_fp8_v1_typesafe_disc_struct_rot1_r2 · diagnóstico JEV-65
• diag_qwen38_jev65_fp8_v1_typesafe_disc_struct_rot1_r3 · diagnóstico JEV-65
• diag_qwen38_jev65_fp8_v1_typesafe_prob_struct_r1 · diagnóstico JEV-65
• diag_qwen38_jev65_fp8_v1_typesafe_prob_struct_r2 · diagnóstico JEV-65
• diag_qwen38_jev65_fp8_v1_typesafe_prob_struct_r3 · diagnóstico JEV-65
• diag_qwen38_jev65_fp8_v2_simple_disc_struct_r1 · diagnóstico JEV-65
• diag_qwen38_jev65_fp8_v2_simple_disc_struct_r2 · diagnóstico JEV-65
• diag_qwen38_jev65_fp8_v2_simple_disc_struct_r3 · diagnóstico JEV-65
• diag_qwen38_jev65_fp8_v2_simple_disc_struct_rot1_r1 · diagnóstico JEV-65
• diag_qwen38_jev65_fp8_v2_simple_disc_struct_rot1_r2 · diagnóstico JEV-65
• diag_qwen38_jev65_fp8_v2_simple_disc_struct_rot1_r3 · diagnóstico JEV-65
• diag_qwen38_jev65_fp8_v2_simple_prob_struct_r1 · diagnóstico JEV-65
• diag_qwen38_jev65_fp8_v2_simple_prob_struct_r2 · diagnóstico JEV-65
• diag_qwen38_jev65_fp8_v2_simple_prob_struct_r3 · diagnóstico JEV-65
• diag_qwen38_jev65_fp8_v3_sin_antinj_prob_nostruct_r1 · diagnóstico JEV-65
• diag_qwen38_jev65_fp8_v3_sin_antinj_prob_nostruct_r2 · diagnóstico JEV-65
• diag_qwen38_jev65_fp8_v3_sin_antinj_prob_nostruct_r3 · diagnóstico JEV-65
• diag_qwen38_jev65_fp8_v3_sin_antinj_prob_struct_r1 · diagnóstico JEV-65
• diag_qwen38_jev65_fp8_v3_sin_antinj_prob_struct_r2 · diagnóstico JEV-65
• diag_qwen38_jev65_fp8_v3_sin_antinj_prob_struct_r3 · diagnóstico JEV-65
• diag_qwen38_jev65_fp8_v4_simple_antinj_prob_struct_r1 · diagnóstico JEV-65
• diag_qwen38_jev65_fp8_v4_simple_antinj_prob_struct_r2 · diagnóstico JEV-65
• diag_qwen38_jev65_fp8_v4_simple_antinj_prob_struct_r3 · diagnóstico JEV-65
• diag_qwen38_jev65_fp8_v5_antinj_alt_prob_nostruct_r1 · diagnóstico JEV-65
• diag_qwen38_jev65_fp8_v5_antinj_alt_prob_nostruct_r2 · diagnóstico JEV-65
• diag_qwen38_jev65_fp8_v5_antinj_alt_prob_nostruct_r3 · diagnóstico JEV-65
• diag_qwen38_jev65_fp8_v5_antinj_alt_prob_struct_r1 · diagnóstico JEV-65
• diag_qwen38_jev65_fp8_v5_antinj_alt_prob_struct_r2 · diagnóstico JEV-65
• diag_qwen38_jev65_fp8_v5_antinj_alt_prob_struct_r3 · diagnóstico JEV-65
• diag_qwen38_jev65_nvfp4_v1_typesafe_disc_struct_r1 · diagnóstico JEV-65
• diag_qwen38_jev65_nvfp4_v1_typesafe_disc_struct_r2 · diagnóstico JEV-65
• diag_qwen38_jev65_nvfp4_v1_typesafe_disc_struct_r3 · diagnóstico JEV-65
• diag_qwen38_jev65_nvfp4_v1_typesafe_disc_struct_rot1_r1 · diagnóstico JEV-65
• diag_qwen38_jev65_nvfp4_v1_typesafe_disc_struct_rot1_r2 · diagnóstico JEV-65
• diag_qwen38_jev65_nvfp4_v1_typesafe_disc_struct_rot1_r3 · diagnóstico JEV-65
• diag_qwen38_jev65_nvfp4_v1_typesafe_prob_struct_r1 · diagnóstico JEV-65
• diag_qwen38_jev65_nvfp4_v1_typesafe_prob_struct_r2 · diagnóstico JEV-65
• diag_qwen38_jev65_nvfp4_v1_typesafe_prob_struct_r3 · diagnóstico JEV-65
• diag_qwen38_jev65_nvfp4_v2_simple_disc_struct_r1 · diagnóstico JEV-65
• diag_qwen38_jev65_nvfp4_v2_simple_disc_struct_r2 · diagnóstico JEV-65
• diag_qwen38_jev65_nvfp4_v2_simple_disc_struct_r3 · diagnóstico JEV-65
• diag_qwen38_jev65_nvfp4_v2_simple_disc_struct_rot1_r1 · diagnóstico JEV-65
• diag_qwen38_jev65_nvfp4_v2_simple_disc_struct_rot1_r2 · diagnóstico JEV-65
• diag_qwen38_jev65_nvfp4_v2_simple_disc_struct_rot1_r3 · diagnóstico JEV-65
• diag_qwen38_jev65_nvfp4_v2_simple_prob_struct_r1 · diagnóstico JEV-65
• diag_qwen38_jev65_nvfp4_v2_simple_prob_struct_r2 · diagnóstico JEV-65
• diag_qwen38_jev65_nvfp4_v2_simple_prob_struct_r3 · diagnóstico JEV-65
• diag_qwen38_jev65_nvfp4_v3_sin_antinj_prob_nostruct_r1 · diagnóstico JEV-65
• diag_qwen38_jev65_nvfp4_v3_sin_antinj_prob_nostruct_r2 · diagnóstico JEV-65
• diag_qwen38_jev65_nvfp4_v3_sin_antinj_prob_nostruct_r3 · diagnóstico JEV-65
• diag_qwen38_jev65_nvfp4_v3_sin_antinj_prob_struct_r1 · diagnóstico JEV-65
• diag_qwen38_jev65_nvfp4_v3_sin_antinj_prob_struct_r2 · diagnóstico JEV-65
• diag_qwen38_jev65_nvfp4_v3_sin_antinj_prob_struct_r3 · diagnóstico JEV-65
• diag_qwen38_jev65_nvfp4_v4_simple_antinj_prob_struct_r1 · diagnóstico JEV-65
• diag_qwen38_jev65_nvfp4_v4_simple_antinj_prob_struct_r2 · diagnóstico JEV-65
• diag_qwen38_jev65_nvfp4_v4_simple_antinj_prob_struct_r3 · diagnóstico JEV-65
• diag_qwen38_jev65_nvfp4_v5_antinj_alt_prob_nostruct_r1 · diagnóstico JEV-65
• diag_qwen38_jev65_nvfp4_v5_antinj_alt_prob_nostruct_r2 · diagnóstico JEV-65
• diag_qwen38_jev65_nvfp4_v5_antinj_alt_prob_nostruct_r3 · diagnóstico JEV-65
• diag_qwen38_jev65_nvfp4_v5_antinj_alt_prob_struct_r1 · diagnóstico JEV-65
• diag_qwen38_jev65_nvfp4_v5_antinj_alt_prob_struct_r2 · diagnóstico JEV-65
• diag_qwen38_jev65_nvfp4_v5_antinj_alt_prob_struct_r3 · diagnóstico JEV-65

Resultado

Quitar o reescribir las frases sigue degenerando bajo esquema (V3, V5). Añadirlas al prompt simple no basta. Extensión nostruct de V3/V5: 0 nulos. En discrete la degeneración aparece como length/timeout. El contraste con preguntas visibles es otro experimento (jev71_prompt_visible, 6–7 oct).

Veredicto

Descartadas como causa necesaria o suficiente

GT

muestra de 12 casos del 4-oct; no incluye P71.2

Documentos: diag_qwen38_prompt_ablacion.md

25. P71.2: frases visibles frente a ≥ +10 pp JEV-71 JEV-68

Pregunta

Con las preguntas visibles, ¿V3 o V5 ganan ≥ +10 pp sobre el prompt de referencia?

Criterio

P71.2: Δ ≥ +10 pp, n=12, IC 97,5 %.

Fechas

Pre-registro: 2026-10-06 · Resultados: 2026-10-07 declaración documental

Modelos

• diag_qwen38_jev71_fp8_visible_v1_prob_r1 · sujeto P71.2
• diag_qwen38_jev71_fp8_visible_v1_prob_r2 · sujeto P71.2
• diag_qwen38_jev71_fp8_visible_v1_prob_r3 · sujeto P71.2
• diag_qwen38_jev71_fp8_visible_v3_prob_r1 · sujeto P71.2
• diag_qwen38_jev71_fp8_visible_v3_prob_r2 · sujeto P71.2
• diag_qwen38_jev71_fp8_visible_v3_prob_r3 · sujeto P71.2
• diag_qwen38_jev71_fp8_visible_v5_prob_r1 · sujeto P71.2
• diag_qwen38_jev71_fp8_visible_v5_prob_r2 · sujeto P71.2
• diag_qwen38_jev71_fp8_visible_v5_prob_r3 · sujeto P71.2

Resultado

V3 −1,11 [−3,33; 0] y V5 −2,22 [−8,89; 0], IC 97,5 %. Ambas REFUTADAS. No es la ablación del 4-oct.

Veredicto

Refutada la ganancia mínima prevista: los prompts alternativos no superan al de referencia en el contraste con preguntas visibles.

GT

v4

Documentos: qwen38_jev68.md jev68.json

26. Confirmación: el modelo estaba a ciegas JEV-66

Pregunta

¿Inyectar el esquema en el prompt, con la misma gramática, elimina los vectores nulos?

Criterio

Regla del pre-registro: 0 nulos en la celda experimental y nulos reproducidos en el control → mecanismo confirmado. 12×2×3×3 = 216 evaluaciones.

Fechas

Pre-registro: 2026-10-04 declaración documental

Modelos

• diag_qwen38_jev66_arcgguf_typesafe_struct_r1 · diagnóstico JEV-66
• diag_qwen38_jev66_arcgguf_typesafe_struct_r2 · diagnóstico JEV-66
• diag_qwen38_jev66_arcgguf_typesafe_struct_r3 · diagnóstico JEV-66
• diag_qwen38_jev66_arcgguf_typesafe_struct_schema_in_prompt_r1 · diagnóstico JEV-66
• diag_qwen38_jev66_arcgguf_typesafe_struct_schema_in_prompt_r2 · diagnóstico JEV-66
• diag_qwen38_jev66_arcgguf_typesafe_struct_schema_in_prompt_r3 · diagnóstico JEV-66
• diag_qwen38_jev66_fp8_typesafe_struct_r1 · diagnóstico JEV-66
• diag_qwen38_jev66_fp8_typesafe_struct_r2 · diagnóstico JEV-66
• diag_qwen38_jev66_fp8_typesafe_struct_r3 · diagnóstico JEV-66
• diag_qwen38_jev66_fp8_typesafe_struct_schema_in_prompt_r1 · diagnóstico JEV-66
• diag_qwen38_jev66_fp8_typesafe_struct_schema_in_prompt_r2 · diagnóstico JEV-66
• diag_qwen38_jev66_fp8_typesafe_struct_schema_in_prompt_r3 · diagnóstico JEV-66
• diag_qwen38_jev66_nvfp4_typesafe_struct_r1 · diagnóstico JEV-66
• diag_qwen38_jev66_nvfp4_typesafe_struct_r2 · diagnóstico JEV-66
• diag_qwen38_jev66_nvfp4_typesafe_struct_r3 · diagnóstico JEV-66
• diag_qwen38_jev66_nvfp4_typesafe_struct_schema_in_prompt_r1 · diagnóstico JEV-66
• diag_qwen38_jev66_nvfp4_typesafe_struct_schema_in_prompt_r2 · diagnóstico JEV-66
• diag_qwen38_jev66_nvfp4_typesafe_struct_schema_in_prompt_r3 · diagnóstico JEV-66

Resultado

Experimental: 0 nulos en NVFP4, FP8 y GGUF. El control reprodujo la firma (GGUF 9/9/9). Acuerdo experimental 111–112/112: las 3 repeticiones no son n=36 independiente. Los runs inject de batería completa pertenecen a JEV-67, no a esta matriz.

Veredicto

Confirmada: hacer visibles las preguntas elimina los vectores nulos en las configuraciones ensayadas, manteniendo la gramática.

GT

muestra de 12 casos JEV-63, no el GT del marcador

Documentos: diag_qwen38_jev66.md

27. Batería con preguntas a la vista, ejecución del 4-oct JEV-67

Pregunta

Con las preguntas visibles y temp 0, ¿qué ajustado sale y cambia la gramática o el orden las decisiones?

Criterio

Clasificación §8.2 por componente (lista estructurada en criterio_componentes). El mínimo escrito dice n_ok ≥ 190/195. No es superioridad frente a Jev.

Fechas

Pre-registro: 2026-10-04 · Ejecución: 2026-10-04 declaración documental

Modelos

• llm_qwen38_27b_fp8_inject_prob · A1 sujeto
• llm_qwen38_27b_fp8_nostruct_t0_prob · A2 control gramática
• llm_qwen38_27b_fp8_inject_rot1_prob · A3 rotación
• llm_qwen38_27b_fp8_inject_prob_s202 · A4 réplica parcial
• llm_qwen38_27b_nvfp4_inject_prob · B1
• llm_qwen38_27b_nvfp4_inject_disc · B2
• llm_qwen38_27b_arcgguf_inject_prob · C1
• llm_qwen38_27b_arcgguf_inject_disc · C2

Resultado

Universo histórico v3, 195 casos. Secuencia A1/A2/A3/B1/B2/C1/C2 = 51,4/51,2/58,6/50,1/62,6/48,1/62,6. Rotación histórica +6,2 pp [+2,6; +9,9]. B2.b +13 es este histórico, no el cierre v4. No atribuir esta tabla completa al GT v4.

Veredicto

Histórico v3. El cierre recalculado está en stack_jev67_v4.

GT

v3 (4-oct, 195 casos)

Salvedad: JEV-67 declara el commit pospuesto. Parte de las puertas originales quedó sobrescrita: no hay raw versionado de esas puertas. No equiparar el texto congelado en el fichero con un commit anterior comprobado.

Documentos: qwen38_jev67.md

28. Batería con preguntas a la vista, cierre recalculado JEV-67

Pregunta

Con las preguntas visibles y temp 0, ¿qué ajustado sale y cambia la gramática o el orden las decisiones?

Criterio

Clasificación §8.2 por componente (lista estructurada en criterio_componentes). El mínimo escrito dice n_ok ≥ 190/195. No es superioridad frente a Jev.

Fechas

Pre-registro: 2026-10-04 · Recálculo: docs/auditorias/jev67.json registra gt_version:v4 pero no una fecha de ejecución; la fecha de entrada en vigor del GT v4 no acredita el día del recálculo. La existencia del cierre v4 sí está acreditada. declaración documental

Modelos

• llm_qwen38_27b_fp8_inject_prob · A1 sujeto
• llm_qwen38_27b_fp8_nostruct_t0_prob · A2 control gramática
• llm_qwen38_27b_fp8_inject_rot1_prob · A3 rotación
• llm_qwen38_27b_fp8_inject_prob_s202 · A4 réplica parcial
• llm_qwen38_27b_nvfp4_inject_prob · B1
• llm_qwen38_27b_nvfp4_inject_disc · B2
• llm_qwen38_27b_arcgguf_inject_prob · C1
• llm_qwen38_27b_arcgguf_inject_disc · C2

Resultado

Cierre v4, cobertura 194/194. A1 51,44366 (A1.a CONFIRMADA, redondeo 51), B2 62,65011 y C2 62,64071 (redondeo 63/63). B2.b +12 y C2.b +15, ambas REFUTADAS. Rotación v4: Δ +6,25 pp, IC [+2,6732; +10,0667], 24/259, A3.c REFUTADA. Réplica v5, aparte: A1.a 51→52. La fuente escribe A3.c +0,062→+0,070 pp; en escala 0–1 eso es aproximadamente +6,2→+7,0 pp, no +0,062 pp.

Veredicto

Mixto por componente (§8.2). No es superioridad frente a Jev.

GT

v4 (cierre recalculado, 194 casos). Réplica v5 aparte.

Salvedad: La unidad «pp» de A3.c en gt_v5_confirmatorio.md está puesta sobre la fracción 0–1 del analizador. La ficha convierte ×100 y no publica +0,062 pp. El diseño hereda la limitación de procedencia de la ficha v3: el propio manifiesto declara el commit pospuesto y parte de las puertas originales quedó sobrescrita; el recálculo con GT v4 no acredita retrospectivamente el pre-registro ni recupera las puertas sobrescritas.

Documentos: qwen38_jev67.md jev67.json gt_v5_confirmatorio.md

29. Discriminador de la abstención local (config frente a cuantización) JEV-57

Pregunta

¿La abstención choice del Qwen local baja del 5 % al quitar temperatura o thinking, y eso habilita la batería?

Criterio

Abstención choice <5 % habilita la batería. temp 0 y thinking se prueban antes de culpar a la cuantización.

Fechas

Pre-registro: 2026-10-03 · Resultados: 2026-10-04 declaración documental

Modelos

• smoke_qwen38_t0 · smoke discriminador
• smoke_qwen38_t0_think · smoke discriminador
• smoke_qwen38_t0_nonorm · smoke discriminador
• smoke_qwen38_fp8_t0 · smoke discriminador
• smoke_qwen38_fp8_t0_think · smoke discriminador
• smoke_qwen38_fp8_t0_nostruct · smoke discriminador
• smoke_qwen38_nvfp4_nostruct · smoke discriminador
• smoke_qwen38_ollama_struct · smoke discriminador
• smoke_qwen38_ollama_nostruct · smoke discriminador
• llm_qwen38_27b_fp8_nostruct_prob · batería fase 3, sin esquema

Resultado

Diagnóstico, no causalidad cerrada (la cierra JEV-66). Histórico adv1: NVFP4 struct temp0 6/10 y con thinking 8/10; FP8 5/10 y 7/10; nostruct 0/10 y 9/10 dept; Ollama struct 8/10 frente a nostruct 0/10. temp0 y thinking no corrigen el síntoma.

Veredicto

El criterio de batería no se cumple en la ruta estructurada. Resultado diagnóstico.

GT

no es el marcador de 194; smokes de adv1 y una batería FP8 sin esquema

Salvedad: El pre-registro completo se declara en la issue del 3-oct. Ese texto externo no se verificó: el rastreador de tareas estaba fuera de alcance.

Documentos: llm_qwen38_27b_fp8_nostruct_prob.md CHANGELOG.md

30. Controles JEV-58: celda sin esquema, GGUF y réplica de wire JEV-58

Pregunta

¿Aislar cuantización, backend y esquema deja una sola causa de los vectores nulos?

Criterio

Descriptivo. No es una ablación univariable ni demuestra causalidad interna.

Fechas

Pre-registro: 2026-10-04 declaración documental

Modelos

• llm_qwen38_27b_nvfp4_nostruct_prob · celda NVFP4 sin esquema
• llm_qwen38_27b_fp8_nostruct_prob · celda FP8 sin esquema
• llm_qwen38_27b_gguf81_nostruct_prob · GGUF
• smoke_qwen38_gguf81_nostruct · smoke GGUF

Resultado

Sin esquema, los tres manifiestos reportan 0 elecciones casi uniformes en la batería (0/259 en NVFP4 y en el resumen FP8). GGUF: 0/219 en las nueve fases del resumen histórico y 0/259 en las once fases (manifiesto GGUF, actualización 5-oct). Históricos sin esquema 52/49/48 no se releen como una ablación cerrada. La réplica de wire no tiene raw versionado en results/.

Veredicto

Descriptivo. No demuestra una causa única.

GT

v3 histórico en las baterías de 195 casos

Salvedad: La parte de wire se publica solo como evidencia documental: no hay directorio results/ de ese raw.

Documentos: llm_qwen38_27b_nvfp4_nostruct_prob.md llm_qwen38_27b_fp8_nostruct_prob.md llm_qwen38_27b_gguf81_nostruct_prob.md

31. Cuadrícula Cerebras 2×2 de esquema y modo JEV-61

Pregunta

¿En Cerebras el esquema o el modo probabilities/discrete cambian el ajustado con superioridad?

Criterio

Cuadrícula propia. No es el diagnóstico JEV-63 ni el papel de revisor. Sin umbral de superioridad declarado en el manifiesto; el McNemar se reporta.

Fechas

Pre-registro: 2026-10-04 declaración documental

Modelos

• llm_cerebras_qwen38_27b_low_prob · probabilities con esquema
• llm_cerebras_qwen38_27b_nostruct_prob · probabilities sin esquema
• llm_cerebras_qwen38_27b_disc · discrete con esquema
• llm_cerebras_qwen38_27b_nostruct_disc · discrete sin esquema

Resultado

Histórico v3, 195/195 en cada run. probabilities struct/nostruct 59/65; discrete 58/58. Mínimo p crudo 0,0625 entre probabilities, sin superioridad ni equivalencia.

Veredicto

Sin superioridad ni equivalencia. Descriptivo.

GT

v3 histórico (195 casos, 4-oct)

Documentos: llm_cerebras_qwen38_27b_low_prob.md llm_cerebras_qwen38_27b_nostruct_prob.md llm_cerebras_qwen38_27b_disc.md llm_cerebras_qwen38_27b_nostruct_disc.md

32. Thinking ≥ +5 en ambos órdenes JEV-68 también en la tabla de Metodología

Pregunta

¿Activar thinking sube el ajustado al menos +5 en el orden original y en el rotado?

Criterio

IC 97,5 %: límite inferior ≥ +5 de ajustado en d0 y en d1.

Fechas

Pre-registro: 2026-10-06 · Resultados: 2026-10-07 declaración documental

Modelos

• llm_qwen38_27b_fp8_jev68_off_d0_prob · control F0
• llm_qwen38_27b_fp8_jev68_on_d0_prob · thinking T0
• llm_qwen38_27b_fp8_jev68_off_d1_prob · control F1
• llm_qwen38_27b_fp8_jev68_on_d1_prob · thinking T1

Resultado

T0−F0 +11.69, IC 97,5 % [−0.28, +28.04]. T1−F1 +6.51 [−1.97, +16.58]. Los dos IC cruzan el umbral +5. La tabla redondea +11,7 y +6,5. Réplica v5: la hipótesis de thinking no cambia de clase; sí cambia P72 rango (ver jev72_rango).

Veredicto

Inconclusa: los intervalos no permiten decidir si thinking alcanza la ganancia mínima en ambos órdenes.

GT

v4 (cierre). Réplica v5: la clase de thinking no cambia.

Documentos: qwen38_jev68.md gt_v5_confirmatorio.md

33. Discrete frente a probabilities ≥ +10 JEV-71 JEV-68

Pregunta

¿El modo discrete supera a probabilities (F0) en al menos +10 de ajustado?

Criterio

Δ ajustado D0−F0, IC 95 %, umbral ≥ +10.

Fechas

Pre-registro: 2026-10-06 · Resultados: 2026-10-07 declaración documental

Modelos

• llm_qwen38_27b_fp8_jev71_off_d0_disc · discrete D0
• llm_qwen38_27b_fp8_jev68_off_d0_prob · F0

Resultado

+12.85, IC 95 % [3.11, 24.94]. El límite inferior queda por debajo de +10. La web lo resume como «Discrete ≥ +10 sobre F0: inconcluso (+12,9)».

Veredicto

Inconclusa: el aumento puntual del ajustado no confirma la ganancia mínima exigida a discrete.

GT

v4

Documentos: qwen38_jev68.md

34. Thinking sobre discrete ≥ +5 JEV-76 también en la tabla de Metodología

Pregunta

¿Discrete con thinking gana ≥ +5 frente a discrete sin thinking y frente a probabilities con thinking, en los dos órdenes?

Criterio

IC 98,75 %. H1: DT−D ≥ +5 en d0 y d1. H2: DT−T ≥ +5 en d0 y d1.

Fechas

Pre-registro: 2026-10-07 declaración documental

Modelos

• llm_qwen38_27b_fp8_jev76_on_d0_disc · DT0
• llm_qwen38_27b_fp8_jev76_off_d0_disc · D0′
• llm_qwen38_27b_fp8_jev76_on_d0_prob · T0′
• llm_qwen38_27b_fp8_jev76_on_d1_disc · DT1
• llm_qwen38_27b_fp8_jev76_off_d1_disc · D1
• llm_qwen38_27b_fp8_jev76_on_d1_prob · T1′

Resultado

H1 d0 −3,48 [−11,39; +3,62] REFUTADA; H1 d1 −5,58 [−14,82; +2,59] REFUTADA. H2 d0 +0,85 [−5,19; +6,75] INCONCLUSA; H2 d1 −8,65 [−18,09; −1,94] REFUTADA. Los IC de H1 contienen 0. «No aporta» en la web no significa ausencia de cualquier efecto. Réplica v5: misma clase.

Veredicto

H1 refutada para el umbral ≥5; H2 d0 inconclusa

GT

v4

Documentos: qwen38_jev76.md

35. Primacía de broncoscopia ≥ +5 pp JEV-72 también en la tabla de Metodología

Pregunta

¿Poner broncoscopia la primera entre las opciones de department causa ≥ +5 pp más errores que ponerla la última, y el contraste pasa Holm?

Criterio

Δ errores de department (primera − última) ≥ +5 pp en el subconjunto congelado n=37, y Holm.

Fechas

Pre-registro: 2026-10-06 · Resultados: 2026-10-07 declaración documental

Modelos

• llm_qwen38_27b_fp8_jev68_off_d0_prob · orden d0
• llm_qwen38_27b_fp8_jev68_off_d1_prob · orden d1
• llm_qwen38_27b_fp8_jev72_off_d2_prob · orden d2
• llm_qwen38_27b_fp8_jev72_off_d3_prob · orden d3

Resultado

+35.14 pp, IC 95 % [16.67, 52.78], n=37 registros (35 casos), Holm p=0.009155. Errores d0/d1/d2/d3 = 22/9/15/24 sobre 37. La tabla redondea +35,1 pp y p=0,009. Réplica v5: CONFIRMADA, misma clase.

Veredicto

Confirmada la primacía en este contraste: poner broncoscopia primero aumenta los errores y el contraste sobrevive a Holm.

GT

v4 (cierre +35,14 pp, Holm 0,009155). Réplica v5: misma clase.

Documentos: gt_v5_confirmatorio.md

36. Estabilidad del ajustado entre órdenes d0–d3 JEV-72

Pregunta

¿El rango del ajustado entre F0 y F3 es ≤ 5?

Criterio

Rango del ajustado, IC 95 %, umbral ≤ 5.

Fechas

Pre-registro: 2026-10-06 · Resultados: 2026-10-07 declaración documental

Modelos

• llm_qwen38_27b_fp8_jev68_off_d0_prob · F0
• llm_qwen38_27b_fp8_jev68_off_d1_prob · F1
• llm_qwen38_27b_fp8_jev72_off_d2_prob · F2
• llm_qwen38_27b_fp8_jev72_off_d3_prob · F3

Resultado

v4: rango 9.62 [4.58, 17.55], media 52.19, INCONCLUSA. v5: REFUTADA, rango 10.0 [5.2, 18.4], media 53.3. Es hipótesis secundaria; la tabla de metodologia no la lista.

Veredicto

Inconclusa en el cierre v4; Refutada en la réplica v5

GT

v4 el cierre; v5 la réplica (cambia de clase)

Documentos: gt_v5_confirmatorio.md qwen38_jev68.md jev68.json

37. Réplica S202 del Qwen FP8 JEV-72

Pregunta

¿Una segunda semilla en el mismo orden acuerda al menos el 97 % de las decisiones?

Criterio

Acuerdo de decisiones, IC 95 % Clopper-Pearson, umbral ≥ 97 %.

Fechas

Pre-registro: 2026-10-06 · Resultados: 2026-10-07 declaración documental

Modelos

• llm_qwen38_27b_fp8_jev68_off_d0_prob · comparador F0
• llm_qwen38_27b_fp8_jev72_off_d0_prob_s202 · réplica S202

Resultado

51 casos / 255 decisiones (papers32+adv3, no 194 decisiones ni batería completa). 253/255 = 99,22 %, IC [97,2; 99,9] %, CONFIRMADA para acuerdo ≥97 % en ese recorte. La réplica A4 de JEV-67 es otro contraste y no sostiene este resultado.

Veredicto

Confirmado el acuerdo mínimo entre semillas en el subconjunto ensayado; no demuestra determinismo ni cubre la batería completa.

GT

v4 (acuerdo GT-invariante en la réplica v5)

Notas: S202 no es una réplica de las 194 decisiones: 253/255 sale de papers32 y adv3.

Documentos: qwen38_jev68.md jev68.json

38. Endpoint de decisiones de gpt-6-luna JEV-80 JEV-81 también en la tabla de Metodología

Pregunta

¿La ruta /api/alpha/decisions supera a Jev, y sirven el rechazo como alerta y una segunda ejecución como réplica?

Criterio

Sin umbral de superioridad: McNemar–Holm de 53 frente a Jev. Alerta por rechazo, descriptiva. Acuerdo de las dos réplicas.

Fechas

Pre-registro: 2026-10-07 declaración documental

Modelos

• jev_luna_decisions · sujeto
• jev_luna_decisions_fb · fallback
• jev_luna_decisions_r2 · réplica
• jev_v3 · referencia

Resultado

Tabla pública (cierre v4): 48* no comparable con 45. Fallback 39.1 [28.2, 49.1] frente a 45.4. Alerta 5/30 y 0/30 FP. Réplicas 934/934. Réplica v5: ajustado de la comparación 47.7→49.7 con Δ r1↔r2 = 0.0; el acuerdo 934/934 es GT-invariante. Holm no demuestra superar a Jev.

Veredicto

No demuestra superar a Jev

GT

v4 en la tabla; la réplica de ajustado es v5

Documentos: luna_decisions_jev81.md gt_v5_confirmatorio.md

39. Rotación d1 de luna-decisions JEV-82 también en la tabla de Metodología

Pregunta

¿La rotación cíclica d1 de department cambia el agregado o produce primacía ≥5 pp?

Criterio

Primacía ≥5 pp en el subconjunto congelado y estabilidad del agregado, sin margen de equivalencia.

Fechas

Pre-registro: 2026-10-07 declaración documental

Modelos

• jev_luna_decisions · d0
• jev_luna_decisions_d1 · d1

Resultado

Primacía REFUTADA: U95 = −2.94 en 32 registros pareados; 7 errores d0 frente a 11 d1. Δ ajustado 0.00 no demuestra estabilidad ni equivalencia. Acuerdo 918/924 = 99.35 % en la web. 186/194 (6 rechazos de d0 más 2 nuevos). El run d1 no entra en el marcador. Réplica v5: REFUTADA idéntica.

Veredicto

Primacía refutada; estabilidad sin concluir

GT

v4 (v5 idéntica en esta hipótesis)

Notas: d1 = consulta_externa, urgencias, admin, bronchoscopia. Es una rotación cíclica, no una inversión del orden.

Documentos: luna_decisions_jev82.md

40. Decisions API nativa de OpenAI JEV-78 también en la tabla de Metodología

Pregunta

¿La API nativa de decisiones de OpenAI da el mismo resultado que la ruta OpenRouter de luna-decisions?

Criterio

Sin margen de equivalencia: acuerdo y Δ ajustado en las fases comunes; Holm 53 frente a Jev.

Fechas

Pre-registro: 2026-10-07 · Actualización: 2026-10-08 declaración documental

Modelos

• oai_luna_decisions · sujeto
• jev_luna_decisions · referencia ruta
• jev_v3 · referencia

Resultado

Ajustado propio de la API nativa: 38,25, con sus diez fases puntuables y las negativas a 0. OpenRouter: 47,70 en seis fases. En esas mismas seis fases ambos están en 47,70. Δ ajustado 0,00 en el universo común; no hay equivalencia. Δp media y máxima 0 sobre 2.091 componentes. Acuerdo 934/934. Holm 53 = 0.

Veredicto

Versión inconclusa: las rutas coinciden en el universo común, pero ese acuerdo no demuestra equivalencia ni resuelve la versión servida.

GT

v4

Documentos: openai_decisions_jev78.md

41. Microsoft-Decision-1 JEV-90 también en la tabla de Metodología

Pregunta

¿Microsoft-Decision-1 supera a Jev, se repite, muestra primacía ≥5 pp o cambia alguna etiqueta de department al rotar?

Criterio

Holm 53 frente a Jev excluyendo IDs expuestos. Réplica de mismo orden. Primacía ≥5 pp. «Cero cambios» de department entre rotaciones, con control R.

Fechas

Pre-registro: 2026-10-10 declaración documental

Modelos

• jev_ms_decision1 · sujeto D0
• jev_ms_decision1_r2 · réplica
• jev_ms_decision1_d1 · rotación
• jev_v3 · referencia

Resultado

Ajustado 44 [34–53]. Holm53 = 0. Réplica 959/964 (99.5 %). Primacía REFUTADA (10→10). «Cero cambios» 0/158 COMPATIBLE/INCONCLUSA. R y D1 solo análisis. v5: Holm sigue en 0 significativas; cambian b/c en 4 celdas, todas p_holm=1. Primacía y 0/158 idénticos al cierre v4.

Veredicto

Sin superioridad ni equivalencia; recomendación intacta

GT

v4 (Holm v5 sigue en 0; discordancias b/c cambian en 4 celdas)

Documentos: ms_decision1_jev90.md gt_v5_confirmatorio.md

42. MedGemma frente a Gemma 3 y Qwen JEV-77 también en la tabla de Metodología

Pregunta

¿El post-train clínico de MedGemma-27B da ≥ +5 sobre Gemma3-27B y no es inferior (margen −5) a un Qwen FP8 fresco?

Criterio

H1: M−G ≥ +5 (IC 97,5 %). H2: no inferioridad, límite inferior ≥ −5. Primarios solo d0. Holm 53 aparte.

Fechas

Pre-registro: 2026-10-07 · Enmienda: 2026-10-08 declaración documental

Modelos

• llm_medgemma_27b_it_bf16_jev77_d0_disc · sujeto
• llm_gemma3_27b_it_bf16_jev77_d0_disc · control
• llm_qwen38_27b_fp8_jev77_d0_disc · control H2
• medgemma_27b_jev77_jevrev_audit · revisor Jev, no primario

Resultado

H1 +9.7 [−1.7, +21.8] IC97,5 INCONCLUSA. H2 −37.0 [−49.8, −24.9] REFUTADA. Medido bajo la gramática restringida de la Enmienda 1. Cascada audit 65, no primaria. Réplica v5: H2 −37.0→−42.7, misma clase; una familia Holm secundaria (M4P1 vs G4P1) pasa de 1 a 2 celdas de 53.

Veredicto

Sin superioridad ni utilidad clínica

GT

v4 el cierre (H2 −37,0 REFUTADA). Réplica v5: H2 −42,7 REFUTADA; Holm M4P1_vs_G4P1 1→2/53.

Documentos: medgemma_jev77.md gt_v5_confirmatorio.md

43. OpenMed Ministral-3B-Medical JEV-85 también en la tabla de Metodología

Pregunta

¿Un LLM médico pequeño cumple el contrato del adaptador y supera a Jev en alguna celda tras Holm?

Criterio

Parada si >20 errores, declarada de antemano. McNemar–Holm de 53 por modo frente a Jev. probabilities es primario; discrete es descriptivo.

Fechas

Pre-registro: 2026-10-08 declaración documental

Modelos

• llm_ministral3b_med_prob · sujeto primario
• llm_ministral3b_med_disc · secundario

Resultado

prob 171/194, 23 errores: la parada se incumplió. Ajustado −7* sobre 3/10 fases. disc 187/194, 45* sobre 4/10. Solo sobrevive la derrota de prob en department del triaje ampliado ES. Ninguna ventaja del modelo. Licencia del checkpoint no documentada.

Veredicto

Negativo descriptivo; no candidato

GT

v4 (cobertura incompleta; el * no se compara con el 45 de Jev)

Documentos: ministral3b_med_jev85.md

44. Claude Haiku 5.5, tres celdas de thinking JEV-83 también en la tabla de Metodología

Pregunta

¿Haiku 5.5 con thinking off supera o equivale a Jev?

Criterio

Holm 53 frente a Jev solo en la celda H-off. H-disc y H-adapt son descriptivos.

Fechas

Pre-registro: 2026-10-08 declaración documental

Modelos

• llm_haiku55_off_prob · H-off sujeto
• llm_haiku55_off_disc · H-disc descriptivo
• llm_haiku55_adapt_prob · H-adapt descriptivo
• jev_v3 · referencia

Resultado

H-off 62 [54–69] en la web; Holm 53 = 0. H-disc 64 y H-adapt 69 descriptivos. El coste de H-adapt es cota inferior (desviación E11). 194/194, 0 errores.

Veredicto

Sin superioridad ni equivalencia demostradas frente a Jev; el ajustado mayor es descriptivo.

GT

v4

Documentos: claude_haiku55_jev83.md

45. Haiku 5.5 como revisor, alerta y réplica JEV-84 JEV-32 también en la tabla de Metodología

Pregunta

¿Haiku adaptive sirve como revisor de Decider-4B y de Jev, como alerta de una pasada, y es estable una segunda ejecución?

Criterio

A) JEV-32 original sobre Decider. B) ampliado: alerta por set en adv3–5 y también D1=Jev. Holm 212 en el bloque revisor. Alerta de una pasada con McNemar–Holm de 2. Réplica estable si acuerdo ≥95 % con universo completo. Réplica S: procedencia verificada, además del acuerdo ≥95 % con universo completo.

Fechas

Pre-registro: 2026-10-08 declaración documental

Modelos

• decider_4b_haiku55rev_audit · revisor
• jev_haiku55rev_audit · revisor
• jev_haiku55rev_review · review, secundario
• llm_haiku55_adapt_alert_raw · alerta una pasada
• llm_haiku55_adapt_prob_r2 · réplica
• clef_27b_alert_raw · referencia alerta
• jev_cascade_raw · referencia alerta

Resultado

Criterio B NO CUMPLE en ambos D1 por adv4 5/10. Fracciones JEV-32 y alerta adv5 sí. Jev→Haiku audit 74 (73.78), el mayor entre audit completos; review 76 (75.79) es secundario del mismo raw. Decider→Haiku audit 66. Holm 212 = 0. Alerta una pasada 6/10·0, 4/10·0, 6/10·0 = 16/30·0. Holm de 2: vs Clef p=0.0063 Holm 0.0127; vs revisor Jev p=0.0215 Holm 0.0215. Réplica S: 919/964 = 95,33 %. ESTABLE por el umbral puntual pre-registrado; IC95 [93,80; 96,58] %, sin acreditar L≥95 % ni determinismo.

Veredicto

Sin roles confirmados; tarjeta descriptiva

GT

v4

Documentos: claude_haiku55_jev84.md cascada_jev.md alerta_manipulacion.md

46. Réplica confirmatoria de los cierres bajo GT v5 JEV-100

Pregunta

¿Cambian de clase las hipótesis ya cerradas con GT v4 al re-analizar los mismos runs con GT v5?

Criterio

Criterios verbatim de cada pre-registro. Sin inferencia nueva: 12 comandos de docs/auditorias, returncode 0. Se reporta toda hipótesis.

Fechas

Pre-registro: 2026-10-11 declaración documental

Modelos

• diag_qwen38_jev67_fp8_rot0_typesafe_struct_r1 · reanálisis
• diag_qwen38_jev67_fp8_rot1_typesafe_struct_r1 · reanálisis
• gate67_70_disc_inject · reanálisis
• gate67_80_disc_inject · reanálisis
• llm_qwen38_27b_arcgguf_inject_disc · reanálisis
• llm_qwen38_27b_arcgguf_inject_prob · reanálisis
• llm_qwen38_27b_fp8_inject_prob · reanálisis
• llm_qwen38_27b_fp8_inject_prob_s202 · reanálisis
• llm_qwen38_27b_fp8_inject_rot1_prob · reanálisis
• llm_qwen38_27b_fp8_nostruct_prob · reanálisis
• llm_qwen38_27b_fp8_nostruct_t0_prob · reanálisis
• llm_qwen38_27b_nvfp4_inject_disc · reanálisis
• llm_qwen38_27b_nvfp4_inject_prob · reanálisis
• diag_qwen38_jev71_fp8_visible_v1_prob_r1 · reanálisis
• diag_qwen38_jev71_fp8_visible_v1_prob_r2 · reanálisis
• diag_qwen38_jev71_fp8_visible_v1_prob_r3 · reanálisis
• diag_qwen38_jev71_fp8_visible_v3_prob_r1 · reanálisis
• diag_qwen38_jev71_fp8_visible_v3_prob_r2 · reanálisis
• diag_qwen38_jev71_fp8_visible_v3_prob_r3 · reanálisis
• diag_qwen38_jev71_fp8_visible_v5_prob_r1 · reanálisis
• diag_qwen38_jev71_fp8_visible_v5_prob_r2 · reanálisis
• diag_qwen38_jev71_fp8_visible_v5_prob_r3 · reanálisis
• gate_qwen_disc_typesafe_off_d0 · reanálisis
• gate_qwen_prob_antinj_alt_off_d0 · reanálisis
• gate_qwen_prob_sin_antinj_off_d0 · reanálisis
• gate_qwen_prob_typesafe_off_d0 · reanálisis
• gate_qwen_prob_typesafe_off_d1 · reanálisis
• gate_qwen_prob_typesafe_off_d2 · reanálisis
• gate_qwen_prob_typesafe_off_d3 · reanálisis
• gate_qwen_prob_typesafe_on_d0 · reanálisis
• gate_qwen_prob_typesafe_on_d1 · reanálisis
• llm_qwen38_27b_fp8_jev68_off_d0_prob · reanálisis
• llm_qwen38_27b_fp8_jev68_off_d1_prob · reanálisis
• llm_qwen38_27b_fp8_jev68_on_d0_prob · reanálisis
• llm_qwen38_27b_fp8_jev68_on_d1_prob · reanálisis
• llm_qwen38_27b_fp8_jev71_off_d0_disc · reanálisis
• llm_qwen38_27b_fp8_jev72_off_d0_prob_s202 · reanálisis
• llm_qwen38_27b_fp8_jev72_off_d2_prob · reanálisis
• llm_qwen38_27b_fp8_jev72_off_d3_prob · reanálisis
• llm_qwen38_27b_fp8_nostruct_prob · reanálisis
• logs · reanálisis
• dgemma_26b_a4b_nvfp4 · reanálisis
• dgemma_26b_a4b_nvfp4_rep · reanálisis
• dgemma_26b_a4b_nvfp4_rot1 · reanálisis
• dgemma_26b_a4b_nvfp4_s1 · reanálisis
• dgemma_26b_a4b_nvfp4_x80 · reanálisis
• jev_v3 · reanálisis
• llm_dgemma_26b_a4b_nvfp4_nostruct_disc_rp · reanálisis
• llm_dgemma_26b_a4b_nvfp4_nostruct_prob_rp · reanálisis
• llm_dgemma_26b_a4b_nvfp4_nostruct_prob_rp_rep · reanálisis
• llm_dgemma_26b_a4b_nvfp4_nostruct_prob_rp_rep_pass1 · reanálisis
• gate_qwen76_disc_typesafe_off_d0 · reanálisis
• gate_qwen76_disc_typesafe_off_d1 · reanálisis
• gate_qwen76_disc_typesafe_on_d0 · reanálisis
• gate_qwen76_disc_typesafe_on_d1 · reanálisis
• gate_qwen76_prob_typesafe_off_d0 · reanálisis
• gate_qwen76_prob_typesafe_off_d1 · reanálisis
• gate_qwen76_prob_typesafe_on_d0 · reanálisis
• gate_qwen76_prob_typesafe_on_d1 · reanálisis
• llm_qwen38_27b_fp8_jev68_off_d0_prob · reanálisis
• llm_qwen38_27b_fp8_jev68_off_d1_prob · reanálisis
• llm_qwen38_27b_fp8_jev68_on_d0_prob · reanálisis
• llm_qwen38_27b_fp8_jev68_on_d1_prob · reanálisis
• llm_qwen38_27b_fp8_jev71_off_d0_disc · reanálisis
• llm_qwen38_27b_fp8_jev76_off_d0_disc · reanálisis
• llm_qwen38_27b_fp8_jev76_off_d0_prob · reanálisis
• llm_qwen38_27b_fp8_jev76_off_d1_disc · reanálisis
• llm_qwen38_27b_fp8_jev76_off_d1_prob · reanálisis
• llm_qwen38_27b_fp8_jev76_on_d0_disc · reanálisis
• llm_qwen38_27b_fp8_jev76_on_d0_prob · reanálisis
• llm_qwen38_27b_fp8_jev76_on_d1_disc · reanálisis
• llm_qwen38_27b_fp8_jev76_on_d1_prob · reanálisis
• llm_qwen38_27b_fp8_nostruct_prob · reanálisis
• logs · reanálisis
• gate_jev77_disc_typesafe_off_d0_gemma3_27b · reanálisis
• gate_jev77_disc_typesafe_off_d0_gemma3_4b · reanálisis
• gate_jev77_disc_typesafe_off_d0_medgemma27b · reanálisis
• gate_jev77_disc_typesafe_off_d0_medgemma4b · reanálisis
• gate_jev77_disc_typesafe_off_d0_qwen38fp8 · reanálisis
• gate_jev77_disc_typesafe_off_d1_gemma3_27b · reanálisis
• gate_jev77_disc_typesafe_off_d1_gemma3_4b · reanálisis
• gate_jev77_disc_typesafe_off_d1_medgemma27b · reanálisis
• gate_jev77_disc_typesafe_off_d1_medgemma4b · reanálisis
• gate_jev77_disc_typesafe_off_d1_qwen38fp8 · reanálisis
• gate_jev77_prob_typesafe_off_d0_gemma3_27b · reanálisis
• gate_jev77_prob_typesafe_off_d0_gemma3_4b · reanálisis
• gate_jev77_prob_typesafe_off_d0_medgemma27b · reanálisis
• gate_jev77_prob_typesafe_off_d0_medgemma4b · reanálisis
• gate_jev77_prob_typesafe_off_d1_gemma3_27b · reanálisis
• gate_jev77_prob_typesafe_off_d1_gemma3_4b · reanálisis
• gate_jev77_prob_typesafe_off_d1_medgemma27b · reanálisis
• gate_jev77_prob_typesafe_off_d1_medgemma4b · reanálisis
• llm_gemma3_27b_it_bf16_jev77_d0_disc · reanálisis
• llm_gemma3_27b_it_bf16_jev77_d0_prob · reanálisis
• llm_gemma3_27b_it_bf16_jev77_d1_disc · reanálisis
• llm_gemma3_27b_it_bf16_jev77_d1_prob · reanálisis
• llm_gemma3_4b_it_bf16_jev77_d0_disc · reanálisis
• llm_gemma3_4b_it_bf16_jev77_d0_prob · reanálisis
• llm_gemma3_4b_it_bf16_jev77_d1_disc · reanálisis
• llm_gemma3_4b_it_bf16_jev77_d1_prob · reanálisis
• llm_medgemma_1_5_4b_it_bf16_jev77_d0_disc · reanálisis
• llm_medgemma_1_5_4b_it_bf16_jev77_d0_prob · reanálisis
• llm_medgemma_1_5_4b_it_bf16_jev77_d1_disc · reanálisis
• llm_medgemma_1_5_4b_it_bf16_jev77_d1_prob · reanálisis
• llm_medgemma_27b_it_bf16_jev77_d0_disc · reanálisis
• llm_medgemma_27b_it_bf16_jev77_d0_prob · reanálisis
• llm_medgemma_27b_it_bf16_jev77_d1_disc · reanálisis
• llm_medgemma_27b_it_bf16_jev77_d1_prob · reanálisis
• llm_qwen38_27b_fp8_jev77_d0_disc · reanálisis
• llm_qwen38_27b_fp8_jev77_d1_disc · reanálisis
• llm_qwen38_27b_fp8_nostruct_prob · reanálisis
• logs · reanálisis
• medgemma_27b_jev77_jevrev_audit · reanálisis
• medgemma_27b_jev77_jevrev_raw · reanálisis
• jev_luna_decisions · reanálisis
• jev_v3 · reanálisis
• llm_gpt6luna_prob · reanálisis
• oai_luna_decisions · reanálisis
• jev_luna_decisions · reanálisis
• jev_luna_decisions_r2 · reanálisis
• jev_luna_decisions · reanálisis
• jev_luna_decisions_d1 · reanálisis
• clef_27b_alert_raw · reanálisis
• decider_4b · reanálisis
• decider_4b_haiku55rev_audit · reanálisis
• decider_4b_haiku55rev_raw · reanálisis
• decider_4b_jevrev_audit · reanálisis
• jev_cascade_audit · reanálisis
• jev_cascade_raw · reanálisis
• jev_haiku55rev_audit · reanálisis
• jev_haiku55rev_raw · reanálisis
• jev_v3 · reanálisis
• llm_haiku55_adapt_alert_raw · reanálisis
• llm_haiku55_adapt_prob · reanálisis
• llm_haiku55_adapt_prob_r2 · reanálisis
• jev_ms_decision1 · reanálisis
• jev_ms_decision1_d1 · reanálisis
• jev_ms_decision1_r2 · reanálisis
• jev_ms_decision1 · reanálisis
• jev_v3 · reanálisis
• jev_ms_decision1 · reanálisis
• jev_ms_decision1_d1 · reanálisis

Resultado

Reanálisis de los doce procesos, sin adquisición nueva. Cambian de clase solo dos ítems no primarios: P72 rango d0–d3 INCONCLUSA→REFUTADA (10,0 [5,2; 18,4]) y Holm M4P1_vs_G4P1 de 1 a 2 celdas de 53. H2 de MedGemma −42,7 REFUTADA. A1 v4 51,44366 pasa a 52 en v5. La alerta de DiffusionGemma queda NO EMITIDA: el analizador no imprime esa clase. La alerta de Haiku (16/30·0, NO CUMPLE) es otro modelo y otro experimento; no resuelve esa incidencia. La alerta de una pasada de DiffusionGemma está en alerta_dgemma (19/30·0). Las GT-invariantes no cambian de clase.

Veredicto

El cuadro confirmatorio se mantiene. Dos ítems secundarios cambian a peor.

GT

v5 (compara contra cierres v4)

Salvedad: No se reejecutaron los doce analizadores en T47. Los IC archivados se citan; no son un bootstrap nuevo. Los runs son los de docs/auditorias/*.json.

Documentos: gt_v5_confirmatorio.md enmienda_atestaciones_r109.md

47. DiffusionGemma una pasada: nivel, Brier y contrato JEV-70

Pregunta

¿La pasada P cumple el nivel, la calibración y el contrato numérico fijados antes de correr?

Criterio

Componentes P.a–P.e del manifiesto §9.2. P.a es nivel, no superioridad. Holm 53 frente a Jev es aparte y no es el criterio de P.a. Umbrales estructurados de §9.2 / dgemma_report (R114 C3).

Fechas

Pre-registro: 2026-10-06 declaración documental

Modelos

• dgemma_26b_a4b_nvfp4 · P
• jev_v3 · referencia Holm

Resultado

P.a nivel INCONCLUSA. P.b Brier CONFIRMADA. P.c, P.d1, P.d2 y P.e CONFIRMADAS. Histórico: ajustado 52,6 y Brier 0,095. Cierre v4: ajustado 52,6 en la auditoría y Brier 0,096. Holm 53 frente a Jev sin superioridad (papers32.depth crudo, Holm 0,097).

Veredicto

Contrato mixto: nivel inconcluso, Brier y el resto de P confirmados. Sin superioridad Holm.

GT

v3 la tabla del 6-oct; v4 el cierre de docs/auditorias/jev70.json

Documentos: dgemma_26b_a4b_nvfp4.md jev70.json

48. DiffusionGemma: contraste de lecturas P frente a S1 JEV-70

Pregunta

¿Una lectura (S1) acuerda con P, no empeora el Brier y es más rápida, lo bastante para fijarla?

Criterio

S1.a–S1.d. Es un contraste de lecturas, no una batería nueva. Umbrales estructurados de §9.2 / dgemma_report (R114 C3).

Fechas

Pre-registro: 2026-10-06 declaración documental

Modelos

• dgemma_26b_a4b_nvfp4 · P
• dgemma_26b_a4b_nvfp4_s1 · S1

Resultado

Histórico: acuerdo 943/969 = 97,3 %; |Δ ajustado| 0,34; Brier 0,095 < 0,101; latencia 318 ms frente a 122 ms. Componentes CONFIRMADOS. Recomendación fijada: S1. Cierre v4 de los ajustados: P 52,64221 y S1 52,99056; la auditoría mantiene S1.a–S1.d CONFIRMADAS. No se republica 0,34 como Δ v4.

Veredicto

Confirmada en los cuatro componentes. Recomendación S1.

GT

v3 histórico del Δ 0,34; v4 en la auditoría y en los ajustados 52,64221/52,99056

Documentos: dgemma_26b_a4b_nvfp4.md jev70.json

49. DiffusionGemma: repetibilidad R y host X JEV-70

Pregunta

¿P se repite en la misma sesión (R) y en el otro host (X)?

Criterio

R.a/R.b y X.a/X.b, identificables por separado. Solo papers32+adv3. Umbrales estructurados de §9.2 / dgemma_report (R114 C3).

Fechas

Pre-registro: 2026-10-06 declaración documental

Modelos

• dgemma_26b_a4b_nvfp4 · P
• dgemma_26b_a4b_nvfp4_rep · R
• dgemma_26b_a4b_nvfp4_x80 · X

Resultado

R.a 259/260 INCONCLUSA y R.b máx |Δp| 0,34 REFUTADA. X.a 249/260 REFUTADA y X.b 0,76 REFUTADA. No es una réplica de la batería de 194.

Veredicto

R inconclusa en acuerdo y refutada en distribuciones. X refutada en ambos.

GT

el de la auditoría jev70 (v4) para la clase; los recuentos 259/260 y 249/260 están en el manifiesto

• R.a 259/260 INCONCLUSA
• R.b máx |Δp| 0,34 REFUTADA
• X.a 249/260 REFUTADA
• X.b máx |Δp| 0,76 REFUTADA

Documentos: dgemma_26b_a4b_nvfp4.md jev70.json

50. Rotación de DiffusionGemma JEV-70

Pregunta

¿Rotar el orden cambia el acierto choice más allá del margen, sin confundirlo con el host?

Criterio

Rot1.a/b/c. Si X no confirma el host, a y b quedan INCONCLUSA POR HOST. c se clasifica por si el IC excluye 0. Umbrales estructurados de §9.2 / dgemma_report (R114 C3).

Fechas

Pre-registro: 2026-10-06 · Recálculo: 2026-10-08 declaración documental

Modelos

• dgemma_26b_a4b_nvfp4 · P
• dgemma_26b_a4b_nvfp4_rot1 · rotación
• dgemma_26b_a4b_nvfp4_x80 · control de host

Resultado

Histórico v3: 33/259 y Δ −7,3 pp [−11,8; −3,0], n=259. Cierre v4: 33/256, Δ −7,42 pp [−11,93; −3,06], n=256, REFUTADA. Rot1.a y Rot1.b INCONCLUSA POR HOST. El redondeo −7,4 de la web es el de v4. No ocultar la confusión host×orden.

Veredicto

Rot1.c refutada. Rot1.a y Rot1.b inconclusas por host.

GT

v3 histórico (−7,3, n=259); v4 cierre (−7,42, n=256)

Documentos: dgemma_26b_a4b_nvfp4.md jev70.json

51. Ruta generativa L″ de DiffusionGemma JEV-70

Pregunta

¿La ruta generativa del adaptador completa el contrato de errores y es comparable en ajustado?

Criterio

L″.c errores de primera pasada, por variante. El ajustado parcial no es un score comparable. Umbrales estructurados de §9.2 / dgemma_report (R114 C3).

Fechas

Pre-registro: 2026-10-06 declaración documental

Modelos

• llm_dgemma_26b_a4b_nvfp4_nostruct_prob_rp · probabilities, parada
• llm_dgemma_26b_a4b_nvfp4_nostruct_prob_rp_rep · réplica
• llm_dgemma_26b_a4b_nvfp4_nostruct_prob_rp_rep_pass1 · primera pasada de la réplica
• llm_dgemma_26b_a4b_nvfp4_nostruct_disc_rp · discrete

Resultado

probabilities incompleta por parada: 7 errores; la réplica tiene 4 en la primera pasada; discrete 0 y ese componente de errores CONFIRMADA. Acuerdo Lp3↔Lr3 142/155, descriptivo. Discrete, ruta completa: histórico v3 50,81065 (redondeo 50,8) y cierre v4 50,73032 (redondeo 50,7), 11 fases. papers.depth queda significativa tras Holm 53 frente a Jev. El ajustado de probabilities, cortado por la parada, no es un score comparable.

Veredicto

Errores de discrete confirmados. Probabilities inconclusa por parada. Sin score parcial comparable.

GT

v3 el 50,8 histórico; v4 el 50,7 y la auditoría

Salvedad: El ajustado 52,6 de la auditoría es el de P, no el de la ruta discrete. El ajustado de probabilities queda fuera de comparación porque la pasada se paró.

Documentos: dgemma_26b_a4b_nvfp4.md jev70.json

52. Robustez operativa del adaptador llm JEV-44

Pregunta

¿Un timeout de caso aborta y el caso siguiente responde, sin colgar el adaptador?

Criterio

Criterio operativo previo: el caso no supera case_timeout más un margen, y el siguiente caso normal responde.

Fechas

Pre-registro: 2026-10-02 declaración documental

Modelos

Resultado

18/18 ejecuciones, 16–170 s. Con case_timeout=45 el caso aborta a los 45,0 s y el siguiente responde en 30,9 s. Afecta a la lectura de Qwen3.8-Flash-Next: su batería a ciegas no es el único ensayo de ese adaptador.

Veredicto

El ensayo técnico cumple el criterio operativo. No es una validación clínica.

GT

no aplica al marcador; smoke de transporte

Salvedad: results/logs/smoke_llm_jev44.json existe y no es exportable (in_manifest false). No se copia el log.

Documentos: CHANGELOG.md modelos.md

53. Protocolo de ventana de Strands

Pregunta

Si la ventana estricta rechaza casos, ¿cuándo se autoriza un run truncado aparte?

Criterio

Run primario --strict-window. Truncado solo si >10 errores o papers32 pierde >3 casos. No es una réplica idéntica.

Fechas

Pre-registro: 2026-10-03 declaración documental

Modelos

• strands_2b_hobson_v19_xpu · estricto, primario
• strands_2b_hobson_v19_xpu_trunc · truncado, desviación explícita

Resultado

1 error P11 por ventana, por debajo de >10 errores y de >3 papers. El truncado se pidió igual, como desviación, no como activación normal del condicional. Histórico 195 registros; universo vigente 194. Estricto 193/194 válidos con v4/v5 (P11 rechazado); truncado 194/194.

Veredicto

Ensayo técnico. El truncado no es la rama normal del protocolo ni una réplica.

GT

ejecución histórica sobre 195; puntuación vigente v4/v5 sobre 194

Salvedad: No es validación clínica ni una hipótesis del marcador. 195 no es el tamaño vigente.

Documentos: strands_2b_hobson_v19_xpu.md

54. Acuerdo OpenRouter frente a TypeSafe de Jev

Pregunta

¿Los dos proveedores sirven la misma versión y las mismas decisiones?

Criterio

No hay umbral nuevo de éxito ni de equivalencia. Es un control técnico de proveedor.

Fechas

Pre-registro: sin fecha declaración documental

Modelos

• jev_v3 · OpenRouter
• jev_typesafe_v1 · TypeSafe

Resultado

La versión servida coincide (jev-1.13). 406 de 409 respuestas iguales. Tres decisiones fronterizas cambian. No es una réplica de semilla ni equivalencia demostrada, y jev_typesafe_v1 no trae adv4 ni adv5.

Veredicto

Control técnico. Sin equivalencia probada.

GT

el de la comparación de proveedores documentada; no es un cierre v4 de hipótesis

Salvedad: Sin umbral pre-registrado de equivalencia. No sustituye a una réplica moderna.

Documentos: resultados.md versiones_jev.md

55. LoRA propio sobre Qwen3.5-9B frente a su base JEV-89

Pregunta

¿Un LoRA de Qwen3.5-9B entrenado con un conjunto propio (sin ningún caso de evaluación) decide mejor que la misma base sin entrenar, preguntada en el mismo formato (contrato de Tev1), y dónde queda frente a Jev y a Nimble-9B?

Criterio

H1 (primaria, frente a la base): confirmada si alguna de las 53 celdas sobrevive a Holm a favor del entrenado y ninguna en contra; refutada si alguna sobrevive en contra o su ajustado es menor que el del control. Éxito práctico: ajustado ≥ 44 y ninguna celda a favor de jev_v3. Una sola ejecución; el checkpoint se elige por log-loss de validación sintética, nunca mirando la batería.

Fechas

Pre-registro: 2026-10-17 · Resultados: 2026-10-18 · Enmienda: 2026-10-17 declaración documental

Modelos

• jev89_qwen35_9b_lora · sujeto
• qwen35_9b_base_tev1fmt · control
• jev_v3 · referencia Holm
• nimble_9b · referencia Holm

Resultado

Medido. La base sin entrenar, preguntada en formato Tev1, obtiene estos resultados frente a los comparadores (incluido un decisor dedicado de ~9B): ajustado 48 [38–57] frente a Jev 49 [39–59] y Nimble-9B 47 [37–56] (mayoría 0), sin diferencias significativas tras Holm. Este contraste no aísla el efecto del formato. El LoRA queda en 38 [25–51]: H1 REFUTADA por el criterio pre-registrado (ajustado menor que el del control), con 0/53 celdas tras Holm en cualquier dirección (b = 90, c = 86). Comete casi los mismos errores (200 → 204 de 964), pero los de confianza ≥ 0,99 pasan de 7 a 50 y el Brier noul empeora de 0,083 a 0,108: el ajuste fino lo vuelve sobreconfiado. Mejora el triaje (triage_en 51,1 → 74,5) y adv4/adv5 (31,9 → 38,3; 36,5 → 54,1); baja descriptivamente en manipulación (adv1 26,7 → −86,7; adv3 66,3 → 42,7) y en papers (acierto 73,5 → 68,4 %).

Veredicto

H1 refutada por el ajustado menor que el de la base; sin éxito práctico. Ninguna diferencia por celda es significativa tras Holm.

GT

v5 (vigente); ejecución única del 18-oct

Salvedad: Interpretación posterior, sin comprobar (no forma parte del veredicto). El LoRA aprende lo que hay en los datos y desaprende lo que no está: el conjunto de entrenamiento no tenía ningún ejemplo de manipulación verificado, y la aceptación por concordancia exacta deja solo casos inequívocos, lo que premia fiarse del contenido clínico aparente; la bajada en papers encaja con etiquetas débiles de MeSH. adv1 tiene 10 casos y una mayoría del 85 %, así que pesa mucho en el ajustado. Una validación sintética alta (97,6 %) no predijo la batería: medía parecerse al generador. El pre-registro decidió el veredicto: sin el criterio fijado antes, habría sido fácil leerlo como un empate quitando adv1 o eligiendo la época mirando la batería.

Notas: Lección medida: cualquier decisor ajustado debe compararse con su propia base preguntada en el mismo formato, no con cero. Los dos runs se documentan solo como experimento y no entran en el marcador; los pesos no se publican (el conjunto incluye datos CC BY-NC) y el modelo es solo de investigación.

Documentos: jev89_preregistro.md jev89_resultado.md jev89_qwen35_9b.md

56. System One como verificador de borradores de BroncoScribe JEV-111 JEV-112

Pregunta

Dado un dictado ficticio de broncoscopia/EBUS (guion o transcripción ASR) y una afirmación atómica sobre él («se puncionó la estación 7», «22 G»…), ¿decide un System One local si la afirmación está respaldada por el texto, como verificador que avisa al médico cuando el borrador no cuadra?

Criterio

Set propio fuera de la batería: 118 hechos (63 verdaderos, 55 falsos cercanos) sobre 10 guiones ficticios y 36 transcripciones ASR; 509 decisiones, GT validado por el usuario y congelado antes de ejecutar. Cumple si, con umbral 0,5, detecta ≥ 70 % de los hechos falsos (sensibilidad) con ≤ 5 % de avisos falsos sobre los verdaderos. Modelo principal Clef-Flash 9B en la GPU Intel; comparador Clef-27B.

Fechas

Pre-registro: 2026-10-25 · Resultados: 2026-10-25 · Enmienda: 2026-10-25 declaración documental

Modelos

• bv_clef_flash_9b_xpu · sujeto (principal)
• bv_clef_flash_9b_xpu_q8 · variante E3
• bv_clef_flash_9b_cuda · variante E2
• bv_clef_27b · comparador
• bv_jev114_typesafe · variante E3
• bv_elephant_1_local · variante E4
• bv_mammoth_1_local · variante E4
• bv_qwen35_4b_q4km_jetson · variante E5

Resultado

Medido. Clef-Flash detecta todos los hechos falsos en todas sus configuraciones válidas. En la GPU Intel con las 16 preguntas de un caso en una llamada da 24 salidas NaN (fallo del backend XPU: no ocurre en CPU ni en CUDA y persiste tras actualizar y reiniciar): excluyéndolas, FP 0,023 y cumple; contándolas como aviso, FP 0,115 y no cumple. Con ≤ 8 preguntas por llamada no hay NaN y cumple: acierto 0,986, sensibilidad 1,000, FP 0,027 (~0,44 s por transcripción). En CUDA: 0,988 / 1,000 / 0,023. Clef-27B: 0,998 / 0,996 / 0,000 (~2,4 s). Jev 1.14 por TypeSafe también cumple: 0,984 / 0,992 / 0,023, con 2 hechos falsos sin aviso. Los decisores de Base Labs en local también cumplen, sin NaN y con todas las preguntas en una llamada: elephant-1 (9B) 0,992 / 1,000 / 0,015 (~0,7 s) y mammoth-1 (27B) 0,996 / 0,996 / 0,004 (~2,2 s). Estas cifras no prueban equivalencia con Clef-27B. Qwen3.5-4B en 4 bits en una Jetson Orin Nano (8 GB) también cumple: 0,984 / 1,000 / 0,031 (~4,9 s por transcripción). Mayoría constante 0,515. Los errores con confianza ≥ 0,9 son raros: ninguno en Clef-Flash, Clef-27B, mammoth-1 ni Jev 1.14; uno en elephant-1 y dos en el 4B de la Jetson.

Veredicto

Cumple (Clef-Flash con ≤ 8 preguntas por llamada o en CUDA; Clef-27B; elephant-1 y mammoth-1 en local; Jev 1.14; Qwen3.5-4B Q4 en Jetson); señal de viabilidad, no validación

GT

bscribe_verif v1 (validado 25-oct)

Salvedad: Con 10 guiones ficticios es una señal de viabilidad, no una validación clínica: las decisiones de un mismo guion no son independientes (IC por bootstrap de casos) y la diversidad real la aportará un corpus más amplio. El umbral de NaN por número de preguntas solo se ha observado en este hardware y con esta versión del backend XPU.

Notas: Set opt-in fuera de la batería principal: no entra en el marcador ni en RUNS. Los textos son guiones ficticios y sus transcripciones ASR, sin datos de pacientes.

Documentos: bscribe_verif.md bscribe_verif.md validacion_gt_bscribe_verif.md

57. Decisores en una Jetson Orin Nano (8 GB)

Pregunta

¿Qué decisores System One caben y funcionan en una Jetson Orin Nano Super de 8 GB y cuánto cambian sus decisiones frente a la misma configuración en el DGX Spark?

Criterio

Pre-registrado antes de medir: cada run frente a su control en el DGX (acuerdo de decisiones pareadas, referencia descriptiva 97 %, y McNemar en 53 celdas con Holm) y frente a Jev; un modelo «no cabe» si no carga o deja menos de 300 MB libres. Qwen3.5 4B y 9B cuantizados con llama.cpp y el contrato de Tev1; Decider 0.8B y 2B con PyTorch para JetPack.

Fechas

Pre-registro: 2026-10-25 · Resultados: 2026-10-25 · Enmienda: 2026-10-25 declaración documental

Modelos

• qwen35_4b_q4km_jetson · sujeto
• qwen35_4b_base_tev1fmt · control
• decider_0.8b_jetson · sujeto
• decider_0.8b · control
• decider_2b_jetson · sujeto
• decider_2b · control
• jev_v3 · referencia Holm

Resultado

Medido. Caben dos: Qwen3.5-4B en 4 bits (Q4_K_M) saca 35 [23–45] frente a 37 [25–48] en bf16 en el DGX, con un 92,1 % de decisiones iguales y sin celdas significativas tras Holm, a ~3,5 s por caso; Decider-0.8B saca 15 frente a 13 en el DGX, con un 99,5 % de decisiones iguales, a ~0,8 s por caso. Decider-2B queda incompleto (errores de memoria con los abstracts largos y adv4/adv5 sin cargar) y Qwen3.5-9B no cabe en ninguna cuantización probada. Jev: 49; mayoría: 0.

Veredicto

Caben Qwen3.5-4B Q4 y Decider-0.8B; Decider-2B y Qwen3.5-9B no

GT

v5 (vigente); 25-oct

Salvedad: Medido en 15 W tras descartar tres baterías con cortes: la caché de prompts de llama-server (8 GiB por defecto) agotaba la memoria; se corrigió con --cache-ram 0. Decider usa PyTorch 2.8 para JetPack (en el DGX, 2.14). La latencia es la del cliente en el DGX por la LAN.

Notas: Experimento fuera del marcador. La Jetson queda con Qwen3.5-4B Q4 y un script de arranque con los ajustes seguros.

Documentos: jetson_local.md