Cómo se construyó y cómo leer el banco

Un modelo "System One" no redacta una respuesta: recibe un texto (el estado) y varias preguntas con un tipo fijo, y devuelve una distribución de probabilidad por pregunta en una sola pasada. Todos los modelos reciben exactamente las mismas preguntas, con las mismas opciones y descripciones; cada resultado guarda un hash de las preguntas para detectar cualquier cambio. El marcador mide cada configuración con una sola ejecución; la variación entre dos ejecuciones se ha medido por réplica en 11 configuraciones (ver Experimentos).

En triaje y adversarial se hacen 5 preguntas por mensaje: departamento, urgencia, clínico, hostil y responder hoy. En papers, otras 5: relevancia, dominio, diseño, profundidad de lectura y si cambia la práctica clínica.

El adaptador es un traductor entre nuestras preguntas y un modelo generalista. Hay tres comprobaciones distintas: que termine a tiempo, que produzca una respuesta útil y que su confianza corresponda a sus aciertos. Mejorar una no garantiza las otras.

Un esquema es como un formulario: controla las casillas, no la verdad de lo escrito. Un vector de probabilidades todo a cero es inválido; convertirlo en opciones equiprobables puede ocultarlo. En cambio, probabilidades iguales también pueden expresar duda legítima. Por eso necesitamos conservar la respuesta original.

Qwen local mejoró sin esquema forzado; Cerebras funciona con ambas rutas. El mecanismo de los ceros ya está identificado: con esquema forzado, varios servidores locales no copian las preguntas al prompt (JEV-66). Lo que no está aislado es cuánto del hueco frente a Cerebras se debe al prompt, al servidor o a la precisión. Como revisor de Jev, Cerebras es prometedor, no un ganador demostrado, y no ofrece mejor calibración en estas pruebas.

La prueba de aislamiento ya se ejecutó (JEV-63): dos prompts × con/sin esquema × 12 casos × tres repeticiones, en NVFP4, FP8, Cerebras y GGUF en Intel Arc. Los vectores nulos solo aparecen con el prompt TypeSafe y el esquema a la vez; quitar cualquiera de los dos los elimina. La revisión externa encontró el mecanismo y un experimento de confirmación (JEV-66) lo verificó: en modo estructurado los servidores locales no inyectan el esquema de salida en el prompt, así que el modelo responde a ciegas; con el esquema añadido al prompt y la misma gramática, cero vectores nulos en los tres backends. Los ceros son una medición sin preguntas visibles, no una cualidad del modelo. No es una batería completa ni una validación clínica.

La ablación posterior (JEV-65) descartó que las frases anti-inyección del prompt sean necesarias o suficientes para la degeneración: quitarlas o reescribirlas sigue produciendo los vectores nulos bajo esquema, y añadirlas al prompt simple no los provoca (las variaciones de conteo son compatibles con ruido sobre un modelo a ciegas; si las frases modulan con las preguntas visibles no se midió). En modo de respuesta discreta la degeneración aparece como fallo sistemático de salida (un agotamiento de límite observado en un bloque, solo timeouts en el otro), no como ceros.

Los mensajes son inventados; ninguno procede de pacientes reales. La respuesta correcta de cada caso la redactaron modelos de lenguaje y la revisaron personas en distinto grado:

El GT se versiona: v1 es el original, v2 (26-sep) corrige un paper y v3 (27-sep) incorpora la adjudicación de la segunda anotación. El anterior, v4 (6-oct), retira P02, cuyo fetch duplicó el paper de P03 (PMID 37130440), y conserva P03 con su GT. No añade casos: quedan 31 papers y 194 casos en la batería completa (191 sin OOD). Se conservan los datos anteriores y se re-puntúan todos los modelos; las cifras entre versiones del GT no son directamente comparables. Los once cambios de campo previos:

• Paper P04 (criobiopsia en EPID): dominio "ild", que no era una opción válida, pasa a ip; diseño cohort pasa a meta (el título es "Systematic Review").
• T03 disnea de reposo con ortopnea y edemas: consulta externa pasa a urgencias.
• T10 queja por la espera: responder hoy pasa a no (el remitente da de plazo "esta semana").
• T12 aseguradora que pide el informe de indicación: clínico pasa a sí.
• T26, T32, T36 y T38 (mensajes hostiles o con amenazas): responder hoy pasa a sí.
• T37 justificante para entregar hoy: urgencia media pasa a crítica (plazo explícito).
• A10 abogado educado: hostil pasa a no.

Para medir el ruido del GT se preparó un formulario a ciegas (sin mostrar el GT ni las respuestas de los modelos) con los campos en disputa: aquellos en que la mayoría de modelos contradecía al GT o estaban divididos. De los 167 campos, 78 los respondió una persona; el resto los completó otro modelo y no se usan como evidencia.

Son campos seleccionados por discrepancia; estas cifras describen ese subconjunto y no estiman la fiabilidad global del GT. Lo relevante: urgencia y "responder hoy" son muy interpretables. Al volver a puntuar todos los modelos con las respuestas de la segunda anotación, el orden entre modelos no cambió; todos subían unos puntos.

Para cada experimento se escribió el criterio de éxito antes de ejecutarlo, y se guardó en el control de versiones. Los resultados negativos se documentan igual que los positivos. Cifras de cierre con GT v4 (o v3 donde se indica); el marcador actual usa GT v5.

Todo el banco está medido con jev-1.13, que OpenRouter publica como typesafe/jev-1.13-20260917 y la API de TypeSafe como jev-1.13.0. Las dos dan las mismas respuestas (406 de 409 iguales; las 3 distintas están en la frontera de redondeo). A 27-sep-2026, jev-latest y jev-preview apuntan a esa misma versión.

Jev tiene algo de ruido entre llamadas: al repetir la batería, las probabilidades cambian de media del orden de 0.01 y algún caso en la frontera cambia de respuesta. Si el alias pasa a una versión nueva, hay que repetir las mediciones antes de comparar.

El código (harness jevbench), los casos, el GT versionado y todas las respuestas de todos los modelos están en el espejo público del repositorio (v2.10.0). Los abstracts de los papers no se distribuyen: el repo lleva metadatos y hashes, y python3 -m jevbench.fetch_abstracts los reconstruye desde PubMed. El README describe tres niveles de reproducción: rehacer las cuentas sin claves ni GPU, repetir Jev (menos de 0.02 $) y repetir los modelos abiertos en GPU.