system-one-benchQué acierta cada modelo, pregunta a pregunta
El total de un set mezcla preguntas muy distintas. Aquí se separan: acierto por pregunta, a qué departamento manda cada modelo lo que debía ir a otro, y si sus probabilidades se corresponden con lo que ocurre.
Acierto por pregunta
Porcentaje de puntos por pregunta (en urgencia y relevancia, acertar a un nivel de distancia vale medio punto). La última fila es la línea base de responder siempre lo más frecuente: una celda por debajo de ella no aporta.
Cargando…
Matriz de confusión del departamento
Filas: departamento correcto. Columnas: lo que respondió el modelo. La diagonal (recuadrada) son aciertos. El sombreado es el porcentaje de la fila.
Calibración de las preguntas sí/no
Se agrupan las respuestas por la probabilidad que dio el modelo (0–10 %, 10–20 %…) y se mira con qué frecuencia la respuesta correcta era "sí". Un modelo bien calibrado cae sobre la diagonal: cuando dice 80 %, acierta 8 de cada 10. Los puntos huecos tienen menos de 5 respuestas.