Calidad y gobernanza de la IA en accesibilidad: medir, revisar y contratar

En la lección anterior viste qué hace bien y qué hace mal la inteligencia artificial en accesibilidad, y un principio: la máquina genera, una persona revisa y, cuando la norma lo exige, el público valida. Pero «una persona revisa» no basta como política. Hay que decidir qué se revisa, con qué criterio de aceptación, cómo se mide la calidad, quién responde y qué se exige al proveedor. Esta lección convierte el principio en un procedimiento que puedes implantar, auditar y llevar a un pliego.

Definir la calidad antes de generar

El error más común es empezar por la herramienta. El orden correcto es el inverso: primero se define cómo debe ser el resultado (una guía de estilo de alt, la norma UNE 153010 para subtítulos, las pautas de lenguaje claro de la organización) y qué errores son inaceptables; después se elige la herramienta y se prueba contra esa definición. Una clasificación útil de errores, válida para alt, subtítulos y simplificaciones:

• Crítico: cambia el sentido o la información. Una cifra, un plazo, un nombre propio o una negación alterados; un dato inventado. Un solo error crítico obliga a rechazar la pieza.
• Grave: falta información necesaria o el resultado induce a confusión. Un gráfico descrito sin sus datos, un hablante sin identificar, una excepción omitida.
• Leve: estilo, longitud, puntuación o segmentación mejorables sin pérdida de información. Se tolera por debajo de un umbral acordado.

Medir la calidad de subtítulos y transcripciones

La métrica clásica del reconocimiento de voz es la tasa de error de palabra (WER, word error rate):

WER = (sustituciones + eliminaciones + inserciones) / palabras de la transcripción de referencia

Ejemplo: 200 palabras de referencia, 6 sustituciones, 2 eliminaciones y 2 inserciones
WER = (6 + 2 + 2) / 200 = 0,05  →  5 %

Su limitación es que todos los errores pesan lo mismo: confundir «el» con «al» cuenta igual que convertir «quince» en «cincuenta». Por eso, en subtitulado en directo, se usa también el modelo NER, de origen académico, que pondera los errores de edición y de reconocimiento según su gravedad y toma como referencia orientativa un 98 % de precisión. La idea que importa: ponderar los errores por su efecto en la comprensión.

En vídeo grabado, revisa siempre con el vídeo delante, comprueba una por una las cifras, fechas, nombres propios, siglas y negaciones, y verifica hablantes, sonidos, segmentación y sincronía según la UNE 153010. Un subtítulo con un WER bajo y un importe equivocado no es aceptable.

Revisar el texto alternativo generado

Para el alt, la métrica es una rúbrica que aplica el editor con la página delante, apoyándose en el árbol de decisión de imágenes del W3C:

Aspecto	Pregunta del revisor	Error crítico o grave si…
Función	¿Corresponde a la función de la imagen en esta página?	Un enlace o un botón describe la imagen en lugar del destino o la acción
Exactitud	¿Todo lo que dice está en la imagen?	Inventa personas, objetos, texto o datos
Texto en la imagen	¿Recoge el texto relevante tal cual?	Omite o altera el texto de un cartel o una captura
Suficiencia	¿Transmite lo que obtiene quien ve la imagen?	Un gráfico se describe sin su mensaje ni sus datos
Personas	¿Evita atribuir edad, género, origen o discapacidad sin necesidad?	Atribuye rasgos por estereotipo
Concisión	¿Es breve y va al grano?	Solo leve: se acorta

Organiza la revisión por riesgo: el 100 % de las imágenes de páginas de trámites, portada y contenidos con más tráfico; un muestreo en el archivo histórico. Dos indicadores sencillos te dirán si la herramienta compensa: el porcentaje de borradores aceptados sin cambios y el porcentaje con errores críticos. Si este último supera el umbral acordado, se detiene el uso hasta ajustar instrucciones o herramienta.

Comprobar la fidelidad de una simplificación

Leer la versión simplificada y ver que «suena bien» no sirve: hay que compararla con el original. El método de las unidades críticas lo hace sistemático. Antes de simplificar, extrae del original una lista con quién debe actuar, qué debe hacer, plazos, importes, requisitos, documentos, excepciones, consecuencias de no cumplir y vías de reclamación o recurso. Después comprueba que cada unidad está en la versión simplificada y que no ha cambiado. Los errores más habituales de los modelos de lenguaje son previsibles: «deberá» se convierte en «puede», desaparecen las excepciones, «días hábiles» pasa a «días», los importes se redondean y aparecen teléfonos o direcciones inventados.

Las instrucciones que se dan al modelo también forman parte del control de calidad. Guárdalas, versiónalas y revísalas como cualquier otro documento de la organización:

Público: personas adultas sin conocimientos jurídicos que leen en el móvil.
Tarea: reescribe el texto en lenguaje claro, en frases de menos de 20 palabras.
Reglas:
- No cambies plazos, importes, requisitos, obligaciones ni excepciones.
- Si el original dice "días hábiles", consérvalo o sustitúyelo por una fecha que te indico.
- No añadas datos que no estén en el original (teléfonos, direcciones, fechas).
- Si una frase es ambigua, márcala con [REVISAR] en lugar de interpretarla.
Salida: el texto y, aparte, la lista de unidades críticas que has conservado.

Gobernanza: roles, registro y transparencia

• Roles definidos: quién configura la herramienta y sus instrucciones, quién revisa (con formación específica), quién valida con el público cuando procede y quién responde ante una queja (en el sector público, la unidad responsable de accesibilidad del RD 1112/2018 (PDF, se abre en una ventana nueva)).
• Registro: herramienta y versión, fecha, persona revisora y errores encontrados. Permite responder a una queja y detectar si la calidad empeora tras una actualización del modelo.
• Alfabetización en IA: el Reglamento (UE) 2024/1689 obliga desde el 2 de febrero de 2025 (artículo 4) a que proveedores y responsables del despliegue procuren que su personal tenga un nivel suficiente de conocimientos sobre la IA que utiliza.
• Transparencia: el artículo 50 del mismo reglamento establece obligaciones de información, como avisar a las personas de que interactúan con un sistema de IA. Para los textos generados que se publican con el fin de informar al público sobre asuntos de interés público, prevé una excepción cuando ha habido revisión humana o control editorial y alguien asume la responsabilidad editorial: un motivo más para que la revisión sea real y quede documentada.
• Datos y accesibilidad de la herramienta: minimiza los datos personales que envías, evita que se reutilicen para entrenar modelos y comprueba que la herramienta es accesible para el personal con discapacidad que la usará (capítulo 11 de la EN 301 549 (PDF, se abre en una ventana nueva) para software).

Contratar herramientas y servicios con IA

Lo que viste en el nivel 5 sobre contratación pública accesible se aplica aquí con algunas cláusulas específicas:

1. Describe el resultado exigido, no la tecnología: «subtítulos conformes con 1.2.2 y la UNE 153010», no «subtitulado automático».
2. Fija un criterio de aceptación medible: cero errores críticos en una muestra y un umbral de errores leves.
3. Exige que la revisión humana esté incluida en el precio y que se identifique quién la hace y con qué formación.
4. Regula el tratamiento de datos: contrato de encargo del tratamiento (artículo 28 del RGPD), ubicación de los datos, prohibición de reutilizarlos y borrado.
5. Pide trazabilidad e informes periódicos de calidad, y la corrección sin coste de los errores detectados.
6. No aceptes como prueba de conformidad un overlay ni un informe generado solo de forma automática.

Resumen

• Define la calidad antes de elegir herramienta: guía de estilo, clasificación de errores (crítico, grave, leve) y umbral de aceptación.
• El WER mide errores de reconocimiento pero los pesa todos igual; modelos como NER ponderan por gravedad. Cifras, nombres y negaciones se comprueban siempre.
• El alt generado se revisa con una rúbrica de función, exactitud, texto, suficiencia, personas y concisión; la revisión se organiza por riesgo.
• La fidelidad de una simplificación se comprueba con unidades críticas, y las instrucciones al modelo se documentan y versionan.
• Gobernanza y contratación: roles, registro, alfabetización y transparencia del Reglamento de IA, cláusulas de resultado, aceptación, revisión y datos.