Qualitat i governança de la IA en accessibilitat: mesurar, revisar i contractar

A la lliçó anterior vas veure què fa bé i què fa malament la intel·ligència artificial en accessibilitat, i un principi: la màquina genera, una persona revisa i, quan la norma ho exigeix, el públic valida. Però «una persona revisa» no n'hi ha prou com a política. Cal decidir què es revisa, amb quin criteri d'acceptació, com es mesura la qualitat, qui en respon i què s'exigeix al proveïdor. Aquesta lliçó converteix el principi en un procediment que pots implantar, auditar i portar a un plec.

Definir la qualitat abans de generar

L'error més comú és començar per l'eina. L'ordre correcte és l'invers: primer es defineix com ha de ser el resultat (una guia d'estil d'alt, la norma UNE 153010 per als subtítols, les pautes de llenguatge clar de l'organització) i quins errors són inacceptables; després es tria l'eina i es prova amb aquesta definició. Una classificació útil d'errors, vàlida per a alts, subtítols i simplificacions:

• Crític: canvia el sentit o la informació. Una xifra, un termini, un nom propi o una negació alterats; una dada inventada. Un sol error crític obliga a rebutjar la peça.
• Greu: falta informació necessària o el resultat indueix a confusió. Un gràfic descrit sense les seves dades, un parlant sense identificar, una excepció omesa.
• Lleu: estil, longitud, puntuació o segmentació millorables sense pèrdua d'informació. Es tolera per sota d'un llindar acordat.

Mesurar la qualitat dels subtítols i les transcripcions

La mètrica clàssica del reconeixement de la parla és la taxa d'error de paraula (WER, word error rate):

WER = (substitucions + eliminacions + insercions) / paraules de la transcripció de referència

Exemple: 200 paraules de referència, 6 substitucions, 2 eliminacions i 2 insercions
WER = (6 + 2 + 2) / 200 = 0,05  →  5 %

La seva limitació és que tots els errors pesen igual: confondre «el» amb «al» compta igual que convertir «quinze» en «cinquanta». Per això, en el subtitulatge en directe, també es fa servir el model NER, d'origen acadèmic, que pondera els errors d'edició i de reconeixement segons la seva gravetat i pren com a referència orientativa un 98 % de precisió. La idea que importa: ponderar els errors pel seu efecte en la comprensió.

En el vídeo enregistrat, revisa sempre amb el vídeo al davant, comprova una per una les xifres, dates, noms propis, sigles i negacions, i verifica els parlants, els sons, la segmentació i la sincronia segons la UNE 153010. Un subtítol amb un WER baix i un import equivocat no és acceptable.

Revisar el text alternatiu generat

Per a l'alt, la mètrica és una rúbrica que aplica l'editor amb la pàgina al davant, recolzant-se en l'arbre de decisió d'imatges del W3C:

Aspecte	Pregunta del revisor	Error crític o greu si…
Funció	Correspon a la funció de la imatge en aquesta pàgina?	Un enllaç o un botó descriu la imatge en lloc de la destinació o l'acció
Exactitud	Tot el que diu és a la imatge?	S'inventa persones, objectes, text o dades
Text a la imatge	Recull el text rellevant tal com és?	Omet o altera el text d'un cartell o una captura
Suficiència	Transmet el que obté qui veu la imatge?	Un gràfic es descriu sense el seu missatge ni les seves dades
Persones	Evita atribuir edat, gènere, origen o discapacitat sense necessitat?	Atribueix trets per estereotip
Concisió	És breu i va al gra?	Només lleu: s'escurça

Organitza la revisió per risc: el 100 % de les imatges de pàgines de tràmits, portada i continguts amb més trànsit; un mostreig a l'arxiu històric. Dos indicadors senzills et diran si l'eina compensa: el percentatge d'esborranys acceptats sense canvis i el percentatge amb errors crítics. Si aquest últim supera el llindar acordat, se n'atura l'ús fins a ajustar les instruccions o l'eina.

Comprovar la fidelitat d'una simplificació

Llegir la versió simplificada i veure que «sona bé» no serveix: cal comparar-la amb l'original. El mètode de les unitats crítiques ho fa sistemàtic. Abans de simplificar, extreu de l'original una llista amb qui ha d'actuar, què ha de fer, terminis, imports, requisits, documents, excepcions, conseqüències de no complir i vies de reclamació o recurs. Després comprova que cada unitat és a la versió simplificada i que no ha canviat. Els errors més habituals dels models de llenguatge són previsibles: «haurà de» es converteix en «pot», desapareixen les excepcions, «dies hàbils» passa a «dies», els imports s'arrodoneixen i apareixen telèfons o adreces inventats.

Les instruccions que es donen al model també formen part del control de qualitat. Desa-les, versiona-les i revisa-les com qualsevol altre document de l'organització:

Públic: persones adultes sense coneixements jurídics que llegeixen al mòbil.
Tasca: reescriu el text en llenguatge clar, en frases de menys de 20 paraules.
Regles:
- No canviïs terminis, imports, requisits, obligacions ni excepcions.
- Si l'original diu "dies hàbils", conserva-ho o substitueix-ho per una data que t'indico.
- No afegeixis dades que no siguin a l'original (telèfons, adreces, dates).
- Si una frase és ambigua, marca-la amb [REVISAR] en lloc d'interpretar-la.
Sortida: el text i, a part, la llista d'unitats crítiques que has conservat.

Governança: rols, registre i transparència

• Rols definits: qui configura l'eina i les seves instruccions, qui revisa (amb formació específica), qui valida amb el públic quan escau i qui respon davant d'una queixa (al sector públic, la unitat responsable d'accessibilitat del RD 1112/2018 (PDF, s'obre en una finestra nova)).
• Registre: eina i versió, data, persona revisora i errors trobats. Permet respondre a una queixa i detectar si la qualitat empitjora després d'una actualització del model.
• Alfabetització en IA: el Reglament (UE) 2024/1689 obliga des del 2 de febrer de 2025 (article 4) que proveïdors i responsables del desplegament procurin que el seu personal tingui un nivell suficient de coneixements sobre la IA que fa servir.
• Transparència: l'article 50 del mateix reglament estableix obligacions d'informació, com ara avisar les persones que interactuen amb un sistema d'IA. Per als textos generats que es publiquen amb la finalitat d'informar el públic sobre assumptes d'interès públic, preveu una excepció quan hi ha hagut revisió humana o control editorial i algú n'assumeix la responsabilitat editorial: un motiu més perquè la revisió sigui real i quedi documentada.
• Dades i accessibilitat de l'eina: minimitza les dades personals que envies, evita que es reutilitzin per entrenar models i comprova que l'eina és accessible per al personal amb discapacitat que la farà servir (capítol 11 de l'EN 301 549 (PDF, s'obre en una finestra nova) per al programari).

Contractar eines i serveis amb IA

El que vas veure al nivell 5 sobre contractació pública accessible s'aplica aquí amb algunes clàusules específiques:

1. Descriu el resultat exigit, no la tecnologia: «subtítols conformes amb 1.2.2 i la UNE 153010», no «subtitulatge automàtic».
2. Fixa un criteri d'acceptació mesurable: zero errors crítics en una mostra i un llindar d'errors lleus.
3. Exigeix que la revisió humana estigui inclosa en el preu i que s'identifiqui qui la fa i amb quina formació.
4. Regula el tractament de dades: contracte d'encàrrec del tractament (article 28 del RGPD), ubicació de les dades, prohibició de reutilitzar-les i esborrat.
5. Demana traçabilitat i informes periòdics de qualitat, i la correcció sense cost dels errors detectats.
6. No acceptis com a prova de conformitat un overlay ni un informe generat només de manera automàtica.

Resum

• Defineix la qualitat abans de triar l'eina: guia d'estil, classificació d'errors (crític, greu, lleu) i llindar d'acceptació.
• El WER mesura errors de reconeixement però els pesa tots igual; models com el NER ponderen per gravetat. Les xifres, els noms i les negacions es comproven sempre.
• L'alt generat es revisa amb una rúbrica de funció, exactitud, text, suficiència, persones i concisió; la revisió s'organitza per risc.
• La fidelitat d'una simplificació es comprova amb unitats crítiques, i les instruccions al model es documenten i es versionen.
• Governança i contractació: rols, registre, alfabetització i transparència del Reglament d'IA, clàusules de resultat, acceptació, revisió i dades.