Avaluar la mostra i consolidar els resultats: veredictes, agregació i comparació

El pas 4 de WCAG-EM (s'obre en una finestra nova) és on es concentra la major part de les hores d'una auditoria. La lliçó «Els cinc passos» el va resumir en tres subpassos (avaluar cada pàgina, avaluar els processos complets i comparar amb la mostra aleatòria), i la lliçó «Abast de la conformitat» va explicar quines regles condicionen el veredicte. Aquí veiem l'ofici: com avaluar de manera sistemàtica i coherent, quins resultats cal registrar, com agregar-los des del cas concret fins al lloc i què es pot afirmar al final sense prometre més del que s'ha avaluat.

La unitat d'avaluació: criteri per pàgina i per estat

El resultat elemental d'una auditoria WCAG-EM és el veredicte d'un criteri en una pàgina o un estat concrets: «2.4.3 Ordre del focus a /cita-previa, estat "calendari obert": no compleix». Tota la resta es construeix a partir d'aquests veredictes. Per obtenir-los de manera ordenada:

1. Avalua primer els components globals (capçalera, menú, peu, bàner de galetes, xat) una sola vegada i amb tot el detall. Registra'n els resultats com a «component global» i referencia'ls en cada pàgina on apareguin.
2. En cada pàgina, recorre els criteris del nivell objectiu en un ordre fix: el de les WCAG o agrupats per tipus de prova (automàtica, teclat, lector de pantalla, visual). Avalua també cada estat enumerat a la mostra.
3. Comprova que el component global es comporta igual en cada pàgina: un menú amb un submenú diferent o un peu amb un formulari afegit ja no és el mateix component.
4. Recorre els processos de principi a fi amb la combinació principal i, com a mínim, amb una combinació mòbil, anotant el pas exacte en què alguna cosa falla.

Treballar així evita dos defectes clàssics: avaluar el mateix menú 25 vegades amb resultats lleugerament diferents i, a l'altre extrem, donar per bona una pàgina perquè «té la mateixa plantilla» sense mirar-ne el contingut particular.

Resultats possibles i com compten

«Compleix» i «no compleix» no n'hi ha prou. El llenguatge d'informes d'avaluació del W3C, EARL (Evaluation and Report Language), defineix cinc resultats, i la WCAG-EM Report Tool fa servir una escala equivalent. Convé adoptar-los tal com són:

Coherència: que dos auditors arribin al mateix resultat

L'objectiu de WCAG-EM és la reproductibilitat, i el punt feble de qualsevol avaluació manual és la interpretació. Tres recursos la redueixen:

• Els documents Understanding i les tècniques de les WCAG. Recorda'n la lògica: les tècniques suficients són una manera de complir, però no l'única; els errors documentats (identificats amb una F i un número, com l'F65, que recull l'omissió de l'atribut alt o d'una alternativa textual en imatges) descriuen situacions que sempre incompleixen. Si observes un error documentat, el veredicte és «no compleix» sense debat; si l'autor fa servir una tècnica diferent de les suficients, has de raonar si satisfà el criteri i deixar-ho escrit.
• Les regles ACT. El format de regles ACT (Accessibility Conformance Testing), recomanació del W3C des del 2019, descriu proves amb la seva aplicabilitat, les seves expectatives, els seus supòsits i exemples de casos que passen, fallen o no són aplicables. El W3C manté un repositori de regles ACT revisades. Fer-les servir, o redactar procediments interns amb la mateixa estructura per als criteris més discutits, fa que tot l'equip apliqui la mateixa prova.
• Calibratge i revisió. Com veuràs a «Planificar una auditoria», s'avaluen juntes dues pàgines al principi i un revisor que no ha avaluat repassa el resultat. Afegeix-hi una regla senzilla: quan hi hagi dubte, es registra «no es pot determinar» amb el dubte explícit i es resol en comú, no a criteri individual.

Dels veredictes al lloc: l'agregació

Un cop avaluada la mostra, els resultats s'agreguen per nivells, i en cada nivell mana el pitjor resultat:

• Criteri en una pàgina: n'hi ha prou que un cas falli perquè el criteri no es compleixi en aquella pàgina, encara que vint casos més compleixin.
• Pàgina o estat: és conforme si tots els criteris del nivell objectiu es compleixen o no són aplicables, inclòs el contingut incrustat.
• Procés: és conforme si ho són totes les seves pàgines i tots els seus estats.
• Criteri en el lloc: per a cada criteri, compta en quantes pàgines de la mostra falla. Aquesta dada no canvia el veredicte, però indica si el problema és puntual o sistèmic (d'una plantilla o d'un component) i alimenta la priorització que estudiaràs en el curs N4-C6.
• Lloc: la conclusió es formula sobre la mostra i s'estén al lloc amb la confiança que dona una mostra ben construïda i contrastada amb l'aleatòria.

Comparar amb la mostra aleatòria (pas 4.c)

Comparar no és comptar errors, sinó buscar novetats. Per a cada pàgina aleatòria fes-te tres preguntes: falla aquí algun criteri que no fallés en cap pàgina estructurada? Apareix un tipus d'error nou en un criteri ja incomplert (per exemple, l'1.1.1 Contingut no textual per gràfics sense alternativa, quan abans només fallava per icones)? Apareix una plantilla, un component o una tecnologia que no eren a l'inventari?

Si la resposta a qualsevol és sí, amplia la mostra estructurada amb pàgines d'aquell tipus, avalua-les i documenta l'ampliació. Si les tres respostes són no, anota-ho també: «la mostra aleatòria (3 pàgines) no va revelar tipus de problema nous». Aquesta frase és la que dona solidesa a la conclusió sobre el lloc.

Què es pot afirmar al final

El pas 5 recull els resultats, i tres dels seus subpassos són opcionals. Convé conèixer-los bé per no prometre més del que l'avaluació sosté:

• Declaració d'avaluació (5.c). Resumeix el resultat per al lloc dins de l'abast definit, amb data, nivell, línia de base i mostra. WCAG-EM només l'admet quan es compleixen tots els requisits no opcionals de la metodologia, totes les pàgines i tots els estats avaluats arriben al nivell objectiu (o la falta de conformitat es deu només a contingut de tercers o a idiomes sense compatibilitat) i el propietari es compromet a mantenir-la exacta. No equival a una declaració de conformitat de les WCAG, que les pautes defineixen sobre pàgines concretes, així que es redacta amb precisió: «segons l'avaluació feta entre el 3 i el 14 de març sobre una mostra de 27 pàgines i 3 processos complets…».
• Puntuació agregada (5.d). WCAG-EM no imposa cap mètode de puntuació i adverteix que una xifra pot donar una imatge enganyosa. Si el client la demana, explica com es calcula i acompanya-la sempre del detall per criteri.
• Informe llegible per màquina (5.e). Normalment en EARL, permet importar els resultats en altres eines i comparar auditories successives del mateix lloc.

Un resultat en EARL, expressat en JSON-LD i simplificat, té aquest aspecte:

{
  "@type": "Assertion",
  "subject": "https://sede.ejemplo.es/cita-previa (calendari obert)",
  "test": "WCAG22:focus-order",
  "result": {
    "outcome": "earl:failed",
    "description": "En obrir el calendari, el focus salta al peu de la pàgina"
  }
}

Resum

• La unitat d'avaluació és el criteri en una pàgina o un estat; avalua primer els components globals i recorre els processos de principi a fi.
• Fes servir cinc resultats: compleix, no compleix, no es pot determinar, no aplicable i no comprovat; no marquis mai «compleix» el que no has comprovat.
• Els errors documentats, les regles ACT, el calibratge i la revisió fan que l'avaluació sigui reproduïble.
• En agregar mana el pitjor resultat; comptar en quantes pàgines falla cada criteri distingeix els problemes sistèmics dels puntuals.
• La declaració d'avaluació, la puntuació i l'informe EARL són opcionals i han de descriure amb precisió l'abast i la mostra.