Triar, configurar i documentar les eines: resultats reproduïbles

Un resultat automàtic només val com a evidència si una altra persona el pot repetir i obtenir el mateix. I una organització que contracta una plataforma de monitoratge només sap què compra si sap què ha de preguntar. Aquesta lliçó tanca el bloc d'eines amb tres tasques professionals: triar una eina amb criteris objectius, configurar-la per al nivell de conformitat de l'encàrrec i documentar cada execució perquè sigui reproduïble. També repassa per què canvien els resultats sense que canviï el lloc i quines precaucions de privadesa i seguretat exigeix una anàlisi amb sessió iniciada.

Criteris per triar una eina

El W3C manté una llista d'eines d'avaluació filtrable per normativa, tipus d'eina i llicència, i una guia per seleccionar-les. La llista l'alimenten els mateixos fabricants i el W3C no avala cap eina, així que fes-la servir com a punt de partida i aplica-hi aquests criteris:

La pàgina d'implementacions de les regles ACT mostra, per a cada eina i cada regla, si la seva implementació és consistent amb els casos de prova de la regla. És la dada més objectiva de què disposes per comparar motors.

Configurar l'eina per al nivell de l'encàrrec

Gairebé totes les eines permeten triar la norma de referència, i convé fer-ho de manera explícita en lloc de confiar en el valor per defecte. En les extensions (axe DevTools, IBM Equal Access) es tria a les seves opcions; a pa11y, amb les opcions standard i runners que vam veure a la lliçó de rastrejadors (comprova quines etiquetes d'axe activa cada valor de standard a la teva versió, perquè pot no incloure les de les WCAG 2.2). A axe-core, quan l'executes per script, la selecció es fa per etiquetes:

const resultados = await axe.run(document, {
  runOnly: {
    type: 'tag',
    values: ['wcag2a', 'wcag2aa', 'wcag21a', 'wcag21aa', 'wcag22aa']
  },
  resultTypes: ['violations', 'incomplete']
});

// Dades per a la fitxa d'execució
console.log(resultados.testEngine.version, resultados.timestamp, resultados.url);

Tres detalls que causen errors sovint:

• Les etiquetes no són acumulatives. wcag22aa només inclou les regles dels criteris afegits a les WCAG 2.2 de nivell AA. Per avaluar les WCAG 2.2 AA completes cal indicar les cinc etiquetes de l'exemple.
• Les bones pràctiques van a part. L'etiqueta best-practice es pot afegir, però els seus resultats han d'anar a una altra secció de l'informe.
• Les regles experimentals estan desactivades per defecte. Si n'actives alguna, com label-content-name-mismatch, indica-ho i verifica cada resultat amb especial cura.

Desactivar una regla és legítim en un únic cas: quan el seu objecte queda fora de l'abast acordat (per exemple, un giny d'un tercer exclòs expressament) i així es documenta. Desactivar-la per «netejar» l'informe és manipular l'evidència.

La fitxa d'execució: resultats reproduïbles

WCAG-EM (s'obre en una finestra nova) demana documentar com s'ha fet l'avaluació, incloses les eines i els mètodes utilitzats. A la pràctica, cada execució automàtica que aporti evidències a l'informe ha de tenir la seva fitxa:

• Eina, versió de l'extensió o del paquet i versió del motor (per exemple, la d'axe-core, que és la que determina les regles).
• Navegador i versió, sistema operatiu, mida de finestra o dispositiu emulat i nivell de zoom.
• Configuració: norma o etiquetes, regles activades o desactivades i per què, inclusió de bones pràctiques.
• URL exacte i estat analitzat («formulari de sol·licitud amb errors després de prémer Enviar buit», «menú desplegat a 320 px»).
• Data i hora, compte de prova utilitzat i persona que l'ha executat.
• Nom del fitxer amb la sortida en brut (JSON o CSV) i de les captures associades.

Per què canvien els resultats sense que canviï el lloc

En comparar dues auditories o dos mesos de monitoratge, una variació de les xifres no vol dir necessàriament que el lloc hagi millorat o empitjorat. Causes freqüents:

• Nova versió del motor: regles noves, regles retirades, llindars ajustats o criteris reetiquetats.
• Configuració diferent: bones pràctiques incloses en una anàlisi i no en l'altra, una altra norma de referència.
• Entorn diferent: un altre navegador, una altra mida de finestra, bàner de galetes acceptat o no, sessió iniciada o no.
• Contingut canviant: notícies, agenda, anuncis, proves A/B o contingut diferent segons l'hora o l'idioma del navegador.

Privadesa, seguretat i respecte al sistema del client

• Comptes de prova, mai dades reals. Demana al client usuaris de prova i, si és possible, un entorn de preproducció. Moltes seus electròniques s'identifiquen amb Cl@ve o certificat digital, i mai no s'han d'automatitzar amb la identitat real d'una persona.
• Compte amb les accions que tenen efectes. Un rastrejador que prem «Enviar» a la seu electrònica pot generar assentaments al registre, expedients o pagaments. Acorda per escrit quins formularis es poden enviar i on.
• Credencials fora dels fitxers de configuració. Fes servir variables d'entorn o el gestor de secrets del sistema d'integració contínua, mai el fitxer JSON versionat.
• Plataformes al núvol. Si guarden l'HTML o captures de zones privades, tracten dades personals per compte del client: cal un contracte d'encarregat del tractament d'acord amb l'article 28 del RGPD i convé saber on s'allotgen les dades.
• Càrrega del servidor. Limita la concurrència, programa els rastrejos en hores de poca activitat i avisa sistemes perquè el tallafoc no bloquegi el rastrejador.

Resum

• Tria eines per motor i regles publicades, implementació ACT, normativa, estats i sessió, separació de resultats, exportació, privadesa i manteniment.
• Configura explícitament la norma: a axe-core les etiquetes no són acumulatives i les bones pràctiques i les regles experimentals van a part.
• Cada execució que aporti evidències necessita una fitxa amb versions, entorn, configuració, estat analitzat i sortida en brut.
• Les xifres canvien per versió, configuració, entorn o contingut; sense fitxes no es pot saber si el lloc ha millorat.
• Fes servir comptes de prova, controla les accions amb efectes, protegeix les credencials i compleix el RGPD amb les plataformes al núvol.