Elegir, configurar y documentar las herramientas: resultados reproducibles

Un resultado automático solo vale como evidencia si otra persona puede repetirlo y obtener lo mismo. Y una organización que contrata una plataforma de monitorización solo sabe qué compra si sabe qué preguntar. Esta lección cierra el bloque de herramientas con tres tareas profesionales: elegir una herramienta con criterios objetivos, configurarla para el nivel de conformidad del encargo y documentar cada ejecución para que sea reproducible. También repasa por qué cambian los resultados sin que cambie el sitio y qué precauciones de privacidad y seguridad exige un análisis con sesión iniciada.

Criterios para elegir una herramienta

El W3C mantiene una lista de herramientas de evaluación filtrable por normativa, tipo de herramienta y licencia, y una guía para seleccionarlas. La lista la alimentan los propios fabricantes y el W3C no avala ninguna herramienta, así que úsala como punto de partida y aplica estos criterios:

La página de implementaciones de las reglas ACT muestra, para cada herramienta y cada regla, si su implementación es consistente con los casos de prueba de la regla. Es el dato más objetivo del que dispones para comparar motores.

Configurar la herramienta para el nivel del encargo

Casi todas las herramientas permiten elegir la norma de referencia, y conviene hacerlo de forma explícita en lugar de confiar en el valor por defecto. En las extensiones (axe DevTools, IBM Equal Access) se elige en sus opciones; en pa11y, con las opciones standard y runners que vimos en la lección de rastreadores (comprueba qué etiquetas de axe activa cada valor de standard en tu versión, porque puede no incluir las de WCAG 2.2). En axe-core, cuando lo ejecutas por script, la selección se hace por etiquetas:

const resultados = await axe.run(document, {
  runOnly: {
    type: 'tag',
    values: ['wcag2a', 'wcag2aa', 'wcag21a', 'wcag21aa', 'wcag22aa']
  },
  resultTypes: ['violations', 'incomplete']
});

// Datos para la ficha de ejecución
console.log(resultados.testEngine.version, resultados.timestamp, resultados.url);

Tres detalles que causan errores a menudo:

• Las etiquetas no son acumulativas. wcag22aa solo incluye las reglas de los criterios añadidos en WCAG 2.2 de nivel AA. Para evaluar WCAG 2.2 AA completo hay que indicar las cinco etiquetas del ejemplo.
• Las buenas prácticas van aparte. La etiqueta best-practice se puede añadir, pero sus resultados deben ir a otra sección del informe.
• Las reglas experimentales están desactivadas por defecto. Si activas alguna, como label-content-name-mismatch, indícalo y verifica cada resultado con especial cuidado.

Desactivar una regla es legítimo en un único caso: cuando su objeto queda fuera del alcance acordado (por ejemplo, un widget de un tercero excluido expresamente) y así se documenta. Desactivarla para «limpiar» el informe es manipular la evidencia.

La ficha de ejecución: resultados reproducibles

WCAG-EM (se abre en una ventana nueva) pide documentar cómo se ha hecho la evaluación, incluidas las herramientas y los métodos usados. En la práctica, cada ejecución automática que aporte evidencias al informe debe tener su ficha:

• Herramienta, versión de la extensión o del paquete y versión del motor (por ejemplo, la de axe-core, que es la que determina las reglas).
• Navegador y versión, sistema operativo, tamaño de ventana o dispositivo emulado y nivel de zoom.
• Configuración: norma o etiquetas, reglas activadas o desactivadas y por qué, inclusión de buenas prácticas.
• URL exacta y estado analizado («formulario de solicitud con errores tras pulsar Enviar vacío», «menú desplegado a 320 px»).
• Fecha y hora, cuenta de prueba utilizada y persona que lo ejecutó.
• Nombre del fichero con la salida en bruto (JSON o CSV) y de las capturas asociadas.

Por qué cambian los resultados sin que cambie el sitio

Al comparar dos auditorías o dos meses de monitorización, una variación de las cifras no significa necesariamente que el sitio haya mejorado o empeorado. Causas frecuentes:

• Nueva versión del motor: reglas nuevas, reglas retiradas, umbrales ajustados o criterios reetiquetados.
• Configuración distinta: buenas prácticas incluidas en un análisis y no en el otro, otra norma de referencia.
• Entorno distinto: otro navegador, otro tamaño de ventana, banner de cookies aceptado o no, sesión iniciada o no.
• Contenido cambiante: noticias, agenda, anuncios, pruebas A/B o contenido distinto según la hora o el idioma del navegador.

Privacidad, seguridad y respeto al sistema del cliente

• Cuentas de prueba, nunca datos reales. Pide al cliente usuarios de prueba y, si es posible, un entorno de preproducción. Muchas sedes electrónicas se identifican con Cl@ve o certificado digital, y nunca deben automatizarse con la identidad real de una persona.
• Cuidado con las acciones que tienen efectos. Un rastreador que pulsa «Enviar» en la sede electrónica puede generar asientos en el registro, expedientes o pagos. Acuerda por escrito qué formularios se pueden enviar y dónde.
• Credenciales fuera de los ficheros de configuración. Usa variables de entorno o el gestor de secretos del sistema de integración continua, nunca el fichero JSON versionado.
• Plataformas en la nube. Si guardan el HTML o capturas de zonas privadas, tratan datos personales por cuenta del cliente: hace falta un contrato de encargado del tratamiento conforme al artículo 28 del RGPD y conviene saber dónde se alojan los datos.
• Carga del servidor. Limita la concurrencia, programa los rastreos en horas de poca actividad y avisa a sistemas para que el cortafuegos no bloquee el rastreador.

Resumen

• Elige herramientas por motor y reglas publicadas, implementación ACT, normativa, estados y sesión, separación de resultados, exportación, privacidad y mantenimiento.
• Configura explícitamente la norma: en axe-core las etiquetas no son acumulativas y las buenas prácticas y reglas experimentales van aparte.
• Cada ejecución que aporte evidencias necesita una ficha con versiones, entorno, configuración, estado analizado y salida en bruto.
• Las cifras cambian por versión, configuración, entorno o contenido; sin fichas no se puede saber si el sitio ha mejorado.
• Usa cuentas de prueba, controla las acciones con efectos, protege las credenciales y cumple el RGPD con las plataformas en la nube.