Evaluar la muestra y consolidar resultados: veredictos, agregación y comparación

El paso 4 de WCAG-EM (se abre en una ventana nueva) es donde se concentra la mayor parte de las horas de una auditoría. La lección «Los cinco pasos» lo resumió en tres subpasos (evaluar cada página, evaluar los procesos completos y comparar con la muestra aleatoria), y la lección «Alcance de conformidad» explicó qué reglas condicionan el veredicto. Aquí vemos el oficio: cómo evaluar de forma sistemática y coherente, qué resultados registrar, cómo agregarlos desde el caso concreto hasta el sitio y qué se puede afirmar al final sin prometer más de lo evaluado.

La unidad de evaluación: criterio por página y por estado

El resultado elemental de una auditoría WCAG-EM es el veredicto de un criterio en una página o estado concretos: «2.4.3 Orden del foco en /cita-previa, estado "calendario abierto": no cumple». Todo lo demás se construye a partir de esos veredictos. Para obtenerlos de forma ordenada:

1. Evalúa primero los componentes globales (cabecera, menú, pie, banner de cookies, chat) una sola vez y con todo el detalle. Registra sus resultados como «componente global» y referéncialos en cada página donde aparezcan.
2. En cada página, recorre los criterios del nivel objetivo en un orden fijo: el de las WCAG o agrupados por tipo de prueba (automática, teclado, lector de pantalla, visual). Evalúa también cada estado enumerado en la muestra.
3. Comprueba que el componente global se comporta igual en cada página: un menú con un submenú distinto o un pie con un formulario añadido ya no es el mismo componente.
4. Recorre los procesos de principio a fin con la combinación principal y, al menos, con una combinación móvil, anotando el paso exacto en el que algo falla.

Trabajar así evita dos defectos clásicos: evaluar el mismo menú 25 veces con resultados ligeramente distintos y, en el otro extremo, dar por buena una página porque «tiene la misma plantilla» sin mirar su contenido particular.

Resultados posibles y cómo cuentan

«Cumple» y «no cumple» no bastan. El lenguaje de informes de evaluación del W3C, EARL (Evaluation and Report Language), define cinco resultados, y la WCAG-EM Report Tool usa una escala equivalente. Conviene adoptarlos tal cual:

Coherencia: que dos auditores lleguen al mismo resultado

El objetivo de WCAG-EM es la reproducibilidad, y el punto débil de cualquier evaluación manual es la interpretación. Tres recursos la reducen:

• Los documentos Understanding y las técnicas de las WCAG. Recuerda su lógica: las técnicas suficientes son una forma de cumplir, pero no la única; los fallos documentados (identificados con F y un número, como F65, que recoge la omisión del atributo alt o de alternativa textual en imágenes) describen situaciones que siempre incumplen. Si observas un fallo documentado, el veredicto es «no cumple» sin debate; si el autor usa una técnica distinta de las suficientes, tienes que razonar si satisface el criterio y dejarlo escrito.
• Las reglas ACT. El formato de reglas ACT (Accessibility Conformance Testing), recomendación del W3C desde 2019, describe pruebas con su aplicabilidad, sus expectativas, sus supuestos y ejemplos de casos que pasan, fallan o no aplican. El W3C mantiene un repositorio de reglas ACT revisadas. Usarlas, o redactar procedimientos internos con la misma estructura para los criterios más discutidos, hace que todo el equipo aplique la misma prueba.
• Calibración y revisión. Como verás en «Planificar una auditoría», se evalúan juntas dos páginas al inicio y un revisor que no ha evaluado repasa el resultado. Añade una regla sencilla: cuando haya duda, se registra «no se puede determinar» con la duda explícita y se resuelve en común, no a criterio individual.

De los veredictos al sitio: la agregación

Una vez evaluada la muestra, los resultados se agregan por niveles, y en cada nivel manda el peor resultado:

• Criterio en una página: basta un caso que falle para que el criterio no se cumpla en esa página, aunque otros veinte casos cumplan.
• Página o estado: es conforme si todos los criterios del nivel objetivo se cumplen o no aplican, incluido el contenido incrustado.
• Proceso: es conforme si lo son todas sus páginas y estados.
• Criterio en el sitio: para cada criterio, cuenta en cuántas páginas de la muestra falla. Ese dato no cambia el veredicto, pero indica si el problema es puntual o sistémico (de una plantilla o de un componente) y alimenta la priorización que estudiarás en el curso N4-C6.
• Sitio: la conclusión se formula sobre la muestra y se extiende al sitio con la confianza que da una muestra bien construida y contrastada con la aleatoria.

Comparar con la muestra aleatoria (paso 4.c)

Comparar no es contar fallos, sino buscar novedades. Para cada página aleatoria hazte tres preguntas: ¿falla aquí algún criterio que no fallara en ninguna página estructurada? ¿Aparece un tipo de fallo nuevo en un criterio ya fallido (por ejemplo, 1.1.1 Contenido no textual por gráficos sin alternativa, cuando antes solo fallaba por iconos)? ¿Aparece una plantilla, un componente o una tecnología que no estaban en el inventario?

Si la respuesta a cualquiera es sí, amplía la muestra estructurada con páginas de ese tipo, evalúalas y documenta la ampliación. Si las tres respuestas son no, anótalo también: «la muestra aleatoria (3 páginas) no reveló tipos de problema nuevos». Esa frase es la que da solidez a la conclusión sobre el sitio.

Qué se puede afirmar al final

El paso 5 recoge los resultados, y tres de sus subpasos son opcionales. Conviene conocerlos bien para no prometer más de lo que la evaluación sostiene:

• Declaración de evaluación (5.c). Resume el resultado para el sitio dentro del alcance definido, con fecha, nivel, línea base y muestra. WCAG-EM solo la admite cuando se cumplen todos los requisitos no opcionales de la metodología, todas las páginas y estados evaluados alcanzan el nivel objetivo (o la falta de conformidad se debe solo a contenido de terceros o a idiomas sin compatibilidad) y el propietario se compromete a mantenerla exacta. No equivale a una declaración de conformidad de las WCAG, que las pautas definen sobre páginas concretas, así que se redacta con precisión: «según la evaluación realizada entre el 3 y el 14 de marzo sobre una muestra de 27 páginas y 3 procesos completos…».
• Puntuación agregada (5.d). WCAG-EM no impone ningún método de puntuación y advierte de que una cifra puede dar una imagen engañosa. Si el cliente la pide, explica cómo se calcula y acompáñala siempre del detalle por criterio.
• Informe legible por máquina (5.e). Normalmente en EARL, permite importar los resultados en otras herramientas y comparar auditorías sucesivas del mismo sitio.

Un resultado en EARL, expresado en JSON-LD y simplificado, tiene este aspecto:

{
  "@type": "Assertion",
  "subject": "https://sede.ejemplo.es/cita-previa (calendario abierto)",
  "test": "WCAG22:focus-order",
  "result": {
    "outcome": "earl:failed",
    "description": "Al abrir el calendario, el foco salta al pie de la página"
  }
}

Resumen

• La unidad de evaluación es el criterio en una página o estado; evalúa primero los componentes globales y recorre los procesos de principio a fin.
• Usa cinco resultados: cumple, no cumple, no se puede determinar, no aplica y no comprobado; nunca marques «cumple» lo que no has comprobado.
• Los fallos documentados, las reglas ACT, la calibración y la revisión hacen que la evaluación sea reproducible.
• Al agregar manda el peor resultado; contar en cuántas páginas falla cada criterio distingue los problemas sistémicos de los puntuales.
• La declaración de evaluación, la puntuación y el informe EARL son opcionales y deben describir con precisión el alcance y la muestra.