WCAG-EM Report Tool. Herramienta de generación de informes de una evaluación de accesibilidad

Nota 2021: el PAE ha publicado la versión en español y adaptada a las WCAG 2.1 IRA

El objetivo de este artículo es describir la herramienta del W3C WCAG-EM Report Tool que:

ayuda a aplicar la metodología del W3C/WAI WCAG-EM (Website Accessibility Conformance Evaluation Methodology) de evaluación de accesibilidad de un sitio web de acuerdo a las WCAG 2.0;
genera el informe de la evaluación de accesibilidad a partir de los datos introducidos.

Índice

WCAG-EM (Website Accessibility Conformance Evaluation Methodology)

Visión general de la WCAG-EM Report Tool
Inclusión de datos para la generación del informe
Informe generado
Mejoras que me gustaría proponer
Herramienta de ayuda para la realización del informe de una consultoría de accesibilidad de acuerdo a las WCAG 2.0 (versión 3.1 - 2016)
Enlaces de interés

WCAG-EM (Website Accessibility Conformance Evaluation Methodology)

En el artículo Metodología de Evaluación de Conformidad con la Accesibilidad en sitios Web (WCAG-EM) os explicaba en detalle la metodología del W3C/WAI para la evaluación de un sitio web de acuerdo a las WCAG 2.0

En ella se describe un método fiable para determinar de forma global el nivel de accesibilidad de un sitio web completo. En el documento se especifican las buenas prácticas y los pasos concretos para definir el alcance de la evaluación, explorar el sitio, seleccionar una muestra representativa cuando no es factible evaluar todo el sitio, auditar la muestra seleccionada y reportar los resultados de la evaluación mediante informes estructurados y uniformes.

Los pasos del procedimiento de evaluación, como detallaba en ese artículo, son 5:

Step 1:Define the evaluation scope; Step 2. Explore the target website; Step 3: Select a representative sample; Step 4: Audit the selected sample; Step 5: Report the finding

Algunos de los pasos pueden solaparse o llevarse a cabo en paralelo, pero es importante que se tengan en cuenta todos ellos para garantizar una evaluación fiable así como documentar claramente cada paso.

Para comprender mejor la herramienta WCAG-EM Report Tool y utilizarla correctamente, os recomiendo que os familiaricéis primero con la metodología WCAG-EM.

Visión general de la WCAG-EM Report Tool

La WCAG-EM Report Tool es una herramienta online y gratuita.

Esta herramienta no realiza ninguna evaluación automática de accesibilidad, sino que nos guía en la aplicación de la metodología WCAG-EM, nos permite introducir todos los datos y nos genera el informe en base a los datos introducidos.

Página de inicio de la herramienta online WCAG-EM Report Tool. Se describe a continuación

Pantalla de inicio de WCAG-EM Report Tool

En la parte superior tenemos cuatro opciones de menú:

New Report: crea un nuevo informe.
Open: abre un informe guardado previamente con la opción "Save", recuperando así todos los datos introducidos en los campos de los diferentes pasos.
Save: aunque los datos que se van introduciendo en cada paso se guardan, si cierras la ventana del navegador los habrás perdido. Esta opción permite guardarlos localmente en tu equipo (mediante un fichero JSON) que puedes recuperar posteriormente con la opción "Open".
Key Resources: incluye enlaces a los documentos WCAG 2.0, WCAG-EM y How to Meet WCAG 2.0 Quick Reference.

A continuación tenemos un menú con 7 elementos en forma de pasos. Recorreremos cada uno de ellos para introducir los datos que se nos solicitan y de esta manera obtener el informe en el último paso.

Aunque la navegación está ideada para que sea secuencial, no es restrictiva, en cualquier momento puedes avanzar o retroceder a cualquiera de los pasos, bien a través del menú, bien a través de los botones inferiores "Next step" o "Previous step".

Las siete opciones del menú secuencial son:

Start: ofrece información general sobre la herramienta y cómo utilizarla.
1. Define Scope: se corresponde con el primer paso de la metodología WCAG-EM Step 1: Define the Evaluation Scope. En la metodología este paso se divide en cuatro subpasos y su objetivo es definir el alcance de la evaluación, el nivel de adecuación deseado (A, AA, AAA), el soporte de la accesibilidad (navegadores y productos de apoyo que debe soportar) y los requisitos de evaluación adicionales.
2. Explore Website: se corresponde con el segundo paso de la metodología WCAG-EM Step 2: Explore the Target Website. En la metodología se divide en cinco subpasos y el objetivo es que el evaluador explore el sitio para comprender mejor su uso, propósito y funcionalidad. Como resultado, debe identificar las páginas y funcionalidades relevantes, los diferentes tipos de páginas o tecnologías de las que se depende. Esta información servirá después para seleccionar la muestra de páginas a analizar.
3. Select Sample: se corresponde con el tercer paso de la metodología WCAG-EM Step 3: Select a Representative Sample. En él se selecciona una muestra de páginas a analizar, en base a los datos recabados en el paso anterior, que nos asegure que los resultados de la evaluación reflejarán la accesibilidad de todo el sitio con suficiente fiabilidad. Se seleccionan también páginas al azar como muestra de control.
4. Audit Sample: se corresponde con el cuarto paso de la metodología WCAG-EM Step 4: Audit the Selected Sample. En este paso es donde se realiza la evaluación de la muestra de acuerdo a las WCAG 2.0 y el nivel de adecuación definido (A, AA, AAA). Por cada uno de los criterios de conformidad podremos indicar si la muestra en su conjunto (o cada una de las páginas individualmente) los cumple o no e incluir comentarios.
5. Report Findings: se corresponde con el quinto paso de la metodología WCAG-EM Step 5: Report the Evaluation Findings. En la metodología se divide en cinco subpasos. El primero define la información que se debe incluir obligatoriamente en el informe. En los otros cuatro subpasos se indica otra información que se puede ofrecer opcionalmente. La herramienta permite introducir en este paso datos generales (el nombre del evaluador, la fecha de la evaluación, etc.), redactar un resumen ejecutivo o incluir otra información adicional (herramientas de evaluación y navegadores y productos de apoyo utilizados, etc.)
View Report: aquí podremos ver el informe generado y descargar el HTML y/o la CSS del informe, o grabarlo como fichero JSON.

Inclusión de datos para la generación del informe

Para la generación completa del informe en el último paso ("View Report") debemos rellenar los campos de cada una de las páginas precedentes, que como hemos visto se corresponden con cada uno de los pasos definidos en la metodología WCAG-EM.

Cada página (cada paso) es un formulario que nos solicita datos basados en los subpasos descritos en la metodología.

Pantalla del paso 2.Explore Website. Es un formulario con los campos rellenos y la ayuda de un campo desplegada.

Pantalla del paso "2. Explore Website" de WCAG-EM Report Tool

Para rellenarlos correctamente hay que estar familiarizado con la metodología, que nos dirá no solo qué información recabar sino también cómo. A modo de ayuda, cada campo tiene un icono que despliega información adicional, pero que en última instancia remite a cada paso y subpaso concreto de la WCAG-EM.

Como he avanzado antes, en el paso 4 podemos ir introduciendo los resultados de nuestra evaluación de la muestra de acuerdo a las WCAG 2.0.

Pantalla del paso 4. Audit Sample de la herramienta. En el lateral izquierdo se pueden seleccionar las páginas de la muestra para evaluarlas individualmente. En la zona central hay un listado de los criterios de conformidad. Cada uno tiene un desplegable para indicar si lo cumplen o no (la muestra o cada página) y campos de texto para incluir observaciones.

Pantalla del paso "4. Audit Sample" de WCAG-EM Report Tool

En esta página se muestran los criterios de conformidad de las WCAG 2.0 del nivel de conformidad (A, AA, AAA) que has indicado que quieres evaluar.

Por cada uno puedes indicar si la muestra completa cumple o no cumple este criterio (también puedes indicar: no chequeada, no presente, no sé), o bien indicarlo individualmente por cada una de las páginas de la muestra (para ello debes seleccionar en el menú izquierdo qué páginas de la muestra quieres evaluar individualmente).

También puedes añadir observaciones, por ejemplo podrías querer añadir la descripción de los errores, posibles soluciones, técnicas que se aplican, aunque para ello solo tenemos un textarea (por criterio y página) y no podemos adjuntar imágenes.

Un criterio de conformidad lo has podido evaluar manualmente o con alguna herramienta, pero la WCAG-EM Report Tool no hace ninguna evaluación automática de los mismos, solo sirve para recoger los resultados.

La metodología indica (subpaso 4a) que si no hay contenido relacionado con el criterio de conformidad (por ejemplo, no hay vídeo), entonces el criterio se indicará como satisfecho ("passed"). Pero que opcionalmente se puede optar por indicar que estos criterios son "no presente" ("not present").

Al final, lo importante es ser consistente en la manera de reflejar los resultados.

También indica que el contenido de las páginas o estados de páginas que tienen versiones alternativas se evalúan juntas (la página y la versión alternativa) como una unidad.

Informe generado

El informe generado, como he indicado, se encuentra en el último paso "View Report". Está en inglés pero podemos descargarlo para personalizarlo y traducirlo.

En primer lugar incluye los datos generales y el resumen ejecutivo.

Pantalla del último paso de la herramienta que contiene el informe. Tras los enlaces de descarga, comienza el informe con los datos generales y el resumen ejecutivo.

Pantalla del paso "View Report" de WCAG-EM Report Tool. Datos generales y resumen ejecutivo

A continuación incluye una tabla resumen del número de criterios cumplidos, no cumplidos o no presentes, por cada uno de los cuatro principios de accesibilidad (sería muy útil que se desglosará también por nivel A, AA, AAA). Después se inserta el detalle de la evaluación, es decir, los datos introducidos en el paso 4.

Pantalla del último paso de la herramienta que contiene el informe. Se incluye una tabla con el número de criterios cumplidos o no por principio y el detalle de la evaluación introducida en el paso 4.

Pantalla del paso "View Report" de WCAG-EM Report Tool. Resumen de los resultados y resultados detallados.

Al final del informe se incluye la relación de páginas auditadas y enlaces a las WCAG y la metodología WCAG-EM.

Mejoras que me gustaría proponer

Ayuda asociada a cada criterio de conformidad (paso 4)

Se entiende que la herramienta será utilizada por personas expertas en las WCAG 2.0, por eso no se incluye información adicional sobre cada criterio, solo su nombre. Sin embargo sería interesante que cada criterio tuviera, al igual que los campos en los pasos anteriores, un icono de ayuda que mostrara la descripción completa del criterio, el enlace al mismo y las recomendaciones (por ejemplo como en Interactive WCAG 2.0)

Mejorar la inclusión de observaciones asociadas a cada criterio

Para un análisis preliminar o para presentar un resumen ejecutivo, puede servir un informe sencillo como el que genera la herramienta, pero cuando el informe es para el equipo de desarrollo tienes que detallar qué significa cada criterio, cómo lo evalúas, poner ejemplos concretos de los errores con pantallazos y describir las soluciones. Como hemos visto, solo contamos con un textarea, que en este caso se quedaría escaso.

Según el tipo de informe que se quiera generar podría mejorarse la inclusión de observaciones, por ejemplo seleccionando que quieres incluir un problema, una solución, poder añadir un pantallazo, etc.

Más información en la tabla resumen del informe

La tabla resumen es de la muestra en su conjunto, no se puede desglosar por niveles, páginas o criterios de conformidad.

Sería muy útil que generara tablas resumen, estadísticas y gráficas de cumplimiento e incumplimiento más detalladas para incluir en el informe y en su presentación.

Ayuda en la comparación con la muestra de control

En el paso 4c de la metodología (y en el texto introductorio del paso 4 de la herramienta) se indica que se deben comparar los resultados de la evaluación de las páginas de la muestra que seleccionaste, con los resultados de la evaluación de las páginas que escogiste al azar como muestra de control.

Sería muy interesante que la herramienta diferenciara las páginas de la muestra de control y que en base a los datos introducidos pudiera emitir advertencias (por ejemplo si para un criterio de conformidad la única página que presenta errores es una de las páginas de control)

Herramienta de ayuda para la realización del informe de una consultoría de accesibilidad de acuerdo a las WCAG 2.0 (versión 3.1 - 2016)

En 2012 compartí la primera versión de una herramienta interna que utilizo para recoger los datos de una evaluación de accesibilidad, actualmente podéis descargaros la versión 3.1 que publique el 05/07/2016.

Ver Herramienta de ayuda para la realización del informe de una consultoría de accesibilidad de acuerdo a las WCAG 2.0 (versión 3.1).

La excel no genera el informe, pues para eso tengo diferentes plantillas según el tipo de informe, pero sí diferentes tablas resumen, estadísticas y gráficas de cumplimiento e incumplimiento (por nivel, principio, criterio de conformidad, página de la muestra o muestra completa) que son muy útiles para:

elaborar el informe ejecutivo y su presentación;
comparar en el tiempo los resultados de distintas evaluaciones de un mismo sitio;
comparar los resultados de la evaluación de un sitio con la evaluación de otros sitios, por ejemplo de la competencia;
identificar con rapidez cuáles son los criterios de conformidad y las páginas que presentan más problemas.

Por tanto esta herramienta (una excel cuya descarga es directa y gratuita) es un complemento muy útil para mejorar el informe del WCAG-EM Report Tool.