Sirius. Nuevo sistema para la evaluación de la usabilidad web

Última actualización: 30/07/2019

Novedad 2019: ya está disponible la versión en inglés gracias a traducción de Rafa Torres.

Download English version: Sirius Method Heuristics Checklist (excel, 90 KB)

Novedad septiembre 2011

Nueva versión de la excel para la evaluación de la usabilidad web según la metodología Sirius.

Checklist para la evaluación de la usabilidad web según la metodología Sirius. Versión 3

Formato: Excel, 87 KB

Licencia: descarga directa. No require aceptación de contrato Coloriuris.

En esta nueva versión el cálculo del porcentaje de usabilidad del sitio evaluado se realiza completamente de forma automática. Ya no es necesario rellenar manualmente la columna relevancia ni es necesario habitar macros.

Las mejoras de esta nueva versión han sido realizadas por Cecilio Sánchez.

Más información sobre la excel

El objetivo de este artículo es doble:

• por un lado difundir el nuevo sistema de evaluación de la usabilidad web propuesto por Mª del Carmen Suárez Torrente en su tesis: Sirius: Sistema de Evaluación de la Usabilidad Web Orientado al Usuario y basado en la Determinación de Tareas Críticas (PDF, 3.39 MB) de febrero de 2011
• compartir una excel que ayude a evaluar la usabilidad de los sitios web según la nueva metodología: Checklist para la evaluación de la usabilidad web según la metodología Sirius (Novedad: versión 3 de la excel con cálculo completamente automático del porcentaje de usabilidad del sitio evaluado)

¿En que consiste el nuevo sistema de evaluación?

Es un sistema de evaluación de la usabilidad web que parte de la evaluación heurística pero que aúna una serie de características que la diferencia de otras propuestas:

• se aplica a cualquier tipo de sitio web
• es aplicable durante todo el ciclo de vida del sitio
• da como resultado un valor porcentual del nivel de usabilidad del sitio evaluado, un dato por tanto cuantitativo, lo cual permite:
  
  
  • cuantificar y comparar la mejora de usabilidad de un sitio en el tiempo
  • comparar la usabilidad de diferentes portales de un mismo sector o que por ejemplo compitan por un premio de usabilidad
  • establecer clasificaciones y rankings en base a la usabilidad
  • comparar el nivel de usabilidad obtenido por un sitio en el tiempo con los resultados de las ventas obtenidas por dicho sitio en ese periodo de tiempo. En la tesis se incluye un ejemplo de este tipo, comprobando que efectivamente la mejora de la usabilidad impacta en las ventas y en qué medida.
  • determinar la relación entre usabilidad y accesibilidad (si a mayor nivel de accesibilidad el portal consigue un mejor resultado en su valor de usabilidad)
• se tiene en cuenta el tipo de sitio evaluado, de manera que la relevancia de los errores está relacionado con el tipo de sitio.
• permite inferir los elementos a subsanar en el sitio atendiendo a su prioridad, pudiéndose ordenar por este criterio aquellas mejoras que son críticas.
• permite desarrollar una herramienta de evaluación que dé soporte al sistema de evaluación planteado y facilite la validación empírica de la propuesta de evaluación.

Puesto que su propuesta se basa en la evaluación heurística, en el capítulo 3 repasa todas las propuestas de heurísticas y métricas asociadas más relevantes que existen, la de Shneiderman, Nielsen,  Constantine, Instone, Tognazzini, etc. indicando por cada una de ellas sus limitaciones, que según cada caso pueden ser:

• que no permitan obtener un valor cuantitativo de la usabilidad del sitio
• que no proporcionen una relación de items a evaluar asociados a las heurísticas propuestas
• que no sean aplicables a cualquier tipo de sitio web
• que no tengan en consideración el tipo de sitio evaluado, en función del cual el impacto del incumplimiento de una heurística debería ser diferente

Este repaso constata además que diversos autores han propuesto diferentes conjuntos de heurísticas o principios a través de los cuales realizar la evaluación, lo cuál hace difícil actualmente poder establecer una sistemática en la evaluación.

 

Clasificación de sitios web

Como he indicado, la evaluación tiene en cuenta el tipo de sitio web, pues la relevancia del cumplimiento o no de un criterio será diferente en función del tipo de sitio.

Por ello realiza una clasificación de sitios web con el objetivo de:

• Adaptar los resultados de la evaluación de un sitio a la categoría del mismo, ponderando los valores obtenidos en función del tipo de sitio considerado.
• Determinar por cada tipo de sitio las tareas que se consideran críticas y el perfil de usuario más habitual del mismo. De esta manera, se facilita el diseño de las pruebas de evaluación que sería preceptivo realizar con los usuarios del sitio tras la realización de la evaluación heurística propuesta en el trabajo (y una vez subsanados los errores encontrados)

Ante la falta de consenso en las clasificaciones existentes, que repasa en el capítulo 4, elabora una nueva clasificación en base a su funcionalidad (cuya metodología para elaborarla explica en el capítulo 6):

Por cada uno de estos tipos determina su audiencia y las tareas críticas o relevantes en el mismo (páginas 112-115)

Heurísticos y subheurísticos

Se establece una única relación de elementos a evaluar denominados criterios (subheurísticas), agrupados en aspectos (heurísticas) que será utilizada por todos los expertos implicados en el
proceso de evaluación. Con una única relación de elementos a evaluar se consigue unificar los criterios para llevar a cabo una evaluación heurística de un sitio web.

Los heurísticos definidos y sus criterios evaluables son:

Aspectos generales

Elementos relacionados con los objetivos del sitio, el look & feel, coherencia y nivel de actualización de contenidos.

AG1: Objetivos del sitio web concretos y bien definidos
AG2: Contenidos y servicios ofrecidos precisos y completos
AG3: Estructura general del sitio web orientada al usuario
AG4: Look & feel general se corresponde con los objetivos del sitio web
AG5: Diseño general del sitio web reconocible
AG6: Diseño general del sitio web coherente
AG7: Se utiliza el idioma del usuario
AG8:Se da soporte a otro/s idioma/s
AG9: Traducción del sitio completa y correcta
AG10: Sitio web actualizado periódicamente

Identidad e Información

Elementos relacionados con la identidad del sitio, la información proporcionada sobre el proveedor y la autoría de los contenidos.

II1: Identidad o logotipo significativo, identificable y suficientemente visible
II2: Identidad del sitio en todas las páginas
II3: Eslogan o tagline adecuados al objetivo del sitio
II4: Información sobre sitio web, empresa
II5: Existen mecanismos de contacto
II6: Se ofrece información sobre la protección de datos de carácter personal o los derechos de autor de los contenidos del sitio web
II7: Se ofrece información sobre el autor, fuentes y fechas de creación y revisión del documento en artículos, noticias, informes

Estructura y Navegación

Elementos relacionados con la idoneidad de la arquitectura de la información y la navegación del sitio.

EN1: Se ha evitado pantalla de bienvenida
EN2: Estructura de organización y navegación adecuadas
EN3: Organización de elementos consistente con las convenciones
EN4: Control del número de elementos y de términos por elemento en los menús de navegación
EN5: Equilibrio entre profundidad y anchura en el caso de estructura jerárquica
EN6: Enlaces fácilmente reconocibles como tales
EN7: La caracterización de los enlaces indica su estado (visitados, activos)
EN8: Se ha evitado la redundancia de enlaces
EN9: Se ha evitado la existencia de enlaces rotos
EN10: Se ha evitado que haya enlaces que lleven a la misma página que se está visualizando
EN11: En las imágenes de enlace se indica el contenido al que se va a acceder
EN12: Existe un enlace para volver al inicio en cada página
EN13: Hay elementos de navegación que orienten al usuario acerca de dónde está y cómo deshacer su navegación (migas, pestañas coloreadas)
EN14: Existe mapa del sitio para acceder directamente a los contenidos sin navegar

Rotulado

Elementos relacionados con la significación, corrección y familiaridad del rotulado de los contenidos.

RO1: Rótulos significativos
RO2: Sistema de rotulado controlado y preciso
RO3: Título de las páginas, correcto y planificado
RO4: URL página principal correcta, clara y fácil de recordar
RO5: URL de páginas internas claras
RO6: URL de páginas internas permanentes

Layout de la página

Elementos relacionados con la distribución y el aspecto de los elementos de navegación e información en la interfaz.

LA1: Se aprovechan las zonas de alta jerarquía informativa de la página para contenidos de mayor relevancia
LA2: Se ha evitado la sobrecarga informativa
LA3: Es una interfaz limpia, sin ruido visual
LA4: Existen zonas en blanco entre los objetos informativos de la página para poder descansar la vista
LA5: Uso correcto del espacio visual de la página
LA6: Se utiliza correctamente la jerarquía visual para expresar las relaciones del tipo "parte de" entre los elementos de la página
LA7: Se ha controlado la longitud de página
LA8: La versión impresa de la página es correcta
LA9: El texto de la página se lee sin dificultad
LA10: Se ha evitado el texto parpadeante/deslizante

Entendibilidad y facilidad en la interacción

Elementos relacionados con la adecuación y calidad de los contenidos textuales, iconos y controles de la interfaz.

EF1: Se emplea un lenguaje claro y conciso
EF2: Lenguaje amigable, familiar y cercano
EF3: Cada párrafo expresa una idea
EF4: Uso consistente de los controles de la interfaz
EF5: Metáforas visibles reconocibles y comprensibles (ej. iconos)
EF6: Si se usan menús desplegables, orden coherente o alfabético
EF7: Si el usuario tiene que rellenar un campo, las opciones disponibles se pueden seleccionar en vez de tener que escribirlas

Control y retroalimentación

Elementos relacionados con libertad del usuario en la navegación y la información proporcionada al
mismo en el proceso de interacción con el sitio.

CR1: El usuario tiene todo el control sobre la interfaz
CR2: Se informa al usuario acerca de lo que está pasando
CR3: Se informa al usuario de lo que ha pasado
CR4: Existen sistemas de validación antes de que el usuario envíe información para tratar de evitar errores
CR5: Cuando se produce un error, se informa de forma clara y no alarmista al usuario de lo ocurrido y de cómo solucionar el problema
CR6: Se ha controlado el tiempo de respuesta
CR7: Se ha evitado que las ventanas del sitio anulen o se superpongan
a la del navegador
CR8: Se ha evitado la proliferación de ventanas en la pantalla del usuario
CR9: Se ha evitado la descarga por parte del usuario de plugins adicionales
CR10: Si existen tareas de varios pasos, se indica al usuario en cual está y cuantos faltan para completar la tarea

Elementos multimedia

Elementos relacionados con el grado de adecuación de los contenidos multimedia al sitio web.

EM1: Fotografías bien recortadas
EM2: Fotografías comprensibles
EM3: Fotografías con correcta resolución
EM4: El uso de imágenes o animaciones proporciona algún tipo de valor añadido
EM5: Se ha evitado el uso de animaciones cíclicas
EM6: El uso de sonido proporciona algún tipo de valor añadido

Búsqueda

Elementos relacionados con el buscador implementado en el sitio web.

BU1: Si es necesaria, se encuentra accesible desde todas las páginas del sitio
BU2: Es fácilmente reconocible como tal
BU3: Se encuentra fácilmente accesible
BU4: La caja de texto es lo suficientemente ancha
BU5: Sistema de búsqueda simple y claro
BU6: Permite la búsqueda avanzada
BU7: Muestra los resultados de la búsqueda de forma comprensible para el usuario
BU8: Asiste al usuario en caso de no poder ofrecer resultados para una consultada dada

Ayuda

Elementos relacionados con la ayuda ofrecida al usuario durante la navegación por el sitio.

AY1: El enlace a la sección de Ayuda está colocado en una zona visible y estándar
AY2: Fácil acceso y retorno al/del sistema de ayuda
AY3: Se ofrece ayuda contextual en tareas complejas
AY4: FAQs (si la hay), es correcta tanto la elección como la redacción de las preguntas
AY5: FAQs (si la hay), es correcta la redacción de las respuestas

Métrica de evaluación

A la hora de valorar un criterio se establecen dos tipos de valores de medición (se aplica uno u otro según las características de cada criterio):

• una escala de 0-10 que indica el grado de conformidad del evaluador con el cumplimiento del criterio. Se propone una escala proporcional a la que será el resultado de la métrica de evaluación del sitio (un valor comprendido entre 0-100) indicando nula o máxima usabilidad.
• un valor textual, que indica si el criterio se cumple o no y en qué extensión del sitio web se detecta el problema en el caso de que el criterio no se cumpla. Este valor lo asigna el evaluador pero, a efectos de cómputo, se aplica el mismo intervalo de medición (de 0-10):
  
  
  • NTS: no se cumple en todo el sitio (valor de 0)
  • NEP: no se cumple en los enlaces principales (valor de 2.5)
  • NPP: no se cumple en la página principal  (valor de 5)
  • NPI: no se cumple en alguna página interior (valor de 7.5)
  • S: se cumple el criterio  (valor de 10)
  • NA: criterio no aplicable en el sitio

En las páginas 134 y siguientes se incluye la relación completa de aspectos, criterios y elementos de evaluación para llevar a cabo la evaluación. Por ejemplo, la tabla para el heurístico “Aspectos generales” sería:

Para la obtención de la medida cuantitativa del nivel de usabilidad y la indicación de la urgencia o prioridad en la mejora de los criterios en los que se ha detectado el fallo, se determinan los
valores de severidad de los aspectos y los criterios en función de los diferentes tipos de sitios considerados en el sistema de evaluación.

Este nivel de severidad es un indicador del nivel de importancia que tiene el incumplimiento de un criterio; al contrario que en otras propuestas NO es el evaluador el que asigna éste valor a la heurística revisada; en esta propuesta el evaluador únicamente se ocupa de cuantificar el incumplimiento, no la severidad o relevancia del mismo.

La relevancia de los aspectos (heurísticas), en función del tipo de sitio se pueden consultar en la tabla de la página 123 y se clasifican en muy alta, alta, media y baja.

La relevancia de los criterios (subheurísticos) en función del tipo de sitio se pueden consultar en las tablas de las páginas 125-131. Se clasifican en:

• crítica (CR): el problema identificado es severo. El usuario no podrá completar la tarea y podría no desear seguir utilizando el sitio Web.
• mayor (MA): es posible que el usuario complete la tarea pero tendrá mucha dificultad, frustración o incluso tendrá que ejecutar muchos pasos innecesarios. Podrá superarlo después de que se le haya mostrado cómo hacerlo.
• media (ME): en la mayoría de casos, el usuario podrá completar la tarea, realizando un moderado esfuerzo para evitar el problema. Pueden necesitar investigar algunos enlaces para determinar que opción les permitirá completar la tarea propuesta. En navegaciones posteriores del sitio, los usuarios probablemente recordaran cómo ejecutar la tarea.
• moderada (MO): el problema ocurre de manera intermitente y puede ser fácilmente superado, aunque es irritante para el usuario. Debido principalmente a problemas estéticos.

 

El valor de relevancia de los aspectos matizará los resultados de la evaluación, de manera que ante dos criterios de igual criticidad, será la relevancia del aspecto al que pertenecen la que determine cuál de ellos será prioritario en su arreglo.

Por último, la fórmula para obtener el valor cuantitativo considera los siguientes conceptos:

• Factor de corrección: valor de ajuste que se aplica a cada uno de los criterios evaluados con el fin de obtener diferentes niveles de usabilidad dependiendo de la relevancia de los mismos en función del tipo de sitio web en evaluación. Los valores resultantes al aplicar este factor de corrección debieran llevar a obtener valores de usabilidad comprendidos siempre entre 0 y 100, por tratarse de un porcentaje.
• Cálculo del Factor de Corrección: partiendo de los valores correspondientes a los diferentes niveles de relevancia de un criterio, el factor de corrección se calcula dividiendo cada valor de relevancia entre la suma de todos los valores de relevancia de los criterios evaluados.

La fórmula es la siguiente:

 

 

nce: número de criterios evaluados. Será como máximo 83, que son los propuestos en este sistema de evaluación. Se considera que alguno de los criterios pueda no ser aplicable al sitio en evaluación y, por lo tanto, no se evalúe.
vc: Valor de evaluación de un criterio (entre 0 y 10).
fc: Factor de corrección aplicado al criterio evaluado. El valor del factor de corrección de cada uno de los criterios evaluados se obtiene de la siguiente manera:

rc : Valor de relevancia que corresponde a un criterio

En este gráfico se resume el sistema de evaluación Sirius:

Herramienta de soporte al sistema de evaluación

La aplicación web que ha desarrollado Mª del Carmen Suárez Torrente como soporte al proceso de evaluación se llama Prometheus y entre sus características destacan:

• presenta los criterios a chequear
• proporciona el porcentaje de usabilidad obtenido por el sitio
• proporciona la relación de criterios a mejorar ordenados por su prioridad, de manera que el primero de la lista es el que mayor incremento de la usabilidad proporcionará
• permite visualizar los valores asignados por los evaluadores a cada uno de los criterios evaluados así como las observaciones realizados por los mismos durante el proceso de evaluación.
• obtener un informe en formato EARL

Tiene gestión de usuarios, gestión de sitios (un dato básico es el tipo de sitio, que puede ser hibrido), consulta de los resultados de evaluaciones previas, etc.

Mientras la aplicación no sea pública, he preparado una excel para facilitar la aplicación de la metodología Sirius en la evaluación de la usabilidad web.

Excel para ayudar a la evaluación de usabilidad según la metodología Sirius

Se puede descargar de forma gratuita en: Checklist para la evaluación de la usabilidad web según la metodología Sirius. Versión 3 (Excel, 87 KB)

En esta nueva versión el cálculo del porcentaje de usabilidad del sitio evaluado se realiza completamente de forma automática. Ya no es necesario rellenar manualmente la columna relevancia ni habitar las macros.

Las mejoras de esta nueva versión han sido realizadas por Cecilio Sánchez.

Versiones anteriores:

• Versión 2 (27.07.11): Checklist para la evaluación de la usabilidad web según la metodología Sirius. Versión 2
• Versión 1 (20.07.11): Checklist para la evaluación de la usabilidad web según la metodología Sirius. Versión 1

Descripción general de la Excel

La excel está compuesta por diferentes pestañas:

• Datos del sitio: en esta pestaña se rellenan los datos generales de la evaluación y del sitio evaluado. El dato "Tipo del sitio" se selecciona de un desplegable. Son los tipos de sitio definidos por la metolología Sirius, la relevancia de los criterios a evaluar dependerá del tipo de sitio que se indique.
• Pestaña de la 2-11: hay una pestaña por cada heurístico. En cada una se enuncian los criterios a evaluar. El evaluador debe valorar cada criterio seleccionando las opciones disponibles en la columna "Valor". Estas opciones son las definidas por la metodología y se seleccionan de un desplegable, cuya leyenda puede consultarse en cada pestaña. No debe rellenarse ningún campo más, el resto de valores se calculan automáticamente. Sí se pueden añadir comentarios a cada criterio. Se recomienda poner la referencia a un documento de texto externo donde se expliquen y se documenten.
• Pestaña "Cálculo de % de usabilidad": una vez valorados los criterios de los 10 heurísticos se puede consultar en esta pestaña la puntuación que ha obtenido el sitio.
• Las pestañas "Tabla de relevancia" y "Valores" sólo contienen datos para los cálculos del porcentaje de usabilidad.

Las limitaciones, frente a lo que sería la aplicación, serían:

• no genera el informe EARL
• no proporciona la relación de criterios a mejorar ordenados por su prioridad
• está orientado a un único evaluador y por tanto no permite comparar las evaluaciones de varios evaluadores

La autora me ha confirmado que se encuentra desarrollando la nueva versión de la aplicación web.

Artículos relacionados

• Formularios usables: 60 Directrices de Usabilidad
  
• Metodología DCU MPlu+a
• La usabilidad como metodología para el desarrollo de una aplicación
  

Últimos artículos

• Arquitectura de información. Fundamentos
  
• PDF Techniques for WCAG 2.0
• Mi opinión sobre Google+: +1, -1
• Novedades de Axure 6
• Accesibilidad integrada en todas las fases de desarrollo de una aplicación Web: marco metodológico AWA
• SEO y Accesibilidad. Accesible también para buscadores
• Respuesta a 25 dudas habituales sobre accesibilidad web

Servicios relacionados

Consultoría de usabilidad web: evaluación heurística.