Ir al contenido | Versión móvil

< < Página de inicio

miércoles, 20 de julio de 2011

Sirius. Nuevo sistema para la evaluación de la usabilidad web

Última actualización: 06/09/2011

Novedad septiembre 2011

Nueva versión de la excel para la evaluación de la usabilidad web según la metodología Sirius.

Checklist para la evaluación de la usabilidad web según la metodología Sirius. Versión 3


Formato: Excel, 87 KB

Licencia: descarga directa. No require aceptación de contrato Coloriuris.

En esta nueva versión el cálculo del porcentaje de usabilidad del sitio evaluado se realiza completamente de forma automática. Ya no es necesario rellenar manualmente la columna relevancia ni es necesario habitar macros.

Las mejoras de esta nueva versión han sido realizadas por Cecilio Sánchez.

Más información sobre la excel



El objetivo de este artículo es doble:

¿En que consiste el nuevo sistema de evaluación?

Es un sistema de evaluación de la usabilidad web que parte de la evaluación heurística pero que aúna una serie de características que la diferencia de otras propuestas:

  • se aplica a cualquier tipo de sitio web
  • es aplicable durante todo el ciclo de vida del sitio
  • da como resultado un valor porcentual del nivel de usabilidad del sitio evaluado, un dato por tanto cuantitativo, lo cual permite:

    • cuantificar y comparar la mejora de usabilidad de un sitio en el tiempo
    • comparar la usabilidad de diferentes portales de un mismo sector o que por ejemplo compitan por un premio de usabilidad
    • establecer clasificaciones y rankings en base a la usabilidad
    • comparar el nivel de usabilidad obtenido por un sitio en el tiempo con los resultados de las ventas obtenidas por dicho sitio en ese periodo de tiempo. En la tesis se incluye un ejemplo de este tipo, comprobando que efectivamente la mejora de la usabilidad impacta en las ventas y en qué medida.
    • determinar la relación entre usabilidad y accesibilidad (si a mayor nivel de accesibilidad el portal consigue un mejor resultado en su valor de usabilidad)
  • se tiene en cuenta el tipo de sitio evaluado, de manera que la relevancia de los errores está relacionado con el tipo de sitio.
  • permite inferir los elementos a subsanar en el sitio atendiendo a su prioridad, pudiéndose ordenar por este criterio aquellas mejoras que son críticas.
  • permite desarrollar una herramienta de evaluación que dé soporte al sistema de evaluación planteado y facilite la validación empírica de la propuesta de evaluación.

Puesto que su propuesta se basa en la evaluación heurística, en el capítulo 3 repasa todas las propuestas de heurísticas y métricas asociadas más relevantes que existen, la de Shneiderman, Nielsen,  Constantine, Instone, Tognazzini, etc. indicando por cada una de ellas sus limitaciones, que según cada caso pueden ser:

  • que no permitan obtener un valor cuantitativo de la usabilidad del sitio
  • que no proporcionen una relación de items a evaluar asociados a las heurísticas propuestas
  • que no sean aplicables a cualquier tipo de sitio web
  • que no tengan en consideración el tipo de sitio evaluado, en función del cual el impacto del incumplimiento de una heurística debería ser diferente

propuestas_revision_heuristica

Este repaso constata además que diversos autores han propuesto diferentes conjuntos de heurísticas o principios a través de los cuales realizar la evaluación, lo cuál hace difícil actualmente poder establecer una sistemática en la evaluación.

 

Clasificación de sitios web

Como he indicado, la evaluación tiene en cuenta el tipo de sitio web, pues la relevancia del cumplimiento o no de un criterio será diferente en función del tipo de sitio.

Por ello realiza una clasificación de sitios web con el objetivo de:

  • Adaptar los resultados de la evaluación de un sitio a la categoría del mismo, ponderando los valores obtenidos en función del tipo de sitio considerado.
  • Determinar por cada tipo de sitio las tareas que se consideran críticas y el perfil de usuario más habitual del mismo. De esta manera, se facilita el diseño de las pruebas de evaluación que sería preceptivo realizar con los usuarios del sitio tras la realización de la evaluación heurística propuesta en el trabajo (y una vez subsanados los errores encontrados)

Ante la falta de consenso en las clasificaciones existentes, que repasa en el capítulo 4, elabora una nueva clasificación en base a su funcionalidad (cuya metodología para elaborarla explica en el capítulo 6):

tipos_sitios_web_sirius

Por cada uno de estos tipos determina su audiencia y las tareas críticas o relevantes en el mismo (páginas 112-115)

Heurísticos y subheurísticos

Se establece una única relación de elementos a evaluar denominados criterios (subheurísticas), agrupados en aspectos (heurísticas) que será utilizada por todos los expertos implicados en el
proceso de evaluación. Con una única relación de elementos a evaluar se consigue unificar los criterios para llevar a cabo una evaluación heurística de un sitio web.

Los heurísticos definidos y sus criterios evaluables son:

Aspectos generales

Elementos relacionados con los objetivos del sitio, el look & feel, coherencia y nivel de actualización de contenidos.

AG1: Objetivos del sitio web concretos y bien definidos
AG2: Contenidos y servicios ofrecidos precisos y completos
AG3: Estructura general del sitio web orientada al usuario
AG4: Look & feel general se corresponde con los objetivos del sitio web
AG5: Diseño general del sitio web reconocible
AG6: Diseño general del sitio web coherente
AG7: Se utiliza el idioma del usuario
AG8:Se da soporte a otro/s idioma/s
AG9: Traducción del sitio completa y correcta
AG10: Sitio web actualizado periódicamente

Identidad e Información

Elementos relacionados con la identidad del sitio, la información proporcionada sobre el proveedor y la autoría de los contenidos.

II1: Identidad o logotipo significativo, identificable y suficientemente visible
II2: Identidad del sitio en todas las páginas
II3: Eslogan o tagline adecuados al objetivo del sitio
II4: Información sobre sitio web, empresa
II5: Existen mecanismos de contacto
II6: Se ofrece información sobre la protección de datos de carácter personal o los derechos de autor de los contenidos del sitio web
II7: Se ofrece información sobre el autor, fuentes y fechas de creación y revisión del documento en artículos, noticias, informes

Estructura y Navegación

Elementos relacionados con la idoneidad de la arquitectura de la información y la navegación del sitio.

EN1: Se ha evitado pantalla de bienvenida
EN2: Estructura de organización y navegación adecuadas
EN3: Organización de elementos consistente con las convenciones
EN4: Control del número de elementos y de términos por elemento en los menús de navegación
EN5: Equilibrio entre profundidad y anchura en el caso de estructura jerárquica
EN6: Enlaces fácilmente reconocibles como tales
EN7: La caracterización de los enlaces indica su estado (visitados, activos)
EN8: Se ha evitado la redundancia de enlaces
EN9: Se ha evitado la existencia de enlaces rotos
EN10: Se ha evitado que haya enlaces que lleven a la misma página que se está visualizando
EN11: En las imágenes de enlace se indica el contenido al que se va a acceder
EN12: Existe un enlace para volver al inicio en cada página
EN13: Hay elementos de navegación que orienten al usuario acerca de dónde está y cómo deshacer su navegación (migas, pestañas coloreadas)
EN14: Existe mapa del sitio para acceder directamente a los contenidos sin navegar

Rotulado

Elementos relacionados con la significación, corrección y familiaridad del rotulado de los contenidos.

RO1: Rótulos significativos
RO2: Sistema de rotulado controlado y preciso
RO3: Título de las páginas, correcto y planificado
RO4: URL página principal correcta, clara y fácil de recordar
RO5: URL de páginas internas claras
RO6: URL de páginas internas permanentes

Layout de la página

Elementos relacionados con la distribución y el aspecto de los elementos de navegación e información en la interfaz.

LA1: Se aprovechan las zonas de alta jerarquía informativa de la página para contenidos de mayor relevancia
LA2: Se ha evitado la sobrecarga informativa
LA3: Es una interfaz limpia, sin ruido visual
LA4: Existen zonas en blanco entre los objetos informativos de la página para poder descansar la vista
LA5: Uso correcto del espacio visual de la página
LA6: Se utiliza correctamente la jerarquía visual para expresar las relaciones del tipo "parte de" entre los elementos de la página
LA7: Se ha controlado la longitud de página
LA8: La versión impresa de la página es correcta
LA9: El texto de la página se lee sin dificultad
LA10: Se ha evitado el texto parpadeante/deslizante

Entendibilidad y facilidad en la interacción

Elementos relacionados con la adecuación y calidad de los contenidos textuales, iconos y controles de la interfaz.

EF1: Se emplea un lenguaje claro y conciso
EF2: Lenguaje amigable, familiar y cercano
EF3: Cada párrafo expresa una idea
EF4: Uso consistente de los controles de la interfaz
EF5: Metáforas visibles reconocibles y comprensibles (ej. iconos)
EF6: Si se usan menús desplegables, orden coherente o alfabético
EF7: Si el usuario tiene que rellenar un campo, las opciones disponibles se pueden seleccionar en vez de tener que escribirlas

Control y retroalimentación

Elementos relacionados con libertad del usuario en la navegación y la información proporcionada al
mismo en el proceso de interacción con el sitio.

CR1: El usuario tiene todo el control sobre la interfaz
CR2: Se informa al usuario acerca de lo que está pasando
CR3: Se informa al usuario de lo que ha pasado
CR4: Existen sistemas de validación antes de que el usuario envíe información para tratar de evitar errores
CR5: Cuando se produce un error, se informa de forma clara y no alarmista al usuario de lo ocurrido y de cómo solucionar el problema
CR6: Se ha controlado el tiempo de respuesta
CR7: Se ha evitado que las ventanas del sitio anulen o se superpongan
a la del navegador
CR8: Se ha evitado la proliferación de ventanas en la pantalla del usuario
CR9: Se ha evitado la descarga por parte del usuario de plugins adicionales
CR10: Si existen tareas de varios pasos, se indica al usuario en cual está y cuantos faltan para completar la tarea


Elementos multimedia

Elementos relacionados con el grado de adecuación de los contenidos multimedia al sitio web.

EM1: Fotografías bien recortadas
EM2: Fotografías comprensibles
EM3: Fotografías con correcta resolución
EM4: El uso de imágenes o animaciones proporciona algún tipo de valor añadido
EM5: Se ha evitado el uso de animaciones cíclicas
EM6: El uso de sonido proporciona algún tipo de valor añadido


Búsqueda

Elementos relacionados con el buscador implementado en el sitio web.

BU1: Si es necesaria, se encuentra accesible desde todas las páginas del sitio
BU2: Es fácilmente reconocible como tal
BU3: Se encuentra fácilmente accesible
BU4: La caja de texto es lo suficientemente ancha
BU5: Sistema de búsqueda simple y claro
BU6: Permite la búsqueda avanzada
BU7: Muestra los resultados de la búsqueda de forma comprensible para el usuario
BU8: Asiste al usuario en caso de no poder ofrecer resultados para una consultada dada

Ayuda

Elementos relacionados con la ayuda ofrecida al usuario durante la navegación por el sitio.

AY1: El enlace a la sección de Ayuda está colocado en una zona visible y estándar
AY2: Fácil acceso y retorno al/del sistema de ayuda
AY3: Se ofrece ayuda contextual en tareas complejas
AY4: FAQs (si la hay), es correcta tanto la elección como la redacción de las preguntas
AY5: FAQs (si la hay), es correcta la redacción de las respuestas


Métrica de evaluación

A la hora de valorar un criterio se establecen dos tipos de valores de medición (se aplica uno u otro según las características de cada criterio):

  • una escala de 0-10 que indica el grado de conformidad del evaluador con el cumplimiento del criterio. Se propone una escala proporcional a la que será el resultado de la métrica de evaluación del sitio (un valor comprendido entre 0-100) indicando nula o máxima usabilidad.
  • un valor textual, que indica si el criterio se cumple o no y en qué extensión del sitio web se detecta el problema en el caso de que el criterio no se cumpla. Este valor lo asigna el evaluador pero, a efectos de cómputo, se aplica el mismo intervalo de medición (de 0-10):

    • NTS: no se cumple en todo el sitio (valor de 0)
    • NEP: no se cumple en los enlaces principales (valor de 2.5)
    • NPP: no se cumple en la página principal  (valor de 5)
    • NPI: no se cumple en alguna página interior (valor de 7.5)
    • S: se cumple el criterio  (valor de 10)
    • NA: criterio no aplicable en el sitio

En las páginas 134 y siguientes se incluye la relación completa de aspectos, criterios y elementos de evaluación para llevar a cabo la evaluación. Por ejemplo, la tabla para el heurístico “Aspectos generales” sería:

evaluacion_aspectos_generales

Para la obtención de la medida cuantitativa del nivel de usabilidad y la indicación de la urgencia o prioridad en la mejora de los criterios en los que se ha detectado el fallo, se determinan los
valores de severidad de los aspectos y los criterios en función de los diferentes tipos de sitios considerados en el sistema de evaluación.

Este nivel de severidad es un indicador del nivel de importancia que tiene el incumplimiento de un criterio; al contrario que en otras propuestas NO es el evaluador el que asigna éste valor a la heurística revisada; en esta propuesta el evaluador únicamente se ocupa de cuantificar el incumplimiento, no la severidad o relevancia del mismo.

La relevancia de los aspectos (heurísticas), en función del tipo de sitio se pueden consultar en la tabla de la página 123 y se clasifican en muy alta, alta, media y baja.

La relevancia de los criterios (subheurísticos) en función del tipo de sitio se pueden consultar en las tablas de las páginas 125-131. Se clasifican en:

  • crítica (CR): el problema identificado es severo. El usuario no podrá completar la tarea y podría no desear seguir utilizando el sitio Web.
  • mayor (MA): es posible que el usuario complete la tarea pero tendrá mucha dificultad, frustración o incluso tendrá que ejecutar muchos pasos innecesarios. Podrá superarlo después de que se le haya mostrado cómo hacerlo.
  • media (ME): en la mayoría de casos, el usuario podrá completar la tarea, realizando un moderado esfuerzo para evitar el problema. Pueden necesitar investigar algunos enlaces para determinar que opción les permitirá completar la tarea propuesta. En navegaciones posteriores del sitio, los usuarios probablemente recordaran cómo ejecutar la tarea.
  • moderada (MO): el problema ocurre de manera intermitente y puede ser fácilmente superado, aunque es irritante para el usuario. Debido principalmente a problemas estéticos.

 

El valor de relevancia de los aspectos matizará los resultados de la evaluación, de manera que ante dos criterios de igual criticidad, será la relevancia del aspecto al que pertenecen la que determine cuál de ellos será prioritario en su arreglo.

ponderacion_criterios

ponderacion_aspectos

Por último, la fórmula para obtener el valor cuantitativo considera los siguientes conceptos:

  • Factor de corrección: valor de ajuste que se aplica a cada uno de los criterios evaluados con el fin de obtener diferentes niveles de usabilidad dependiendo de la relevancia de los mismos en función del tipo de sitio web en evaluación. Los valores resultantes al aplicar este factor de corrección debieran llevar a obtener valores de usabilidad comprendidos siempre entre 0 y 100, por tratarse de un porcentaje.
  • Cálculo del Factor de Corrección: partiendo de los valores correspondientes a los diferentes niveles de relevancia de un criterio, el factor de corrección se calcula dividiendo cada valor de relevancia entre la suma de todos los valores de relevancia de los criterios evaluados.

La fórmula es la siguiente:

 

formula_evaluacion_usabilidad_sirius

 

nce: número de criterios evaluados. Será como máximo 83, que son los propuestos en este sistema de evaluación. Se considera que alguno de los criterios pueda no ser aplicable al sitio en evaluación y, por lo tanto, no se evalúe.
vc: Valor de evaluación de un criterio (entre 0 y 10).
fc: Factor de corrección aplicado al criterio evaluado. El valor del factor de corrección de cada uno de los criterios evaluados se obtiene de la siguiente manera:

subformula_evaluación_usabilidad

rc : Valor de relevancia que corresponde a un criterio


En este gráfico se resume el sistema de evaluación Sirius:

sistema_de_evaluación_ sirius


Herramienta de soporte al sistema de evaluación

La aplicación web que ha desarrollado Mª del Carmen Suárez Torrente como soporte al proceso de evaluación se llama Prometheus y entre sus características destacan:

  • presenta los criterios a chequear
  • proporciona el porcentaje de usabilidad obtenido por el sitio
  • proporciona la relación de criterios a mejorar ordenados por su prioridad, de manera que el primero de la lista es el que mayor incremento de la usabilidad proporcionará
  • permite visualizar los valores asignados por los evaluadores a cada uno de los criterios evaluados así como las observaciones realizados por los mismos durante el proceso de evaluación.
  • obtener un informe en formato EARL

Tiene gestión de usuarios, gestión de sitios (un dato básico es el tipo de sitio, que puede ser hibrido), consulta de los resultados de evaluaciones previas, etc.

Mientras la aplicación no sea pública, he preparado una excel para facilitar la aplicación de la metodología Sirius en la evaluación de la usabilidad web.


Excel para ayudar a la evaluación de usabilidad según la metodología Sirius

Se puede descargar de forma gratuita en: Checklist para la evaluación de la usabilidad web según la metodología Sirius. Versión 3 (Excel, 87 KB)

En esta nueva versión el cálculo del porcentaje de usabilidad del sitio evaluado se realiza completamente de forma automática. Ya no es necesario rellenar manualmente la columna relevancia ni habitar las macros.

Las mejoras de esta nueva versión han sido realizadas por Cecilio Sánchez.

Versiones anteriores:


Descripción general de la Excel

La excel está compuesta por diferentes pestañas:

  • Datos del sitio: en esta pestaña se rellenan los datos generales de la evaluación y del sitio evaluado. El dato "Tipo del sitio" se selecciona de un desplegable. Son los tipos de sitio definidos por la metolología Sirius, la relevancia de los criterios a evaluar dependerá del tipo de sitio que se indique.
  • Pestaña de la 2-11: hay una pestaña por cada heurístico. En cada una se enuncian los criterios a evaluar. El evaluador debe valorar cada criterio seleccionando las opciones disponibles en la columna "Valor". Estas opciones son las definidas por la metodología y se seleccionan de un desplegable, cuya leyenda puede consultarse en cada pestaña. No debe rellenarse ningún campo más, el resto de valores se calculan automáticamente. Sí se pueden añadir comentarios a cada criterio. Se recomienda poner la referencia a un documento de texto externo donde se expliquen y se documenten.
  • Pestaña "Cálculo de % de usabilidad": una vez valorados los criterios de los 10 heurísticos se puede consultar en esta pestaña la puntuación que ha obtenido el sitio.
  • Las pestañas "Tabla de relevancia" y "Valores" sólo contienen datos para los cálculos del porcentaje de usabilidad.


Las limitaciones, frente a lo que sería la aplicación, serían:

  • no genera el informe EARL
  • no proporciona la relación de criterios a mejorar ordenados por su prioridad
  • está orientado a un único evaluador y por tanto no permite comparar las evaluaciones de varios evaluadores


La autora me ha confirmado que se encuentra desarrollando la nueva versión de la aplicación web.


Artículos relacionados


Últimos artículos


Servicios relacionados

Consultoría de usabilidad web: evaluación heurística.

14 comentarios :
Gonzalo Fernández de Córdoba dijo...

Magnífico post, como siempre, y muy interesante la tesis (en un primer vistazo).

Habrá que leerla bien, ponerla en práctica y compartirla.

Gracias por el post y muchas gracias a María del Carmen por su pedazo de aportación al mundo de la usabilidad Web.

Manuel Vicedo dijo...

Le he echado un vistazo a la tesis, y sinceramente es un documento bastante trabajado que requiere más de una sentada para analizarlo por completo.

El sistema propuesto me parece bastante acertado, aunque tendría que señalar que quizás no contempla el que un sitio web pueda pertenecer a más de un grupo categórico. Hay que tener en cuenta que están surgiendo muchas páginas que tienen un doble propósito, tales como el corporativo/blog o informativo/comunidad.

En dicho caso, cómo se asignaría el valor de cada métrica?

Olga Carreras dijo...

El sistema sí permite la evaluación de sitios híbridos (ver pág. 162)

En este caso, el usuario ha de indicar qué tipos conforman el sitio web y en qué porcentaje participa cada uno de ellos.

Una vez evaluado el sitio híbrido, el cálculo del porcentaje de usabilidad se realizará obteniendo
el nivel de usabilidad para cada uno de los tipos indicados y realizando finalmente una media ponderada de los valores obtenidos tras este proceso.

lrbaena dijo...

Muy interesante tanto el post como la tesis.

En mis clases proporcionaba a mis alumnos una hoja de excel para hacer una evaluación heurística. La hoja se utilizaba para valorar los aspectos observables de una heurística (los que en la tesis llama subheurísticas) y les daba una ponderación que dependía, no del tipo de web, sino de un estudio preliminar de un sitio web en particular que haría el equipo de desarrollo (gracias a Maria José Aguilar por la idea). Los aspectos a observar también podrían variar de una web a otra. Era una idea similar a la metodología propuesta en la tesis, pero muchísimo más pedestre. El sistema de Sirius está muchísimo más elaborado.
Muchas gracias por el post y por el enlace a la tesis.

ALEJANDRO ROMERO dijo...

Hola desde Colombia... muy interesante el proyecto quisiera saber que tanto de lo propuesto pudiera implementarse en el Software Libre... como contactar al autor para poder hablar con el al respecto que tantos permisos hay sobre el desarrollo de nuevas herramientas con base al sistema..!!!

Olga Carreras dijo...

Mª del Carmen Suárez Torrente http://directo.uniovi.es/catalogo/DetalleProfesor.asp?idprofesor=31713

Wocon dijo...

Gran aportación, la verdad es que es un cuestionario muy pormenorizado y te hace pensar a fondo.

Un saludo¡

Unknown dijo...

Hola Olga,


La aplicación Sirius se ha llegado a publicar-distribuir?
He visto tu excel resumida pero queria saber existia la aplicación.
Por otra parte queria saber como evaluarías la accesibilidad de un sitio CMS (Content Management System) al que accedes con un login y un password, las unica herramienta libre que he encontrado es Adesign, ¿conoces algun mas?

Gracias por la información y enhorabuena por el blog.

Olga Carreras dijo...

No, que yo sepa.

Juan Cortes dijo...

Hola, una pregunta: según la tabla 6.2, una red social online como Facebook qué tipo de sitio web sería? Gracias.

Olga Carreras dijo...

Puedes ver la descripción de cada tipo en la tesis que admite también la evaluación de sitios mixtos (no implementado en la excel)

Karen Gutierrez dijo...

Mmmm... Me hago la misma pregunta que Juan... no sería mejor que la tabla también dijese "sitios mixtos"???

Debo suponer que Twitter es Foros / Chat, Ocio / Entretenimiento y Personal ???

Aunitz Giménez dijo...

Muy interesante el artículo. El enlace al PDF de la tesis está roto. ¿Hay posibilidad de recuperarlo?

Jorge dijo...

Muchas gracias un gran post

Publicar un comentario en la entrada