Estándares formales de usabilidad y su aplicación práctica en una evaluación heurística

Este artículo incluye: Descarga de excel para ayudar en una evaluación de usabilidad según WUEP (Web Usability Evaluation Process), proceso explicado en el artículo y que se basa en la ISO 25000 (SQUARE) (más sobre WUEP (Web Usability Evaluation Process))

Índice

Qué es un estándar
Tipos de estándares
Estándares formales de usabilidad
Aplicación práctica de los estándares formales en la evaluación heurística de una web
- WUEP (Web Usability Evaluation Process)
- Otros trabajos
Referencias

Qué es un estándar

“Estándar” es definido por la ISO (Organización Internacional de Estandarización) como:

documento establecido por consenso y aprobado por una institución reconocida, que prevé, para uso común y repetido, reglas, directrices y características para actividades o sus resultados, encaminada a la consecución del grado óptimo de definición en un contexto dado. Nota: las normas deben basarse en los resultados consolidados de la ciencia, la tecnología y la experiencia, y tener por finalidad promover beneficios óptimos.
[ISO/IEC Guide 2:2004, definición 3.2]

Tipos de estándares

Existen tres tipos de estándares:

los oficiales o “de jure”. Los estándares oficiales son aquellos que han sido aprobados y sancionados por un organismo oficial de estandarización.
Como organismos oficiales de estandarización podemos destacar:
- En España, el organismo nacional de normalización es AENOR (Asociación Española de Normalización y Certificación) que elabora normas técnicas españolas (UNE)
- A nivel europeo está el Comité Europeo de Normalización (CEN)
- A nivel internacional la Organización Internacional de Estandarización (ISO) compuesta por representantes de los organismos de normalización (ON's) nacionales, que produce normas internacionales industriales y comerciales. Dichas normas se conocen como normas ISO
Los estándares oficiales son a veces de obligado cumplimiento. De hecho en España no se puede hacer referencia en la legislación a estándares que no provengan de un organismo oficial de estandarización. Por ejemplo en España es obligatorio por ley que determinados tipos de sitios web cumplan con la Norma UNE 139803 que asegure su accesibilidad.
los “de facto”. Son aquellos que son promulgados por comités guiados por una entidad, organismo o compañía, se usan por voluntad propia o conveniencia y tienen una amplia aceptación, aunque no hayan sido sancionados por un organismo de estandarización.
El caso más claro es el W3C (World Wide Web Consortium) que crea estándares ampliamente aceptados y que a veces pasan a ser reconocidos como estándares oficiales (por ejemplo la Norma UNE 139803 se basa en las WCAG del W3C; y hay muchos países que en su legislación establecen que los sitios web cumplan con las WCAG)
Estándares propietarios de una corporación o entidad.

En el caso de la accesibilidad web son muy conocidos los estándares existentes, posiblemente porque son de obligado cumplimiento en muchos países.

Sin embargo los estándares de usabilidad no son tan conocidos. En el siguiente apartado se explica de manera sencilla y comprensible cuáles son los estándares oficiales de usabilidad. En el último apartado se abordará cómo se pueden aplicar en la práctica dichos estándares para realizar evaluaciones heurísticas de usabilidad.

Estándares formales de usabilidad

Orientados al proceso: ISO 9241 e ISO 13407

ISO 9241 Ergonomics of Human System Interaction

Está compuesta por 17 partes. La 1 y 2 es una introducción y guías para el empleo del estándar. De la 3 a la 9 tratan los requisitos y guías relacionadas con el hardware que impactan en el funcionamiento del software. De la 10 a la 11 se centran en los aspectos del software.

En realidad la norma se llamaba Ergonomic requirements for office work with visual display terminals (VDTs) pero en 2006 se le simplificó el nombre; y además se renumeraron sus partes para poder cubrir más temas como la interacción táctil (ISO 9241-920:2009) , la interacción con formularios (ISO 9241-143:2012) o interfaces web (ISO 9241-151:2008)

La ISO 9241-11:1998 “Guidance on usability”, define la usabilidad como:

La medida con la que un producto se puede usar por usuarios determinados para conseguir objetivos específicos con efectividad, eficiencia y satisfacción en un contexto de uso concreto.

Por tanto, los tres factores, los tres atributos de calidad son:

Efectividad: exactitud e integridad con la que los usuarios alcanzan los objetivos especificados, y por tanto implica la facilidad de aprendizaje, la ausencia de errores del sistema o la facilidad del mismo para ser recordado. Las métricas definidas son:
- Número de tareas importantes realizadas
- Porcentaje de funciones relevantes utilizadas
- Porcentaje de tareas completadas con éxito al primer intento
- Número de referencias a la documentación
- Número de llamadas para soporte
- Número de accesos a la ayuda
- Número de funciones aprendidas
- Porcentaje de usuarios capaces de aprender sus características
- Porcentaje de errores corregidos o reportados por el sistema
- Número de errores de los usuarios tolerados
- Porcentaje de palabras leídas correctamente a una distancia de visualización normal
Eficiencia: recursos empleados (esfuerzo, tiempo, etc.) en relación con la exactitud e integridad con la que los usuarios alcanzan los objetivos especificados. Las métricas definidas son:
- Eficiencia relativa en comparación con un usuario experto
- Tiempo empleado en el primer intento
- Eficiencia relativa en el primer intento
- Tiempo empleado en reaprender funciones
- Número de errores persistentes
- Tiempo productivo
- Tiempo para aprender características
- Tiempo para reaprender características
- Eficiencia relativa durante el aprendizaje
- Tiempo empleado en la corrección de errores
Satisfacción: un factor subjetivo que implica una actitud positiva en el uso del producto. Las métricas definidas son:
- Calificación (por parte del usuario) de su satisfacción con las características importantes
- Tasa de uso voluntario del producto
- Frecuencia de reutilización del producto
- Calificación (por parte del usuario) de la facilidad de aprendizaje
- Calificación (por parte del usuario) del tratamiento de errores

La ISO 9241‐11 recomienda un enfoque basado en procesos para evaluar la usabilidad, a través del Diseño Centrado en el Usuario (DCU). Por ello la ISO 9241 debe aplicarse en conjunto con la ISO 13407.

La ISO 9241-151:2008 “Guidance on World Wide Web user interfaces” referencia a la 9241-11 para la evaluación de criterios y a la ISO 13407 como guía de Diseño Centrado en el Usuario, puesto que señala que el diseño de interfaces web debe seguir un proceso de DCU.

Se pueden consultar comparativas de la 9241-151 con HHS Guidelines [USABILITY.GOB] en [BEVAN, 2005] y actualizado en [BEVAN, 2007]

Dentro de la ISO 9241-151 podemos destacar las siguientes directrices (viene cada una explicada y con ejemplos, y se puede encontrar una checklist para la evaluación al final del documento de la ISO):

6. High-level design decisions and design strategy (11 directrices evaluables)
7. Content design
- 7.1 Conceptual content model (5 directrices evaluables)
- 7.2 Content objects and functionality (19 directrices evaluables, 5 de las cuales referentes al 7.2.8 Privacy and business policies; y 7 al punto 7.2.9 Indivudualisation and user adaptation)
8. Navigation and search
- 8.1 General
- 8.2 General guidance on navigation (5 directrices evaluables)
- 8.3 Navigation structure (11 directrices evaluables, varias de ellas relativas a Splash screens)
- 8.4 Navigation components (16 directrices evaluables)
- 8.5 Search (22 directrices evaluables)
9. Content presentation
- 9.1 General
- 9.2 Observing principles of human perception (1 directrices evaluables)
- 9.3 Page design issues functions (17 directrices evaluables)
- 9.4 Link design (15 directrices evaluables)
- 9.5 Interaction objects (3 directrices evaluables)
- 9.6 Text design (6 directrices evaluables)
10. General design aspects
- 10.1 Designing for cultural diversity and multilingual use (5 directrices evaluables)
- 10.2 Providing help (1 directrices evaluable)
- 10.3 Making Web user interfaces error-tolerant(2 directrices evaluables)
- 10.4 URL names (1 directrices evaluable)
- 10.5 Acceptable download times (1 directrices evaluable)
- 10.6 Using generally accepted technologies and standards(1 directrices evaluable)
- 10.7 Supporting common technologies(1 directrices evaluable)
- 10.8 Making Web user interfaces robust(1 directrices evaluable)
- 10.9 Designing for input device independence(1 directrices evaluable)
- 10.10 Making the user interface of embedded objects usable and accessible

ISO 13407:1999. Human centred design processes for interactive systems

La ISO 13407:1999 ha sido revisada por la ISO 9241-210:2010 Ergonomics of human-system interaction – Part 210: Human-centred design for interactive systems.

La ISO 13407 proporciona una guía para alcanzar la calidad en el uso mediante la incorporación de actividades de naturaleza iterativa involucradas en el Diseño Centrado en el Usuario (DCU).

El Diseño Centrado en el Usuario (DCU) lo describe como una actividad multidisciplinar, que incluye factores humanos y conocimientos y técnicas de ergonomía con el objetico de mejorar la efectividad y eficiencia, las condiciones de trabajo y contrarrestar los posibles efectos adversos de su uso.

Describe los cuatro principios del Diseño Centrado en el Usuario:

Involucrar activamente a los usuarios
Asignación adecuada de funciones al sistema y el usuario
Soluciones de diseño iterativas
Diseño multidisciplinar

Y las cuatro actividades del Diseño Centrado en el Usuario:

Entender y especificar el contexto de uso
Especificar los requisitos del usuario y de la organización
Producir más de una solución de diseño candidata
Contrastar los diseños con los requisitos

Estándar ISO 13407. Se muestran las cuatro características enunciadas alrededor del texto El sistema satisface los requisitos del usuario y de la organización

Figura 1. Imagen tomada de [MONTERO, 2008, pág.6]

Como he dicho, la ISO 13407 ha sido revisada por la ISO 9241-210:2010 Ergonomics of human-system interaction – Part 210: Human-centred design for interactive systems que describe seis principios clave que caracterizan al Diseño Centrado en el Usuario [TRAVIS, 2011]:

El diseño está basado en una comprensión explícita de usuarios, tareas y entornos.
Los usuarios están involucrados durante el diseño y el desarrollo.
El diseño está dirigido y refinado por evaluaciones centradas en usuarios.
El proceso es iterativo.
El diseño está dirigido a toda la experiencia del usuario.
El equipo de diseño incluye habilidades y perspectivas multidisciplinares

Orientados al producto: ISO 9126 e ISO 14598

ISO 9126 Software engineering — Product quality

Es un estándar para evaluar la calidad del software. Esta dividida en cuatro partes:

ISO/IEC 9126‐1: 2001 : presenta el modelo de calidad que clasifica la calidad del software en un conjunto estructurado de características: funcionalidad, fiabilidad, usabilidad, eficiencia, mantenibilidad y portabilidad.
Define la usabilidad como la capacidad que tiene un producto software para ser entendido, aprendido, operable, atractivo para el usuario y conforme a estándares/guías, cuando es utilizado bajo unas condiciones específicas.
Por ello la usabilidad se divide en las siguientes subcaracterísticas:
- Fácil de aprender: capacidad para ser aprendido en su manejo
- Fácil de entender: capacidad del producto de ser entendido por nuevos usuarios en términos de su propósito y cómo puede ser usado en tareas específicas.
- Fácil de operar: capacidad del producto de ser operado y controlado en cualquier momento.
- Atractivo: capacidad del producto de ser atractivo para sus usuarios.
- Conformidad: capacidad del producto para adherirse a estándares, convenciones, guías de estilo o regulaciones relacionadas con la usabilidad.
Figura 2. Modelo de calidad ISO/IEC 9126-1
ISO/IEC 9126‐2:2003 : describe las métricas externas que se pueden utilizar para evaluar el comportamiento del software cuando es operado por el usuario.
ISO/IEC 9126‐3:2003 : describe las métricas internas que se pueden utilizar para describir propiedades estáticas de la interfaz, que puede ser evaluadas por la inspección sin poner en funcionamiento el software.
ISO/IEC 9126‐4:2004 : describe las métricas de calidad que se pueden utilizar para evaluar el efecto del producto software cuando son operados por el usuario en determinados contextos de uso. Las métricas definidas son:
- Efectividad (el método de aplicación definido para las tres es el test con usuarios)
  - Efectividad de las tareas: ¿qué proporción de objetivos de las tareas son logrados correctamente?
  - Tareas completadas, ¿qué proporción de tareas son completadas?
  - Frecuencia de los errores
- Productividad (el método de aplicación definido para todas es el test con usuarios)
  - Tiempo de las tareas, ¿cuánto tiempo lleva completar una tarea?
  - Efectividad de las tareas, ¿cuán eficientes son los usuarios?
  - Productividad económica, ¿cómo de rentable es el usuario?
  - Porcentaje de producción, ¿qué proporción de tiempo dedica el usuario a acciones productivas?
  - Eficiencia relativa de los usuarios, ¿cómo de eficiente es el usuario comparado con un experto?
- Seguridad (el método de aplicación definido para todos es el uso de estadísticas)
  - Salud y seguridad del usuario, ¿cuál es la frecuencia de problemas de salud entre usuarios del producto?
  - Seguridad de las personas afectadas por el uso del sistema, ¿cuál es la frecuencia de peligro para las personas afectadas por el uso del sistema?
  - Daños ergonómicos, ¿cuál es la frecuencia de daños ergonómicos?
  - Daños del software, ¿cuál es la frecuencia de la corrupción del software?
- Satisfacción
  - Escala de satisfacción, ¿cómo de satisfecho está el usuario?
  - Cuestionario de satisfacción, ¿cómo de satisfecho esta el usuario con características específicas del software?
  - Uso discrecional, ¿qué proporción de potenciales usuarios eligen el uso del sistema? El método de aplicación definido es la observación del uso.

Puesto que la ISO 9126 se limita a la especificación de un modelo de calidad general, esta se debe aplicar en conjunto con la ISO 14598.

ISO 14598 Information technology — Software product evaluation

La ISO 14598 es un estándar que proporciona un marco de trabajo para evaluar la calidad de todo tipo de producto software e indica los requisitos para los métodos de medición y el proceso de evaluación. Consta de seis partes:

ISO/IEC 14598‐1: 1999 : provee una visión general de las otras cinco partes y explica la relación entre la evaluación del producto software y el modelo de calidad definido en la ISO/IEC 9126
Figura 3. Imagen de [Férnandez-Martinez, 2009]
ISO/IEC 14598‐2: 2000 : contiene requisitos y guías para las funciones de soporte tales como la planificación y gestión de la evaluación del producto del software.
ISO/IEC 14598‐3: 2000 : provee los requisitos y guías para la evaluación del producto software cuando la evaluación es llevada a cabo en paralelo con el desarrollo por parte del desarrollador.
ISO/IEC 14598‐4:1999 : provee los requisitos y guías para que la evaluación del producto software sea llevada a cabo en función a los compradores que planean adquirir o reutilizar un producto de software existente o predesarrollado.
ISO/IEC 14598‐5: 1998 : provee los requisitos y guías para la evaluación del producto software cuando la evaluación es llevada a cabo por evaluadores independientes.
ISO/IEC 14598‐6:2001 : provee las guías para la documentación del módulo de evaluación.

Ventajas y desventajas de la definición de usabilidad como proceso y como producto

[Férnandez-Martinez, 2009] explica las ventajas y desventajas de la definición de la usabilidad como proceso o como producto vistas en el conjunto de normas anteriores:

Ventajas de la definición usabilidad como proceso:
Se identifican aspectos de usabilidad y componentes del contexto de uso que deben tenerse en cuenta en las fases de especificación de requisitos, diseño y evaluación de usabilidad.

El rendimiento y la satisfacción del usuario proporcionan medidas directas de usabilidad en un contexto específico.

Las medidas obtenidas proporcionan una base para comparar la usabilidad de varios diseños en un mismo contexto.

Desventajas de la definición usabilidad como proceso:
La usabilidad está estrictamente tratada desde una perspectiva de proceso, no centrada en el producto.

No tiene en cuenta la característica de “facilidad de aprendizaje”, siendo esta recomendada por otros estándares y expertos en usabilidad.

No tiene en cuenta aspectos de seguridad, considerados importantes por expertos del dominio.

Las ventajas de la definición de usabilidad como producto:
Existe un marco claramente definido y acordado en el modelo, que aclara la

Definición de usabilidad, y propone métricas para proporcionar evidencia objetiva de los logros.

Se puede utilizar como una referencia para los acuerdos contractuales entre un comprador y un proveedor de software, pudiendo ser utilizados además, para eliminar una serie de malentendidos entre el comprador y el proveedor.

Se propone un proceso de evaluación que puede ser adaptado a compradores, desarrolladores y evaluadores externos.

Desventajas de la definición de usabilidad como producto:
El conjunto de métricas se proporciona para sub‐características que a su vez engloban conceptos difícilmente medibles si no se descomponen en atributos

Existe superposición de conceptos, al definir usabilidad como una característica de calidad interna‐externa, y llamar calidad en uso a otras características también vinculadas a la usabilidad.

El tener por separado dos normas que se aplican conjuntamente produce inconsistencias en los ciclos de vida de ambas dificultando su uso.

ISO 25000 (SQUARE): unificación y revisión de los estándares ISO/IEC 9126 e ISO/IEC 14598

La ISO 25000:2005 se conoce como SQUARE (Software Quality Requirement Evaluation) y básicamente se trata de una unificación y revisión de los estándares ISO/IEC 9126 e ISO/IEC 14598.

Su objetivo principal es guiar el desarrollo de los productos de software con la especificación y evaluación de requisitos de calidad.

Calidad interna/externa: funcionalidad, portabilidad, mantenibilidad, eficiencia, usabilidad, fiabilidad

Figura 4. Imagen de [ISO25000.com]

La norma está formada por las siguientes divisiones [ISO25000.com, b]:

División de gestión de calidad (ISO/IEC 2500n): los estándares que forman esta división definen todos los modelos comunes, términos y referencias a los que se alude en las demás divisiones de SQuaRE.
División del modelo de calidad (ISO/IEC 25001n): el estándar que conforma esta división presenta un modelo de calidad detallado, incluyendo características para la calidad interna, externa y en uso.
División de mediciones de calidad (ISO/IEC 25002n): los estándares pertenecientes a esta división incluyen un modelo de referencia de calidad del producto software, definiciones matemáticas de las métricas de calidad y una guía práctica para su aplicación. Presenta aplicaciones de métricas para la calidad de software interna, externa y en uso.
División de requisitos de calidad (ISO/IEC 25003n): los estándares que forman parte de esta división ayudan a especificar los requisitos de calidad. Estos requisitos pueden ser usados en el proceso de especificación de requisitos de calidad para un producto software que va a ser desarrollado ó como entrada para un proceso de evaluación.
División de evaluación de la calidad (ISO/IEC 25004n): estos estándares proporcionan requisitos, recomendaciones y guías para la evaluación de un producto software, tanto si la llevan a cabo evaluadores, como clientes o desarrolladores.

En el modelo de calidad hay tres vistas del modelo según el contexto: modelo de calidad de software, modelo de calidad de datos y modelo de calidad en uso, que puede tener distintas vistas según la parte beneficiaria que consideremos (usuario final, organización y soporte técnico)

Considerando la vista del usuario final tendríamos una definición de usabilidad más cercana a la planteada en la ISO 9241‐11.

Figura 5. Imagen [Férnandez-Martinez, 2009]

En el modelo de calidad de software la usabilidad se mantiene como una característica más del producto, pero que se llama operabilidad, y tiene alguna diferencia respecto a la ISO 9126, siendo sus subcaracterísticas:

Fácil de aprender: capacidad para ser aprendido en su manejo
Fácil de entender: capacidad del producto de ser entendida por nuevos usuarios en términos de su propósito y cómo puede ser usado en tareas específicas.
Fácil de usar: capacidad del producto de ser operado y controlado en cualquier momento.
Atractivo: capacidad del producto de ser atractivo para sus usuarios.
Conformidad: capacidad del producto para adherirse a estándares, convenciones, guías de estilo o regulaciones relacionadas con la usabilidad.
Facilidad de ayuda: hace referencia al grado con el que el producto ofrece ayuda a los usuarios cuando la necesitan, algo que en la ISO 9126 se consideraba implícita en la facilidad de aprender.
Accesibilidad técnica: hace referencia a cómo el producto software puede ser usado por personas con discapacidad.

Tanto [Férnandez-Martinez, 2009, pp. 48 y ss] como [RUIZ MORILLA, 2009] comparan y enumeran las ventajas y desventajas de la ISO 25000 frente a sus predecesoras ISO/IEC 9126 y ISO/IEC 14598.

Aplicación práctica de los estándares formales en la evaluación heurística de la web

Hemos visto que la ISO 9126 es un estándar oficial de usabilidad orientado al producto que ha sido revisado en la ISO 25000.

Por otra parte, hemos visto que en estas normas se definen una serie de características y subcaracterísticas de la usabilidad.

¿Cómo podemos aplicarlo de forma práctica en la evaluación heurística de una web?

Una buena respuesta es mediante WUEP (Web Usability Evaluation Process), la tesina de Adrián Fernández Martínez [FERNANDEZ-MARTINEZ, 2009]

WUEP (Web Usability Evaluation Process)

La WUEP define un proceso genérico de usabilidad para metodologías de desarrollo Web basadas en modelos. Presenta una guía detallada para realizar evaluaciones de usabilidad integrando todos los atributos de usabilidad posibles desde la perspectiva del concepto de usabilidad que ofrece la ISO 25000 (SQUARE)

El modelo de usabilidad web tiene en cuenta la división en subcaracterísticas y el modelo de calidad propuesto por SQuaRE. Como están subcaracterísticas son muy genéricas y están a un alto nivel de abstracción, descompone dichas subcaracterísticas en atributos cercanos al dominio Web, intentando que las definiciones de las atributos se solapen lo mínimo posible entre ellas, con el objetivo de obtener un modelo de usabilidad lo más amplio posible centrado en el ámbito de las aplicaciones Web.

En esa extensión del modelo hacia productos Web se tienen en cuenta los criterios ergonómicos de [BASTIEN y SCAPIN, 1993], las pautas de usabilidad del Gobierno de EEUU [USABILITY.GOB] (conocidas como las HHS Guidelines), y otras métricas generalmente aceptadas con el objetivo de proveer un conjunto de métricas genéricas que puedan ser operacionalizadas en distintos niveles de abstracción y en distintos métodos de desarrollo Web.

Cada métrica tiene asociada un único atributo, pudiendo pertenecer este a cualquier vista del modelo, con el objetivo de descubrir problemas de usabilidad en base a los valores obtenidos de la métrica, pudiendo además cuantificar cómo dicho atributo afecta al nivel de usabilidad de la aplicación Web.

En este modelo hay dos tipos de evaluaciones uno sería el equivalente a una evaluación heurística, que a su vez puede ser de tres tipos: PIM o independiente de la plataforma, PSM o específico de una plataforma y CM o informe de usabilidad de la aplicación final; el segundo tipo de evaluación sería el de la evaluación de calidad en uso con test de usuarios.

Integración de evaluaciones de usabilidad en el contexto DSDM. Se asocia cada fase de desarrollo con un tipo de evaluación. Evaluación PIM en el análisis y desarrollo; evaluación PSM en la transformación en modelos; la evaluación CM en la generación de código; y la evaluación en uso en la aplicación final

Por otra parte, señalar que WUEP extiende y adapta el método de evaluación de calidad de la ISO 25004n para su integración en evaluaciones de usabilidad:

Proceso de evaluación de usabilidad WUEP en SPEM 2

Otras propuestas

Mplu+a

En el año 2004, Toni Granollers i Saltiveri [GRANOLLERS, 2004], profesor de la Universidad de Lleida, presentaba su tesis doctoral: "MPIu+a. Una metodología que integra la Ingeniería del Software, la Interacción Persona-Ordenador y la Accesibilidad en el contexto de equipos de desarrollo multidisplinares", una metodología que emplea los estándares ISO/IEC 9126 e ISO/IEC 9241, así como las guías de accesibilidad propuestas por el World Wide Web Consortium (W3C). La trate con detenimiento en [CARRERAS, 2008]

WebQEM

[OLSINA y ROSSI, 2002] especifican características y atributos basados en la norma ISO/IEC 9126-1, aplicando métricas para cuantificar los atributos.

WQM (Web Quality Model)

[CALERO et al.] establece características de calidad basadas en la ISO/IEC 9126-1 y los procesos del ciclo de vida de un sitio Web basándose en la ISO/IEC 12207. Incorpora un total de 326 métricas Web que han sido validadas teórica y/o empíricamente, indicando cuáles de ellas se prestan mejor a automatizar su cálculo. Ver la clasificación de sus métricas

QUIM (Quality in Use Integrated Measurement)

[Seffah et al.] se basa en la ISO 9241-11 y establece 10 subcaracterísticas que se descomponen en 26 atributos o criterios medibles. En el tercer nivel encontramos 127 métricas de usabilidad asociadas a los atributos. Posee una herramienta de gestión llamada QUIM Editor [STRIKE, 2003]

Referencias

AENOR (Asociación Española de Normalización y Certificación)

BASTIEN, J. M.; SCAPIN, D. L. (1993): “Ergonomic Criteria for the Evaluation of Human-Computer Interfaces”, version 2.1

BEVAN, N. (2005): "Guidelines and Standards for Web Usability"

- (2006): “International Standards for HCI” , mayo 2006

- BEVAN, N. , SPINHOF, L. (2007): “Are guidelines and standards for web usability comprehensive?”

- Nivel Began Published Papers: http://www.nigelbevan.com/cart.htm

CALERO, C.; RUIZ, J.; PIATTINI, M. (2005): “Classifying Web metrics using the Web Quality Model”. Emerald Group Publishing Limited. ISSN: 1468‐4527. Vol.29, nº 3, pp. 227‐248,

CARRERAS MONTOTO, O. (2008), “Metodología DCU MPlu+a”, marzo 2008

Comité Europeo de Normalización (CEN)

FERNANDEZ MARTINEZ, A. (2009): “WUEP: Un Proceso de Evaluación de Usabilidad Web Integrado en el Desarrollo de Software Dirigido por Modelos”

GRANOLLERS, T. (2004): “MPIu+a. Una metodología que integra la Ingeniería del Software, la Interacción Persona‐Ordenador y la Accesibiiad en el contexto de equipos de desarrollo multidisciplinares”. Tesis Doctoral, Departament de Llenguatges i Sistemas Informàtics. Universitat de Lleida

ISO25000.com: “Calidad del Producto Software y la norma ISO/IEC 25000”,

- [ISO25000.com, b]: “La Norma ISO/IEC 25000:2005”,

MONTERO SIMARRO, F. (2008): “Tema 2. El diseño centrado en el usuario”

OLSINA, L.; ROSSI, G. (2002): “Measuring Web Application Quality with WebQEM”. IEEE Multimedia, Vol. 9, nº 4, pp. 20‐29.

Organización Internacional de Estandarización (ISO)

RUIZ MORILLA, J.J. (2009): “ISO 9126 vs. SQuaRE”

SCALONE, F. (2006): “Estudio comparativo de los modelos y estándares de calidad del software”, junio de 2006

TRAVIS, D. (2011): “ISO 13407 is dead. Long live ISO 9241-210!”, Userfocus, 6/6/2011

TRAVIS, D. (2014): “Bluffers’ Guide to ISO 9241”, Userfocus, 9th Edition, October 2014

SEFFAH, A.; Donyaee, M.; Kline, R.B.; Padda, H.K. (2006): Usability measurement and metrics: A consolidated model . Software Quality Journal 14(2), pp. 159-178.

STRIKE, J. (2003): “QUIM Editor: a Tool for Quality in Use Measurement”

USABILITY.GOB: “Research-Based Web Design & Usability Guidelines”

USABILITYNET (2006): “International standards for HCI and usability”

Normas ISO referenciadas: