Medición de la readability o comprensión de los textos en español. Estado actual y retos.

Última actualización: 16 de agosto de 2017

Resumen:

En español readability lo traducimos como legibilidad lingüística, que es diferente de la legibilidad tipográfica. Nos referimos a la legibilidad que viene condicionada por el léxico y las construcciones gramaticales utilizadas, y no por el tamaño, forma o diseño de la fuente y sus caracteres. Otros autores lo traducen como comprensibilidad (también inteligibilidad, perspicuidad o lecturabilidad) pues lo que estamos intentando medir es la facilidad para comprender un texto.

El objetivo del artículo es evidenciar la problemática que tenemos actualmente para medir la readability de los textos en español, al contrario de lo que ocurre con los textos en inglés, para los cuales tenemos diferentes fórmulas y herramientas que las aplican.

El artículo termina describiendo una herramienta ideal que nos permita medir la readability de los textos en español, con fiabilidad, y en base a los diferentes parámetros que influyen en que un texto sea fácil o difícil de comprender. En última instancia se reflexiona sobre las limitaciones que puede tener medir automáticamente la legibilidad de un texto.

Comienzo repasando primero el estado de la medición de la readability de los textos en español e inglés, y las herramientas actualmente disponibles.

Medir la readability en inglés

Existen diversas fórmulas que buscan medir y conocer la legibilidad de un texto. Ofrecen una puntuación (cuanto más alta más fácil de leer) o el nivel de estudios necesario para comprender el texto.

Las fórmulas más conocidas son:

• Flesch-Kincaid (1975):
  • Flesch reading ease:

    206.835 - 1.015 (total words/total sentences) - 84.6 (total syllables/total words))

  • Flesch–Kincaid grade level:

    0.39 (total words/total sentences) + 11.8 (total syllables/total words) - 15.59

• SMOG (1969):

  grade = 1.0430 raíz de cuadrada de (number of polysyllables x (30 / number of sentences)) + 3.1291

• Gunning fog (1952):

  0.4 [(words / sentences) + 100 (complex words / words)]

• Coleman- Liau (1975):

  CLI = 0.0588 L - 0.296 S - 15.8

  Donde L es el número medio de letras por cada 100 palabras y S el número medio de frases por cada 100 palabras.

• Automated Readability Index (ARI):

  4.71 (characteres / words) + 0.5 (words / sentences) - 21.43

Vemos que tienen en cuenta el número de palabras y de oraciones. Las tres primeras se basan en sílabas por palabra y las dos últimas en caracteres por palabra, porque se parte de la hipótesis de que un texto es más fácil de leer cuanto más cortas son las palabras y frases que utiliza.

No es el objetivo del artículo profundizar en cual es mejor, sino en destacar que ninguna de estas fórmulas es válida para el español, su aplicación a otros idiomas carece de validez estadística. En español las palabras y las oraciones son más largas que en inglés.

Existen diversas herramientas (Readability Test, Readability Calculator o Readability Score) que evalúan la complejidad de los textos en base a una o varias de estas fórmulas. Además suelen informar de otros datos generales como el número de letras, sílabas, palabras, frases, etc.

Mis herramientas favoritas son:

TRAY Readability Tool

Es una extensión para Chrome y me gusta por la comodidad y sencillez que supone tener un icono en la barra de herramientas del navegador, pues de esta manera se puede evaluar cualquier página con un clic:

- TRAY Readability Tool -

Informa del número de letras y espacios (y caracteres en total); el número de frases y palabras; la media de caracteres por palabras; el número de palabras complejas; la media de palabras por frase; el número de sílabas; la puntuación alcanzada en los test: Gunning-Fog, Coleman-Liau, Flesch-Kincaid grade level y reading ease, SMOG y ARI.

Readability Score

Es una herramienta online que ofrece mucha información y bien estructurada, aunque el número de evaluaciones está limitada en la versión gratuita.

La información que aporta es:

• general: número de palabras, de frases, de caracteres, de sílabas, de sílabas por palabra, etc.)
• puntuación según diferentes índices: Gunning-Fog, Coleman-Liau, Flesch-Kincaid grade level y reading ease, SMOG, ARI y más
• otros datos: número de frases en pasiva, número de adverbios, si se está usando un lenguaje positivo o negativo, el tiempo que se estima necesario para leerlo (basado en 225 palabras por minuto) y para leerlo en voz alta (basado en 125 palabras por minuto), las palabras más utilizadas o las frases más largas.

- Readability Score -

También hay utilidades para procesadores de texto y programas locales de pago bastante completos como Readability Studio, que tiene estadísticas, gráficos, listado de palabras difíciles, etc.:

- Readability Studio -

Sin embargo, como ya he indicado, la puntuación en estos test no es válida para los textos en español. Tampoco lo será la información sobre frases en pasiva o el número de adverbios.

Medir la readability en español

Se pueden destacar dos adaptaciones del índice Flesch al español:

Flesch-Fernández Huerta (1959)

Índice Fdez-Huerta = 206.84 - (0.60 x P) - (1.02 x F)

Donde P es el número de sílabas por cada 100 palabras y F el número de frases por cada 100 palabras. Si un texto alcanza una puntuación entre 90-100 significa que es muy fácil de comprender (apto para 4º grado) y entre 0-30 muy difícil (propio de un nivel universitario).

Sin embargo a esta fórmula se le achaca que tiene un error y no es escalable:

Applying the same sanity check, we see that if the number of syllables per word increases, the score decreases, as expected; but if the number of sentences increases, the score also decreases. Now, if the number of sentences in a 100- word sample increases, each sentence must be getting shorter. That should make the readability of the passage increase, not decrease.

Disc: Error in the Fernandez Huerta Readability Formula, Elyssa Winzeler, 2011

Por otra parte, a Fernández Huerta también se le reprocha que no explicó su procedimiento de validación ni validó realmente la escala de interpretación de las puntuaciones.

Flesch-Szigriszt (1993)

IFSZ = 206.84 - (62.3 x Sílabas / Palabras) - Palabras / Frases)

Una puntuación 0-15 indica que el texto es muy difícil; y una puntuación mayor de 90 indica que es muy fácil.

Sin embargo, esta fórmula tampoco está exenta de controversias, como veremos en el siguiente apartado. Se le achaca que la validación de la escala de puntuaciones ha sido realizada con una muestra insuficiente, de conveniencia y no sistemática.

Grado en la Escala Inflesz y herramienta Inflesz

La tesis doctoral de Inés Mª Barrio Cantalejo es uno de los documento de referencia sobre el tema, y fue el origen de la herramienta Inflesz. En ella dice así:

De las fórmulas para la lengua española, el Índice de Legibilidad de Flesch-Szigriszt (IFSZ) debe considerarse de referencia en el momento actual. Sin embargo, la Escala del Nivel de Perspicuidad propuesta por Szigriszt para interpretar dicha fórmula, precisa adaptación, porque ha sido realizada con una muestra insuficiente, no representativa ni aleatoria de textos. No realizó una selección aleatoria de la muestra de estudio ni calculó un tamaño muestral representativo para poder generalizar sus conclusiones. Para comprobar la validez de esta escala Szigriszt, simplemente aplicó manualmente la Fórmula de Perspicuidad a dos muestras de textos de conveniencia.

La aplicación de IFSZ a una muestra representativa de 210 textos escritos en español ofrece como resultado una nueva escala de interpretación denominada “Escala INFLESZ”.

Tesis doctoral "Legibilidad y salud. Los métodos de medición de la legibilidad y su aplicación al diseño de folletos educativos sobre salud" (PDF), Inés Mª Barrio Cantalejo, 2007.

Describe con detalle la metodología en el capítulo 7, donde revisa las hipótesis de Szigriszt, utilizando una muestra de tamaño suficiente y aleatoria. A partir de los resultados de su investigación estable el grado en la escala Inflesz, que reajusta la escala Szigriszt:

- Comparativa de la escala de interpretación del índice de Flesch-Szigriszt por parte de Inflesz, Szigriszt y Flesch.-

El resultado final es una escala de interpretación de la puntuación de IFSZ diferente tanto a la "Escala de Nivel de Perspicuidad de Szigriszt" como a la escala original de la fórmula RES de Flesch. Esta nueva escala, basada en 5 niveles en vez de en 7 por simplicidad, se añade a la interpretación de los resultados del Índice de Flesch-Szigriszt en el programa Inflesz.

- Escala Inflesz -

Inflesz, resultado de esta tesis, es actualmente uno de las pocas herramientas disponibles para medir la legibilidad de textos en español.

Es una herramienta local y gratuita. Puedes descargarla en: INFLESZ es un programa de fácil y eficaz manejo para evaluar la legibilidad de los textos escritos.

Permite analizar tanto archivos completos como fragmentos de texto (pero no por introducción de URL). Calcula 9 parámetros útiles para evaluar la legibilidad de un texto escrito en español: Palabras, Sílabas, Frases, Promedio sílabas / palabra, Promedio palabras / frase, Índice Flesch-Szigriszt, Grado en la Escala Inflesz (explicado anteriormente), Correlación Word y Fórmula de Flesch-Fernández Huerta.

- Inflesz -

Leyendo la tesis completa no parece que se pueda encontrar ninguna pega a su metodología y conclusiones, ni he encontrado nadie que lo haga. Incluso las limitaciones que indica en las páginas 441-444, no parecen relevantes para el resultado.

Si hubiera que seleccionar por tanto la fórmula más adecuada hoy en día para medir la legibilidad de textos en español, creo que podemos decir que sería la fórmula de Flesch-Szigriszt, pero usando para la interpretación de la puntuación obtenida la escala de Inflesz ("Grado en la escala Inflesz").

Más fórmulas y herramientas

En la tesis de Inés Mª Barrio Cantalejo están todas recogidas, pero se puede consultar un listado más resumido en Fórmulas en español, de Weblegibilidad. Recoge estudios desde 1951 hasta 2002, muchos ligados al estudio de la legibilidad en el ámbito de la información sanitaria ofrecida a los ciudadanos.

De los no nombrados hasta ahora podemos destacar:

En 2001, José Antonio García López (García López JA. Legibilidad de los folletos informativos. Pharm Care Esp 2001; 3:49-56.) propone una ecuación basada en los mismos criterios que la de Flesch, aplicada al castellano, que permite medir la legibilidad de un texto y determinar el grado de legibilidad de dicho texto para lectores de una determinada edad.

Del texto de cada folleto se escoge una muestra de 100 palabras, procurando que cada muestra comience al inicio de un párrafo. Se cuenta el número total de sílabas y se calcula el promedio de sílabas por palabra, denominado SIL. A continuación, se busca la frase que termina lo más cerca posible de la palabra número 100 de la muestra, antes o después de ella. Se cuenta el número de frases y se divide el número total de palabras, que no es necesariamente 100, por el número de frases. El resultado se denomina PAL.

Con los valores promedio de sílabas por palabra (SIL) y de palabras por frase (PAL) se aplica la ecuación: EDAD= 7,1395 + 0,2495PAL + 6,4763SIL). El resultado informa sobre la edad, a la que le corresponde un determinado nivel de estudios, que debe tener un individuo para que el contenido de un folleto le resulte legible.

[..] Avila de Tomás y Veiga Paulet (Ávila de Tomás JF, Veiga Paulet JA. Legibilidad de la información sanitaria ofrecida a los ciudadanos. Una aproximación a través del índice de Flesch. Centro de Salud , 2002 : 589-597) han utilizado la fórmula de García López para medir la legibilidad de la información sanitaria ofrecida a los ciudadanos. La fórmula de Fernández Huerta se utilizó para conocer la legibilidad de las páginas Web de salud dirigidas a pacientes y lectores de la población general.

En Fórmulas en español, Weblegibilidad.

Otras herramientas específicas para medir la legibilidad de textos en español son:

• Legible.es, online y gratuita.

  

  - Legible.es -

  Ofrece el grado de legibilidad según los siguientes índices:

  • Fernández Huerta,
  • Gutiérrez,
  • Szigriszt-Pazos,
  • INFLESZ,
  • Legibilidad µ.

  Otros datos que ofrece son:

  • Estadísticas: letras por palabra, sílabas por palabra, etc.
  • Años de escuela para entenderlo.
  • Tiempo estimado de lectura.
  • Listado de palabras por orden de frecuencia.
  • Listado de palabras raras o mal escritas.
  • Listado de letras ordenadas por frecuencia.
• Legibilidad MU, online y gratuita. Solo utiliza el índice Legibilidad µ

Podríamos pensar que también podemos utilizar las "Estadísticas de legibilidad" de Word que se muestran al revisar la ortografía del texto:

- Estadísticas de legibilidad de Word -

Sin embargo, el apartado "Readability" de este informe de Word solo aparece cuando se evalúa un texto en inglés (por eso el texto de la pantalla está en inglés). Esto tiene su lógica porque las fórmulas Flesch aplicadas son las originales, las específicas para el inglés. No se aplican en ningún caso, aunque el texto esté en español, las adaptadas para este idioma. Por tanto tampoco podemos utilizar estos indicadores.

Lo que siempre podremos hacer, claro está, es coger la información genérica que da Word u otro programa (número de palabras, de frases, etc.) y aplicarla manualmente a la fórmula Flesch-Szigriszt, por ejemplo en una excel. Una vez que tenemos el resultado podemos consultar su correspondencia en la escala de interpretación de Inflezs y así conocer el grado de complejidad del texto.

Conclusiones. Reto para investigadores y desarrolladores

Hemos visto que existen pocas fórmulas para medir específicamente la legibilidad de los textos en español y que no exentas de controversias. Por otro lado, hay pocas herramientas para evaluar la legibilidad de los textos en español.

¿Cuáles serían las características de una herramienta ideal?

• Versión online y extensión para navegador (ya hemos visto las ventajas de TRAY Readability Tool).
• Posibilidad de evaluar mediante: URL (e idealmente un sitio completo), subir un fichero, escribir directamente el texto.
• Resultados presentados de manera clara y estructurada.
• Exportación de informes.
• Tipos de datos a mostrar:
  • Generales:
    • número de letras, espacios y caracteres en total
    • número de palabras y frases
    • media y porcentajes de caracteres por palabra
    • media y porcentajes de sílabas por palabra
    • media y porcentajes de palabras por frase
  • Puntuación:
    • hemos visto que la más fiable es la fórmula de Flesch-Szigriszt con la escala de interpretación de la puntuación de Inflesz (Grado en la escala Inflesz).
    • además del grado de dificultad, interesaría su correlación con el nivel de estudios y la edad asociada.
    • lo deseable sería incluir el mayor número de índices adaptados al español para poder comparar e incluso hacer la media. Sería interesante que la investigación avanzara en este sentido y se propusieran más adaptaciones o índices específicos para el español.
    • flexibilidad para poder añadir o modificar los índices.
  • Complementariamente a la puntuación, otra información relacionada con la complejidad de los textos. Esta es más difícil de calcular y no se tiene en cuenta en las fórmulas habituales. Sería un reto poder calcular los siguientes datos y poder relacionarlos de forma fiable con el cálculo de la puntuación, para subirla o bajarla:
    • Número de oraciones en voz pasiva. Puesto que el abuso de la voz pasiva esta relacionada con la complejidad de los texto.
    • Número y porcentaje de tipos de palabras (verbos, adverbios, conjunciones, etc.)
    • Número y porcentaje de oraciones en afirmativa o negativa, y especialmente de dobles negaciones, que reducen la comprensión.
    • Número y porcentaje de texto en otro idioma, puesto que esto evidentemente añade complejidad al texto.
    • Número y porcentaje de abreviaturas y acrónimos sin explicar.
    • El porcentaje de construcciones que no siguen el orden habitual sujeto + verbo + predicado.
    • Errores ortográfico y gramaticales.
  • Palabras y frases concretas:
    • Listado de las palabras más repetidas en el texto
    • Listado de las palabras más largas del texto
    • Listado de las frases más largas del texto
  • Tiempo de lectura y lectura en voz alta estimado, pero con posibilidad de poder personalizar el número de palabras por minuto en que se basa el cálculo.
• Poder guardar comparativas de versiones del mismo texto.
• Aprovechar el listado de la RAE de las 1.000/5.000/10.000 palabras más frecuentes en español para evaluar en qué porcentaje se están utilizando estas palabras (si el texto utiliza palabras sencillas y habituales es más sencillo).

  También permitiría poder ofrecer sinónimos para las palabras complejas. Se puede ver una aplicación práctica del listado de las 1000 palabras más frecuentes para ofrecer sinónimos en: Convertir a sencilla

  Otros autores (Rodríguez Diéguez, 1994) proponen contrastar los textos con el vocabulario usual de Lorenzo Delgado ("El vocabulario televisivo y su inserción en la enseñanza", 1981) obtenido a partir de una muestra de programas de televisión, aunque no sé su validez actual.

Sin embargo, es verdad que aunque pudiéramos calcular toda esta información e integrarla en la fórmula, una herramienta automática siempre tendrá sus limitaciones: no evaluará la adecuación y corrección del contenido, la organización adecuada del mensaje, la legibilidad de gráficas, tablas e ilustraciones, etc.

La legibilidad tipográfica puede ser un elemento tan determinante de la facilidad de lectura como la legibilidad lingüística medida por una fórmula. La legibilidad psicológica, que tiene que ver con elementos motivacionales, la conceptual, la estructural o la pragmática, de que habla Alliende, condicionan obviamente la dificultad de lectura de un texto.

Las experiencias anteriores, el interés previo por lo que va a leerse o el impacto emocional de lo que se va leyendo, condicionan sin duda la comprensión global de un texto. Nada de esto es medido por las fórmulas.

En Tesis doctoral "Legibilidad y salud. Los métodos de medición de la legibilidad y su aplicación al diseño de folletos educativos sobre salud" (PDF), Inés Mª Barrio Cantalejo, 2007.

También es cierto que la validación de una escala siempre es transitoria y circunstancial:

Esto es debido a que la dificultad que un lector encuentre en un texto va a depender de su nivel cultural y sus hábitos de lectura. A una sociedad que crezca en ambas dimensiones le va a resultar más fácil leer un texto que en otro momento de menos desarrollo cultural y de hábitos lectores. Por lo tanto es una escala que resulta válida sólo en las actuales circunstancias y que convendría revisar periódicamente para adaptarla a los cambios culturales y sociales.

Artículos relacionados:

• Reseña: "Cómo escribir para la Web" de Guillermo Franco
• Validadores y herramientas para consultorías de accesibilidad y usabilidad
• Glosario de usabilidad y accesibilidad web