Tema 1. Las principales concepciones de calidad en educación superior
El concepto de calidad en educación superior no es único, sino que presenta distintas dimensiones en función de las perspectivas de las partes interesadas (académica, social, económica y cultural) y de la intención y del alcance de la evaluación.
A lo largo de este tema se abordarán distintas perspectivas de la calidad: como las de excepción (excelencia), perfección (cero errores) o adecuación a los objetivos (fitness for purpose), entre otras. Para ello, recomendamos trabajar los siguientes recursos siguiendo el orden propuesto:
Recurso 1. Capítulo de libro imprescindible
Rodríguez Espinar, S. (2013). «El debate de la calidad en la educación superior». En: La evaluación de la calidad en la educación superior (págs. 15-48). Madrid: Editorial Síntesis.
A lo largo de tres décadas como profesor universitario, Sebastián Rodríguez Espinar, doctor en Pedagogía, ha dedicado su actividad docente e investigadora a la orientación académico-profesional y a la evaluación institucional de la calidad de la enseñanza universitaria.
En el capítulo propuesto se recopilan y analizan de manera crítica las diferentes perspectivas de la calidad en la educación superior. Después de haber leído con detenimiento este capítulo, se debería saber relacionar las distintas perspectivas de la calidad y poder contestar a las siguientes preguntas:
¿Cuáles son las principales definiciones del concepto calidad en educación?
¿Qué elemento/s las caracterizan?
¿Cuál es la diferencia entre fitness for purpose y fitness of purpose?
¿Cuál es la diferencia entre dimensión interna y externa?
Sabias que
Recurso 2. Artículo imprescindible
Harvey, L.; Green, D. (1993). Defining quality. Assessment and evaluation in higher education (vol. 18, n.º 1). Londres: Routledge.
Lee Harvey, doctor en Sociología, es un reconocido experto en el ámbito de la calidad de la educación superior, en el que se inició a finales de la década de 1980.
Este artículo, el más citado en el ámbito de la calidad en la educación superior, es el primero que sistematiza la definición de la calidad en educación. En él se describen cuatro acepciones de este concepto. Después de haberlo leído con detenimiento, se debería poder contestar a las siguientes preguntas:
¿Por qué calidad no es lo mismo que eficiencia?
¿Por qué calidad no es lo mismo que excelencia?
¿Qué quiere decir que la calidad es un concepto polisémico?
Sabias que
Recurso 3. Entrevistas (en formato vídeo) ilustrativas
3.1. Fragmento de la entrevista a Héctor Sauret, Argentina
3.2. Fragmento de la entrevista a Manuel Cortés Fontcuberta Abucci, Perú
3.3. Fragmento de la entrevista a Francisco Marmolejo, del Banco Mundial
Se presentan segmentos de tres entrevistas a personas cuya opinión tiene una cierta relevancia y las cuales provienen de contextos muy distintos. Cada uno define qué entiende por calidad. Las entrevistas muestran definiciones dispares en algunos aspectos, lo cual nos hace evidente la importancia del contexto en la concepción de la calidad.
El objetivo de estas entrevistas es poner en juego los conceptos de perspectiva y calidad presentados en los recursos anteriores.
Las preguntas que habría que poder responder después de la visualización de los tres fragmentos son las siguientes:
¿A qué perspectiva de calidad responden los fragmentos?
¿Se pueden entender las perspectivas de calidad sin su contexto de referencia?
Tema 2. La naturaleza compleja de la educación superior
Los sistemas de educación superior han evolucionado, y han pasado de la dicotomía clásica universidad pública-universidad privada a, por una parte, la mercantilización de la educación y sus consecuencias (inclusión en mercados abiertos y competitivos) y, por otra, a la diversificación de las modalidades educativas (uso intensivo de las tecnologías y de las redes sociales). En este contexto, los sistemas de evaluación de la calidad deben ser suficientemente flexibles para adaptarse a la realidad cambiante y para ser eficientes y útiles. En esta unidad se presentan dos temas no exentos de polémica: la naturaleza pública o privada del proveedor de educación superior, así como la naturaleza pública o privada del órgano responsable de la evaluación de la educación superior.
Recurso 1. Capítulo de libro imprescindible
Hunt, E. S.; Callender, C.; Parry, G. (2016). «Executive summary» [artículo en línea]. The entry and experience of private providers of higher education in six countries (págs. 6-10). Centre for Global Higher Education.
En el resumen ejecutivo de este informe se presentan las características comunes de los proveedores privados de educación superior, es decir, el desarrollo, el rol y la naturaleza, en seis países. Concluye con las lecciones aprendidas derivadas de este análisis para el Reino Unido.
Después de haber leído con detenimiento este recurso, se debería poder contestar a la siguiente pregunta:
¿Cuáles son los riesgos y beneficios de los proveedores de educación superior privados?
Sabias que
Recurso 2. Artículo en línea imprescindible
O’Malley, B. (2016). «Call to close largest college accreditation agency» [artículo en línea]. University World News (n.º 418). Higher Education Web Publishing Limited.
Este artículo presenta un caso real de conflicto de intereses en un organismo de evaluación de la calidad de la educación superior en Estados Unidos y sus consecuencias.
Después de haberlo leído con detenimiento, se debería poder contestar a la siguiente pregunta:
¿Cuáles son los riesgos y beneficios de los organismos de evaluación de educación superior privados?
Sabias que
Recurso 3. Entrevistas (en formato vídeo) ilustrativas
3.1. Fragmento de la entrevista a Héctor Sauret, Argentina
3.2. Fragmento de la entrevista a Manuel Cortés Fontcuberta Abucci, Perú
Se presentan dos fragmentos de entrevistas que proporcionan elementos de reflexión sobre la naturaleza compleja de la educación superior.
La pregunta que habría que poder responder después de la visualización del fragmento 3.1 es la siguiente:
¿Cuáles son los riesgos del monopolio estatal de la educación superior?
Sabias que
Las preguntas que habría que poder responder después de la visualización del fragmento 3.2 son las siguientes:
¿Qué opciones tiene un proveedor de educación superior cuando, en el contexto en el que desarrolla sus actividades, no existe un marco de evaluación de la calidad?
¿Qué diferencias existen entre calidad como mejora y calidad como cumplimiento?
Si definir la calidad en la educación superior es una empresa compleja, abastar los modelos de evaluación, los procesos y los diferentes agentes que intervienen no es menos complicado. Podríamos afirmar que la evaluación de la calidad, también en educación superior, se basa fundamentalmente en el ciclo de calidad y en el establecimiento de unos estándares de evaluación. La calidad no es solo es un concepto polisémico, como hemos visto en el tema 1, sino también multifacético.
Recurso 1. Capítulo de libro imprescindible
Rodríguez Espinar, S. (2013). «El debate de la calidad en la educación superior». En: La evaluación de la calidad en la educación superior (págs. 100-109). Madrid: Editorial Síntesis.
Hay que prestar especial atención a las figuras 4.1 y 4.2.
En las páginas propuestas se explica que la evaluación de la educación superior se basa en la espiral de la evaluación de la calidad. Además, se consideran cuatro componentes que han de ser evaluados en la unidad de enseñanza a nivel institucional: contexto, inputs, proceso y producto.
Figura 4.1. El proceso global de evaluación de la calidad de la enseñanzaFigura 4.2. El marco global de referencia para la evaluación de la calidad de la enseñanza superior
Después de haber leído con detenimiento este recurso, se debería poder contestar a las siguientes preguntas:
En cuanto a la espiral de la calidad (figura 4.1):
¿Qué parte es interna y qué parte es externa?
¿Por qué se dice que el proceso de la calidad es cíclico?
¿Cuáles son los elementos fundamentales que aseguran la calidad de un proceso de evaluación de la calidad?
En cuanto al mulifacetismo en la evaluación de un programa (figura 4.2):
¿Cuáles son los inputs?
¿Cuáles son los procesos?
¿Y la tipología de resultados?
Sabias que
Recurso 2. Vídeo ilustrativo de YouTube
Buzun-Miller, M.; Mainero, R. (2015). CIPP Model of evaluation de Daniel Stufflebeam [vídeo de YouTube].
La sigla CIPP representa los cuatro conceptos básicos del modelo: contexto, inputs, proceso y producto. Este enfoque, desarrollado a finales de la década de los años sesenta, busca mejorar y lograr la rendición de cuentas en la programación educativa mediante un enfoque de learning by doing.
3.1. Las funciones y los modelos de la evaluación de calidad
Los distintos modelos evaluativos deberían dar respuesta al contexto en el que se inscriben. El objetivo de este apartado es identificar, de manera muy somera, los modelos de evaluación y el rol de la garantía de la calidad en función de los problemas/cuestiones a resolver/tratar.
En las asignaturas La evaluación externa: finalidades, marcos regionales y estándares y Procesos y metodologías de evaluación externa se profundizará en los modelos de evaluación de la calidad existentes, tanto desde el punto de vista de su planteamiento y filosofía como desde su aplicación práctica. Aquí solo apuntaremos que la finalidad de la evaluación de la calidad en educación puede ser de una mera inspección, en la que se verifica que el objeto de evaluación cumple los requisitos establecidos, o puede estar orientada a la mejora. Los principios modernos de la evaluación y la gestión de la calidad (orientación al cliente, gestión por procesos, entre otros) influyen en la evaluación de la calidad educativa. Se ha incorporado la gestión de la calidad, cuyos orígenes están en el ámbito empresarial, en el mundo de la formación superior y en sus diferentes variantes, como los sistemas de control, de garantía, los planes de mejora y los mecanismos rendición de cuentas.
Recurso 1. Glosario imprescindible
Costes, N.; Helle, E. (eds.); Crozier, F.; Cullen, P.; Grifoll, J.; Harris, N.; Sohm, K. (2008). Quality procedures in the european higher education area and beyond: second ENQA survey. Helsinki: Asociación Europea para la Garantía de la Calidad de la Educación Superior (ENQA).
En el glosario propuesto por la Asociación Europea para la Garantía de la Calidad de la Educación Superior se recogen distintos modelos de evaluación de la calidad. Después de haberlo leído con detenimiento, se debería poder contestar a las siguientes preguntas:
¿Qué significa evaluar?
¿Qué significa acreditar?
¿Qué significa auditar?
¿Dónde residen las diferencias principales entre modelos?
Sabias que
Recurso 2. Tabla imprescindible
Jeliazkova, M.; Westerheijden, D. F. (2001). «A next generation of quality assurance models: on phases, levels and circles in policy development» [conferencia]. En: CHER 14th Annual Conference (tabla 1, pág. 3).
La tabla identificada como recurso imprescindible ayuda a visualizar el rol de la evaluación de la calidad en función de las cuestiones a tratar o resolver.
¿Crees que la propuesta de fases secuenciales que contiene la tabla se corresponde con la realidad? ¿Por qué?
Sabias que
Recurso 3. Artículo imprescindible
Westerheijden, D. F.; Stensaker, B.; Rosa, M. J.; Corbett, A. (2014). «Next generations, catwalks, random walks and arms races: Conceptualising the development of quality assurance schemes». En: European Journal of Education (vol. 49, nº. 3, págs. 421-434).
Donald F. Westerheijden es investigador principal del Centro de Estudios sobre Políticas de Educación Superior (CHEPS) de la Universidad de Twente (Países Bajos), donde desde hace más de veinte años coordina la investigación sobre la gestión de la calidad.
Este artículo presenta una tipología basada en la literatura de la garantía de la calidad. El documento aplica la tipología al desarrollo de la garantía de calidad en tres países; finalmente, se analizan las fortalezas y debilidades del enfoque de modelización a la luz de la evidencia empírica. El artículo concluye con un debate sobre las orientaciones futuras para el estudio comparativo del cambio de políticas en el Espacio Europeo de Educación Superior sobre la base de esta conceptualización de la evolución de la política de garantía de calidad.
Después de haberlo leído con detenimiento, se debería poder contestar a las siguientes preguntas:
¿Qué diferencia la evaluación de la calidad como estrategia de la evaluación de la calidad como opción simbólica?
¿Qué riesgos existen cuando la evaluación de la calidad no está consensuada entre la administración que la impulsa y las instituciones que la tienen que implantar?
Sabias que
Recurso 4. Capítulo de libro para profundizar
Rodríguez Espinar, S. (2013). «Los modelos de evaluación de la calidad en la educación Superior». En: La evaluación de la calidad en la educación superior (págs. 67-92). Madrid: Editorial Síntesis.
Este recurso está recomendado para aquellos estudiantes que necesiten profundizar en los modelos de evaluación de la calidad de la educación superior, teniendo en cuenta que es un tema que se trabaja en profundidad en las asignaturas La evaluación externa: finalidades, marcos regionales y estándares y Procesos y metodologías de evaluación externa.
Después de haberlo leído con detenimiento, se debería poder contestar a las siguientes preguntas:
¿Cuál es la diferencia entre un proceso orientado a la mejora y una acreditación?
¿Qué es una acreditación ex ante?
¿En qué se diferencian estos procesos con la auditoría de calidad?
Sabias que
Recurso 5. Entrevistas (en formato vídeo) ilustrativas
5.1. Fragmento de la entrevista a Héctor Sauret, Argentina
El entrevistado incide en los juicios colegiados y en la calidad como mejora.
5.2. Fragmento de la entrevista a Manuel Cortés Fontcuberta Abucci, Perú
El entrevistado contrasta la norma ISO con la acreditación institucional y programática.
5.3. Fragmento de la entrevista a Ronny Heintze, Alemania
El entrevistado presenta las ventajas y los inconvenientes de la acreditación de programas frente a la acreditación de instituciones.
Recurso 6. Informe para profundizar
Marmolejo, F. (2016). «Typology of tertiary education quality framework components». En: What matters most for tertiary education systems: a framework paper (nº. 11, págs. 36-38 y 49-50). Banco Mundial.
Este recurso ofrece una visión integrada que permite la autoevaluación del sistema de educación superior de un país, desde las políticas hasta los marcos regulatorios.
Después de haberlo leído con detenimiento, se debería poder contestar a la siguiente pregunta:
¿Cuál sería la puntuación de mi país en el subestándar 5.1, «Accreditation and institutional quality standards», del estándar 5 de garantía de calidad?
Sabias que
3.2. Los grupos de interés
En la evaluación de la calidad intervienen distintos agentes que, como hemos visto anteriormente, aportan distintas perspectivas al concepto de calidad. La integración de los agentes implica una visión rica y compleja de la realidad evaluada.
Los agentes se pueden clasificar de distintas maneras. Una de ellas es según si son internos o externos a la institución educativa. Entre los internos, se encuentran responsables académicos, estudiantes, personal docente e investigador, personal de administración y servicios; entre los externos, graduados, ocupadores, futuros estudiantes, familias, gobiernos, etc. Los agentes tienen distintos roles en el proceso evaluativo: expertos académicos, profesionales y estudiantes, metodólogos, entre otros. Cada grupo o agente aporta su visión e incide en la mejora de la calidad, y debe actuar con independencia y evitar el conflicto de intereses.
Las diferentes perspectivas que los grupos de interés aportan a la concepción de la calidad se vuelven a mencionar en la asignatura La evaluación externa: Finalidades, marcos regionales y estándares.
Entrevistas (en formato vídeo) ilustrativas
1.1. Fragmento de la entrevista a Héctor Sauret, Argentina
1.2. Fragmento de la entrevista a Manuel Cortés Fontcuberta Abucci, Perú
1.3. Fragmento de la entrevista a Francisco Marmolejo, del Banco Mundial
Se presentan tres fragmentos de entrevistas en los que se menciona el rol de los principales agentes de interés.
Las preguntas que habría que poder responder después de la visualización de los tres fragmentos son las siguientes:
¿Cuáles son los agentes o grupos de interés implicados en la garantía de la calidad de la educación superior?
Tema 4. Órganos e instituciones públicos y privados cuya misión es evaluar la calidad de la educación superior
Las agencias de evaluación de la calidad y/o comisiones de acreditación son los órganos o instituciones cuya misión principal es, como su nombre indica, evaluar la calidad de la educación superior. Estos organismos tienen distintos enfoques, funciones y características. Pueden ser públicos o privados, según su financiación; generalistas o temáticos, según su objeto de evaluación, y pueden operar a nivel nacional o internacional, según sus certificaciones. Las agencias comparten objetivos en un mundo globalizado y se organizan en redes nacionales, internacionales y temáticas.
Recurso 1. Módulo imprescindible
Herruzo, C. (2017). Redes, organismos y agencias. Panorama internacional. Barcelona: Universitat Oberta de Catalunya.
La práctica de la garantía de la calidad en educación superior la desarrollan un conjunto de organismos que, entre sus funciones, asumen la evaluación de la calidad de instituciones y programas de educación superior. Se trata de unidades organizativas que tienen una identidad institucional formalmente separada de cualquier dependencia gubernamental o ministerial y una estructura organizativa propia. En este recurso se presenta un repaso general, aunque no exhaustivo, del panorama internacional de agencias, organismos y redes de garantía de la calidad en educación superior por áreas geográficas.
Después de haber leído con detenimiento este recurso, se debería poder contestar a las siguientes preguntas:
¿Qué naturaleza, enfoque y alcance pueden presentar los organismos de evaluación de la calidad de la educación superior?
¿Cuáles son las características comunes de estos organismos si se observan a nivel regional? ¿A qué responden en cada caso?
¿Qué ventajas tiene para los organismos de evaluación de la calidad de la educación superior participar en redes o asociaciones? ¿Y riesgos?
Sabias que
Recurso 2. Entrevistas (en formato vídeo) complementarias
Se presentan dos fragmentos de entrevistas que mencionan el rol de los organismos de evaluación de la calidad de la educación superior.
2.1. Fragmento de la entrevista a Francisco Marmolejo, del Banco Mundial
El entrevistado repasa los organismos supranacionales de evaluación de la calidad.
2.2. Fragmento de la entrevista a Manuel Cortés Fontcuberta Abucci, Perú
El entrevistado plantea las alternativas que buscan universidades que desean impulsar la evaluación de la calidad en contextos en los que no existe un marco estatal de evaluación de la calidad.
Tema 5. El impacto de la evaluación de la calidad en educación superior
La lógica de los procesos de evaluación (evaluar para mejorar) debe ser aplicada a los propios procesos evaluativos (¿sirven para mejorar?). Las agencias de evaluación y las comisiones de acreditación aplican, de manera sistemática, metodologías para mejorar sus procesos: los llamados procesos de metaevaluación. La evaluación del impacto es una evaluación orientada a los resultados, que tiene por objetivo determinar, en primer lugar, si se ha producido un cambio, y, en segundo lugar, si este cambio ha sido fruto del proceso evaluativo (y no de otros procesos concomitantes).
Recurso 1. Módulo imprescindible
Prades, A. (2017). La evaluación del impacto de los procesos de evaluación de la calidad. Barcelona: Universitat Oberta de Catalunya.
En este módulo se expone cómo las agencias de calidad rinden cuenta de sus actividades y procesos. Se presentan las acciones y metodologías más usuales hasta el momento, se abordan sus fortalezas y debilidades y se prosigue con una definición de la evaluación del impacto.
Después de haber leído con detenimiento este módulo, se debería poder contestar a las siguientes preguntas:
¿A qué se debe la preocupación de las agencias externas de calidad por evaluar sus actividades?
¿Cuáles son los retos de la evaluación del impacto de la evaluación de la calidad?
¿En qué consisten los procesos de metaevaluación? ¿Qué tipología de procesos se lleva a cabo?
¿En qué se diferencia la evaluación del impacto de los procesos de metaevaluación?
