Tema 1. Les principals concepcions de qualitat en educació superior
El concepte de qualitat en educació superior no és únic, sinó que presenta diferents dimensions en funció de les perspectives de les parts interessades (acadèmica, social, econòmica i cultural) i de la intenció i l’abast de l’avaluació.
Al llarg d’aquest tema s’abordaran diferents perspectives de la qualitat: com les d’excepció (excel·lència), perfecció (zero errors) o adequació als objectius (fitness for purpose), entre d’altres. Amb aquest objectiu, recomanem treballar els recursos següents seguint l’ordre proposat:
Recurs 1. Capítol de llibre imprescindible
Rodríguez Espinar, S. (2013). «El debate de la calidad en la educación superior». A: La evaluación de la calidad en la educación superior (pàgs. 15-48). Madrid: Editorial Síntesis.
Al llarg de tres dècades com a professor universitari, Sebastián Rodríguez Espinar, doctor en Pedagogia, ha dedicat la seva activitat docent i investigadora a l’orientació academicoprofessional i a l’avaluació institucional de la qualitat de l’ensenyament universitari.
En el capítol proposat es recopilen i s’analitzen de manera crítica les diferents perspectives de la qualitat en l’educació superior. Després d’haver llegit amb deteniment aquest capítol, s’hauria de saber relacionar les diferents perspectives de la qualitat i poder contestar a les preguntes següents:
Quines són les principals definicions del concepte qualitat en educació?
Quin element/s les caracteritzen?
Quina és la diferència entre fitness for purpose i fitness of purpose?
Quina és la diferència entre dimensió interna i externa?
Sabias que
Recurs 2. Article complementari
Harvey, L.; Green, D. (1993). Defining quality. Assessment and evaluation in higher education (vol. 18, núm. 1). Londres: Routledge.
Lee Harvey, doctor en Sociologia, és un reconegut expert en l’àmbit de la qualitat de l’educació superior, en el qual es va iniciar al final de la dècada de 1980.
Aquest article, el més citat en l’àmbit, és el primer que sistematitza la definició de la qualitat en educació. S’hi descriuen quatre accepcions d’aquest concepte. Després d’haver-lo llegit amb deteniment, s’hauria de poder contestar a les preguntes següents:
Per què qualitat no és el mateix que eficiència?
Per què qualitat no és el mateix que excel·lència?
Què vol dir que la qualitat és un concepte polisèmic?
Sabias que
Recurs 3. Entrevistes (en format vídeo) il·lustratives
3.1. Fragment de l’entrevista a Héctor Sauret, Argentina
3.2. Fragment de l’entrevista a Manuel Cortés Fontcuberta Abucci, Perú
3.3. Fragment de l’entrevista a Francisco Marmolejo, del Banc Mundial
Es presenten segments de tres entrevistes a persones, la opinió de les quals té una certa rellevància i que provenen de contextos molt diferents. Cadascú defineix què entén per qualitat. Les entrevistes mostren definicions dispars en alguns aspectes, la qual cosa evidencia la importància del context en la concepció de la qualitat.
L’objectiu d’aquestes entrevistes és posar en joc els conceptes de «perspectiva» i «qualitat» presentats en els recursos anteriors.
Les preguntes que caldria poder respondre després de la visualització dels tres fragments són les següents:
A quina perspectiva de qualitat responen els fragments?
Es poden entendre les perspectives de qualitat sense el seu context de referència?
Tema 2. La naturalesa complexa de l’educació superior
Els sistemes d’educació superior han evolucionat, i han passat de la dicotomia clàssica universitat pública / universitat privada a, d’una banda, la mercantilització de l’educació i les seves conseqüències (inclusió en mercats oberts i competitius) i, d’altra, a la diversificació de les modalitats educatives (ús intensiu de les tecnologies i de les xarxes socials). En aquest context, els sistemes d’avaluació de la qualitat han de ser prou flexibles per adaptar-se a la realitat canviant i per ser eficients i útils. En aquesta unitat es presenten dos temes no exempts de polèmica: la naturalesa pública o privada del proveïdor d’educació superior, a més de la naturalesa pública o privada de l’òrgan responsable de l’avaluació de l’educació superior.
Recurs 1. Capítol de llibre imprescindible
Hunt, E. S.; Callender, C.; Parry, G. (2016). «Executive summary» [article en línia]. The entry and experience of private providers of higher education in six countries (pàgs. 6-10). Centre for Global Higher Education.
En el resum executiu d’aquest informe es presenten les característiques comunes dels proveïdors privats d’educació superior, és a dir, el desenvolupament, el paper i la natura, en sis països. Conclou amb les lliçons apreses derivades d’aquesta analiza al Regne Unit.
Després d’haver llegit amb deteniment aquest recurs, s’hauria de poder contestar a la pregunta següent:
Quins són els riscos i beneficis dels proveïdors d’educació superior privats?
Sabias que
Recurs 2. Article en línia imprescindible
O’Malley, B. (2016). «Call to close largest college accreditation agency» [article en línia]. University World News (núm. 418). Higher Education Web Publishing Limited.
Aquest article presenta un cas real de conflicte d’interessos en un organisme d’avaluació de la qualitat de l’educació superior als Estats Units i les seves conseqüències.
Després d’haver-lo llegit amb deteniment, s’hauria de poder contestar a la pregunta següent:
Quins són els riscos i beneficis dels organismes d’avaluació d’educació superior privats?
Sabias que
Recurs 3. Entrevistes (en format vídeo) il·lustratives
3.1. Fragment de l’entrevista a Héctor Sauret, Argentina
3.2. Fragment de l’entrevista a Manuel Cortés Fontcuberta Abucci, Perú
Es presenten dos fragments d’entrevistes que proporcionen elements de reflexió sobre la naturalesa complexa de l’educació superior.
La pregunta que caldria poder respondre després de la visualització del fragment 3.1 és la següent:
Quins són els riscos del monopoli estatal de l’educació superior?
Sabias que
Les preguntes que caldria poder respondre després de la visualització del fragment 3.2 són les següents:
Quines opcions té un proveïdor d’educació superior quan, en el context en el qual desenvolupa les seves activitats, no existeix un marc d’avaluació de la qualitat?
Quines diferències hi ha entre qualitat com a millora i qualitat com a compliment?
Si definir la qualitat en l’educació superior és una empresa complexa, incloure els models d’avaluació, els processos i els diferents agents que hi intervenen no és menys complicat. Podríem afirmar que l’avaluació de la qualitat, també en educació superior, es basa fonamentalment en el cicle de qualitat i en l’establiment d’uns estàndards d’avaluació. La qualitat no és només un concepte polisèmic, com hem vist en el tema 1, sinó també multifacètic.
Recurs 1. Capítol de llibre imprescindible
Rodríguez Espinar, S. (2013). «El debate de la calidad en la educación superior». A: La evaluación de la calidad en la educación superior (pàgs. 100-109). Madrid: Editorial Síntesis.
Cal prestar especial atenció a les figures 4.1 i 4.2.
A les pàgines propostes s’explica que l’avaluació de l’educació superior es basa en l’espiral de l’avaluació de la qualitat. A més, es consideren quatre components que han de ser avaluats en la unitat d’ensenyament a nivell institucional: context, inputs, procés i producte.
Figura 4.1. El procés global d’avaluació de la qualitat de l’ensenyamentFigura 4.2. El marc global de referència per a l’avaluació de la qualitat de l’ensenyament superior
Després d’haver llegit amb deteniment aquest recurs, s’hauria de poder contestar a les preguntes següents:
Pel que fa a l’espiral de la qualitat (figura 4.1):
Quina part és interna i quina part és externa?
Per què es diu que el procés de la qualitat és cíclic?
Quins són els elements fonamentals que asseguren la qualitat d’un procés d’avaluació de la qualitat?
Pel que fa al multifacetisme en l’avaluació d’un programa (figura 4.2):
Quins són els inputs?
Quins són els processos?
I la tipologia de resultats?
Sabias que
Recurs 2. Vídeo il·lustratiu de YouTube
Buzun-Miller, M.; Mainero, R. (2015). CIPP Model of evaluation de Daniel Stufflebeam [vídeo de YouTube].
La sigla CIPP representa els quatre conceptes bàsics del model: context, inputs, procés i producte. Aquest enfocament, desenvolupat al final de la dècada dels anys seixanta, busca millorar i aconseguir la rendició de comptes en la programació educativa mitjançant un enfocament de learning by doing.
3.1. Les funcions i els models de l’avaluació de qualitat
Els diferents models d’avaluació haurien de donar resposta al context en el qual s’inscriuen. L’objectiu d’aquest apartat és identificar, de manera molt succinta, els models d’avaluació i el paper de la garantia de la qualitat en funció dels problemes/qüestions per resoldre/tractar.
A les assignatures L’avaluació externa: finalitats, marcs regionals i estàndards i Processos i metodologies d’avaluació externa s’aprofundirà en els models d’avaluació de la qualitat existents, tant des del punt de vista del seu plantejament i filosofia com des de la seva aplicació pràctica. Aquí només apuntarem que la finalitat de l’avaluació de la qualitat en educació pot ser d’una simple inspecció, en la qual es verifica que l’objecte d’avaluació compleix els requisits establerts, o pot estar orientada a millorar. Els principis moderns de l’avaluació i la gestió de la qualitat (orientació al client, gestió per processos, entre d’altres) influeixen en l’avaluació de la qualitat educativa. S’ha incorporat la gestió de la qualitat, els orígens de la qual estan en l’àmbit empresarial, en el món de la formació superior i en les seves diferents variants, com els sistemes de control, de garantia, els plans de millora i els mecanismes de rendició de comptes.
Recurs 1. Glossari imprescindible
Costes, N.; Helle, E. (eds.); Crozier, F.; Cullen, P.; Grifoll, J.; Harris, N.; Sohm, K. (2008). Quality procedures in the european higher education area and beyond: second ENQA survey. Helsinki: Associació Europea per a la Garantia de la Qualitat de l’Educació Superior (ENQA).
En el glossari proposat per l’Associació Europea per a la Garantia de la Qualitat de l’Educació Superior es recullen diferents models d’avaluació de la qualitat. Després d’haver-lo llegit amb deteniment, s’hauria de poder contestar a les preguntes següents:
Què vol dir avaluar?
Què vol dir acreditar?
Què vol dir auditar?
On resideixen les diferències principals entre models?
Sabias que
Recurs 2. Article imprescindible
Westerheijden, D. F.; Stensaker, B.; Rosa, M. J.; Corbett, A. (2014). «Next generations, catwalks, random walks and arms races: Conceptualising the development of quality assurance schemes». A: European Journal of Education (vol. 49, núm. 3, pàg. 421-434).
Donald F. Westerheijden és un dels investigadors principals del Centre d’Estudis sobre Polítiques d’Educació Superior (CHEPS) de la Universitat de Twente (Països Baixos), on des de fa més de vint anys coordina la investigació sobre la gestió de la qualitat.
Aquest article presenta una tipologia basada en la literatura de la garantia de la qualitat. El document aplica la tipologia al desenvolupament de la garantia de qualitat en tres països; finalment, s’analitzen les fortaleses i debilitats de l’enfocament de modelització a la llum de l’evidència empírica. L’article conclou amb un debat sobre les orientacions futures per a l’estudi comparatiu del canvi de polítiques en l’Espai Europeu d’Educació Superior sobre la base d’aquesta conceptualització de l’evolució de la política de garantia de qualitat.
Després d’haver-lo llegit amb deteniment, s’hauria de poder contestar a les preguntes següents:
Què diferencia l’avaluació de la qualitat com a estratègia de l’avaluació de la qualitat com a opció simbòlica?
Quins riscos hi ha quan l’avaluació de la qualitat no està consensuada entre l’administració que la impulsa i les institucions que l’han de implantar?
Sabias que
Recurs 3. Article il·lustratiu
Jeliazkova, M.; Westerheijden, D. F. (2001). «A next generation of quality assurance models: on phases, levels and circles in policy development» [conferència]. A: CHER 14th Annual Conference (taula 1, pàg. 3).
La taula identificada com a recurs ajuda a visualitzar el paper de l’avaluació de la qualitat en funció de les qüestions que s’han de tractar o resoldre.
Creus que la proposta de fases seqüencials que conté la taula es correspon amb la realitat? Per què?
Sabias que
Recurs 4. Capítol de llibre per aprofundir
Rodríguez Espinar, S. (2013). «El debate de la calidad en la educación superior». A: La evaluación de la calidad en la educación superior (pàg. 67-92). Madrid: Editorial Síntesis.
Aquest recurs es recomana a aquells estudiants que necessitin aprofundir en els models d’avaluació de la qualitat de l’educació superior, tenint en compte que és un tema que es treballa en profunditat en les assignatures L’avaluació externa: finalitats, marcs regionals i estàndards i Processos i metodologies d’avaluació externa.
Després d’haver-lo llegit amb deteniment, s’hauria de poder contestar a les preguntes següents:
Quina és la diferència entre un procés orientat a la millora i una acreditació?
Què és una acreditació ex ante?
En què es diferencien aquests processos amb l’auditoria de qualitat?
Sabias que
Recurs 5. Entrevistes (en format vídeo) il·lustratives
5.1. Fragment de l’entrevista a Héctor Sauret, Argentina
L’entrevistat incideix en els judicis col·legiats i en la qualitat com a millora.
5.2. Fragment de l’entrevista a Manuel Cortés Fontcuberta Abucci, Perú
L’entrevistat contrasta la norma ISO amb l’acreditació institucional i programàtica.
5.3. Fragment de l’entrevista a Ronny Heintze, Alemanya
L’entrevistat presenta els avantatges i els inconvenients de l’acreditació de programes davant de l’acreditació d’institucions.
Recurs 6. Informe per aprofundir
Marmolejo, F. (2016). «Typology of tertiary education quality framework components». A: What matters most for tertiary education systems: a framework paper (núm. 11, pàg. 37-38). Banc Mundial.
Aquest recurs ofereix una visió integrada que permet l’autoavaluació del sistema d’educació superior d’un país, des de les seves polítiques fins als marcs reguladors.
Després d’haver-lo llegit amb deteniment, s’hauria de poder contestar a la pregunta següent:
Quina seria la puntuació del meu país al subestàndard 5.1, «Accreditation and institutional quality standards», de l’estàndard 5 de garantia de qualitat?
Sabias que
3.2. Els grups d’interès
En l’avaluació de la qualitat intervenen diferents agents que, com hem vist anteriorment, aporten diferents perspectives al concepte de qualitat. La integració dels agents implica una visió rica i complexa de la realitat avaluada.
Els agents es poden classificar de diferents maneres. Una d’elles és segons si són interns o externs a la institució educativa. Entre els interns es troben responsables acadèmics, estudiants, personal docent i investigador, personal d’administració i serveis; entre els externs, graduats, ocupadors, futurs estudiants, famílies, governs, etc. Els agents tenen diferents rols en el procés d’avaluació: experts acadèmics, professionals i estudiants, metodòlegs, entre d’altres. Cada grup o agent aporta la seva visió i incideix en la millora de la qualitat; ha d’actuar amb independència i evitar el conflicte d’interessos.
Les diferents perspectives que els grups d’interès aporten a la concepció de la qualitat es tornen a esmentar en l’assignatura L’avaluació externa: Finalitats, marcs regionals i estàndards.
Entrevistes (en format vídeo) imprescindibles
1.1. Fragment de l’entrevista a Héctor Sauret, Argentina
1.2. Fragment de l’entrevista a Manuel Cortés Fontcuberta Abucci, Perú
1.3. Fragment de l’entrevista a Francisco Marmolejo, del Banc Mundial
Es presenten tres fragments d’entrevistes en què s’esmenta el paper dels principals agents d’interès.
Les preguntes que caldria poder respondre després de la visualització dels tres fragments són les següents:
Quins són els agents o grups d’interès implicats en la garantia de la qualitat de l’educació superior?
Tema 4. Òrgans i institucions públiques i privades la missió de les quals és avaluar la qualitat de l’educació superior
Les agències d’avaluació de la qualitat o comissions d’acreditació són els òrgans o institucions la missió principal dels quals és, com el seu nom indica, avaluar la qualitat de l’educació superior. Aquests organismes tenen diferents enfocaments, funcions i característiques. Poden ser públics o privats, segons el seu finançament; generalistes o temàtics, segons el seu objecte d’avaluació, i poden operar a nivell nacional o internacional, segons les seves certificacions. Les agències comparteixen objectius en un món globalitzat i s’organitzen en xarxes nacionals, internacionals i temàtiques.
Recurs 1. Mòdul imprescindible
Herruzo, C. (2017). Xarxes, organismes i agències. Panorama internacional. Barcelona: Universitat Oberta de Catalunya.
La pràctica de la garantia de la qualitat en educació superior la desenvolupen un conjunt d’organismes que, entre les seves funcions, assumeixen l’avaluació de la qualitat d’institucions i programes d’educació superior. Es tracta d’unitats organitzatives que tenen una identitat institucional formalment separada de qualsevol dependència governamental o ministerial i una estructura organitzativa pròpia. En aquest recurs es presenta un repàs general, encara que no exhaustiu, del panorama internacional d’agències, organismes i xarxes de garantia de la qualitat en educació superior per àrees geogràfiques.
Després d’haver llegit amb deteniment aquest recurs, s’hauria de poder contestar a les preguntes següents:
Quina naturalesa, enfocament i abast poden presentar els organismes d’avaluació de la qualitat de l’educació superior?
Quines són les característiques comunes d’aquests organismes si s’observen a nivell regional? A què responen en cada cas?
Quins avantatges té per als organismes d’avaluació de la qualitat de l’educació superior participar en xarxes o associacions? I riscos?
Sabias que
Recurs 2. Entrevistes (en format vídeo) complementàries
Es presenten dos fragments d’entrevistes que esmenten el paper dels organismes d’avaluació de la qualitat de l’educació superior.
2.1. Fragment de l’entrevista a Francisco Marmolejo, del Banc Mundial
L’entrevistat repassa els organismes supranacionals d’avaluació de la qualitat.
2.2. Fragment de l’entrevista a Manuel Cortés Fontcuberta Abucci, Perú
L’entrevistat planteja les alternatives que busquen universitats que desitgen impulsar l’avaluació de la qualitat en contextos en què no hi ha un marc estatal d’avaluació de la qualitat.
Tema 5. L’impacte de l’avaluació de la qualitat en educació superior
La lògica dels processos d’avaluació (avaluar per millorar) ha de ser aplicada als propis processos d’avaluació (serveixen per millorar?). Les agències d’avaluació i les comissions d’acreditació apliquen, de manera sistemàtica, metodologies per millorar els seus processos: els anomenats processos de metavaluació. L’avaluació de l’impacte és una avaluació orientada als resultats, que té per objectiu determinar, en primer lloc, si s’ha produït un canvi, i, en segon lloc, si aquest canvi ha estat fruit del procés d’avaluació (i no d’altres processos concomitants).
Recurs 1. Mòdul imprescindible
Prades, A. (2017). L’avaluació de l’impacte dels processos d’avaluació de la qualitat. Barcelona: Universitat Oberta de Catalunya.
En aquest mòdul s’exposa com les agències de qualitat reten comptes de les seves activitats i dels seus processos. Es presenten les accions i metodologies més usuals fins al moment, s’aborden les seves fortaleses i debilitats i es prossegueix amb una definició de l’avaluació de l’impacte.
Després d’haver llegit amb deteniment aquest mòdul, s’hauria de poder contestar a les preguntes següents:
A què es deu la preocupació de les agències externes de qualitat per avaluar les seves activitats?
Quins són els reptes de l’avaluació de l’impacte de l’avaluació de la qualitat?
En què consisteixen els processos de metavaluació? Quina tipologia de processos es porta a terme?
En què es diferencia l’avaluació de l’impacte dels processos de metavaluació?
