¿La ANECA acredita y la Universidad se cualifica?

servicio1290504872528Unos de los temas más populares en este y otros blog de economistas académicos son precisamente los profesores universitarios y la universidad en general. Anteriormente hemos hablado sobre temas como la reforma de los grados universitarios o los sexenios. La reciente modificación de lo criterios para la acreditación del profesorado titular y catedrático merece también captar nuestra atención.

Podríamos interpretar el sistema de acreditación del profesorado como un vestigio nuestra tradición de derecho civil  según el cual un entidad pública (la ANECA) certifica la idoneidad de un candidato a profesor universitario. Para ello utiliza una serie de criterios, informes de evolución y comités que examinan la información aportada por el candidato a profesor. Es un hito importante en la carrera académica de cualquier profesor ya que la acreditación es la vía de acceso y promoción más habitual en la universidad española.

En los países anglosajones de derecho común no existe un accésit burocrático y la contratación se realiza de una manera parecida a la del sector privado conocido como tenure track. Se contrata un profesor de manera temporal tras una entrevista (normalmente impartiendo una clase o seminario). Pasado un tiempo (cinco años de media), una comisión académica determina si ha alcanzado el nivel necesario para incorporarse al claustro (normalmente por la calidad de las publicaciones). Este sistema sería el ideal si no fuera porque la realidad de nuestra universidad no es la ideal (como han puesto de manifiesto los recientes casos de plagio y endogamia). La acreditación de la ANECA es un primer filtro calidad ineficiente pero necesario. El día que no necesitemos la ANECA será una buena noticia, como se apunta aquí.

El nuevo sistema incluye novedades que van, a mi entender, en buena dirección. Sin embargo, si analizamos los incentivos que proporciona a los candidatos, plantea algunas dudas sobre si contribuirá a mejorar la calidad y competitividad universidad en un plazo razonable. La cuestión es, ¿qué universidad conformarán los doctorandos que se acrediten dentro 5 ó 10 años?

El sistema de acreditación es hoy por hoy un garante importante de la calidad de la enseñanza superior. Además del diseño institucional y recursos, calidad del profesorado  determina en buena medida la calidad de la enseñanza e investigación. El diseño del sistema de acceso y selección del profesorado influirá profundamente en la universidad. Por el lado positivo, los nuevos criterios priman el margen intensivo frente al extensivo. Se acabó la acumulación de micro-méritos, se reduce la burocracia y se premian méritos con mayúsculas.

Todo ello aumentado en algunos puntos la transparencia publicando explícitamente los criterios. En nuestro ámbito (la Economía) una catedrático notable debe publicar 12 JCR con la siguiente distribución: 8 publicaciones de Nivel 1 (JCR (Q1 o Q2) o SJR (Q1)) y 4 de Nivel 2 (JCR (Q3) o SJR (Q2)). Un titular excelente debe publicar “seis artículos en revistas indexadas en el Q1 JCR, o bien cuatro en el D1 del Journal Citation Reports (JCR).”

A continuación describe una serie de “Méritos complementarios”, de los que hay que aportar al menos cinco. (Ahora ya podemos escoger entre cuatro, cinco y seis). El documento detalla 14 méritos agrupados en áreas: Calidad y difusión, Calidad y número de proyectos competitivos, Movilidad y Otros méritos de investigación. El primer mérito complementario es “Publicación  de  artículos  en  revistas  del  JCR  o  Scimago  Journal  Rank  (SJR)  del  primer  decil  de acuerdo  con  el  índice  de  impacto  o  Eigenfactor  score  (de  1 a 3 meritos)”

Cómo ya ocurrió con los sexenios la ANECA acaba con el monopolio JCR (como ya dijimos aquí), incluyendo el índice SCOPUS. En este índice la inflación de revistas y categorías es mucho mayor que en JCR. Por ejemplo, en Business 1369 revistas y 306 Q1 y Economics 881 y 217 Q1. Es decir, en el índice SJR hay casi tantas Q1 como el total de revistas en JCR. Además, incluye muchas más categorías.

Como nota al margen, parece previsible que los criterios de los sexenios se alineen con los de la acreditación en el futuro. Para obtener un sexenio “basta” con que “cinco  aportaciones  sean  artículos  publicados  en  revistas  que  ocupen  posiciones relevantes” en JCR o SCOPUS. Podría darse el caso que un profesor con varios tramos de investigación reconocidos fuera calificado como mediocre (“B” o “C”) en la acreditación de su actividad investigadora.

Conviene también resaltar que la normativa añade al conocido factor de impacto (basado en el número de citas) el Eigenfactor (número de vistas). El Eigenfactor suele premiar a journals potentes,  generalistas y muy leídos por toda la comunidad científica, como Nature que es el primero de la lista. El factor de impacto criba de entre los lectores cuantos piensas que es la contribución es relevante.

Sin embargo, hay tres aspectos de la reforma que plantean ciertos interrogantes. En primer lugar, el sistema permite la acreditación a CVs con un déficit de investigación. En el anterior sistema era necesario obtener una puntuación mínima en cada apartado (investigación, docencia y gestión) para obtener la acreditación correspondiente. Por ejemplo un titular necesitaba 50 puntos en investigación según un baremo de publicaciones, proyectos etc. Quien no llegaba a un mínimo de 50 puntos no obtenía la acreditación, independientemente de la puntuación en las otras áreas.

Por el contrario, el nuevo sistema de acreditación establece una escala cualitativa ordinal para medir las áreas desempeño académico (investigación, docencia, transferencia, experiencia profesional y gestión académica): A excelente; B notable; C déficit compensable y D insuficiente. Obteniendo dos notables en investigación y docencia se obtiene la acreditación en las dos figuras (titular y catedrático). La ANECA solo ha publicado aquellos criterios habilitantes (por ejemplo una A en titular que habilita a Catedrático a aquellos que sean titulares o una B en cátedra), por lo que no podemos saber con exactitud que se considera un déficit compensable en investigación. Pero nos podemos hacer una idea al estar la C por debajo del nivel de exigencia del notable. A diferencia del anterior sistema, el modelo vigente permite compensar la mediocridad investigadora  con una excelencia profesional o en gestión.

El segundo problema es el sesgo disciplinar que introduce la normativa al considerar cualquier área incluida en listado JCR. Si publicar es de por sí complicado, en economía todavía más por las razones que ya apuntamos aquí. Pero incluso dentro de las ciencias económicas, la heterogeneidad en las distintas disciplinas es considerable. Ya no tanto por la mayor complejidad de unas frente a otras (que también), sino por el distinta oferta de revistas Q1 según áreas. Por ejemplo, si publicamos en Business (120 revistas en total y 30 Q1), Economics (334 y 86 Q1), Business & Finance (94 y 23 Q1), Management (280 y 70 Q1). Por establecer una línea divisoria: Economía tiene 86 Q1 frente a 123 Q1 de Empresa. Además, las revistas con con una doble indexación que “importan” citas de otras disciplinas subiendo el factor de impacto. Con lo cual, el sistema marca unos incentivos claros para publicar (o intentarlo al menos) áreas limítrofes con más oferta de  Q1. Estoy convencido que tenemos mucho que aportar y aprender de otras disciplinas. Lo que no tengo tan claro es si se tuvo en cuenta los efectos en la composición de la investigación universitaria.

La tercera cuestión es el proteccionismo académico que se destila del sistema de acceso al cuerpo de catedráticos. La normativa impone una barrera de entrada difícil de entender al exigir unos criterios distintos para los titulares funcionarios y para el resto. Mientras que el insider le basta con dos Bs, el outsider debe obtener previamente una A en investigación en la acreditación a titular (6xQ1).

Sin embargo, esta barrera tampoco parece ser una gran preocupación para las mejores universidades (públicas y privadas). Por ejemplo, las tres grandes escuelas de negocios de nuestro país se sitúan al margen de este sistema y apuestan directamente por contratar en el job market con un tenure track. En Catalunya, muchos departamentos iniciaron una apuesta similar con los fondos del ICREA y del GSE Research Endowment. Otras, como Deusto, Comillas y Ramon Llull apuestan por sistemas alternativos parecidos a los de Georgetown, Fordham y Boston College, con quien han han forjado un Campus de Excelencia Internacional.

Para la reflexión: Si llegara a haber un premio Nobel en Economía de nuestro país, ¿dónde creen se habría formado? Y en el caso más improbable que impartiera docencia en España ¿dónde lo haría?

La paella de la reforma universitaria española, por Cecilio Tamarit

El pasado 21 de agosto el diputado Antonio Roldán escribía un artículo en El País sobre las condiciones necesarias para el “buen gobierno” en España. Nos decía que para conseguir ese objetivo hacen falta instituciones transparentes, ecuánimes y con reglas predecibles para todos y que dichas instituciones sólo pueden alcanzarse cambiando los incentivos del sistema. Sin embargo, el “quid” de la cuestión se encuentra en cómo cambiar dichos incentivos. A mi entender, de forma acertada, el autor comparaba la construcción del buen gobierno con la condimentación de una buena paella: “requiere una combinación de ingredientes que, aplicados en su justa medida, refuercen conjuntamente sus cualidades positivas. No sirven las medidas aisladas. Es necesaria una reforma institucional integral para salir del mal equilibrio”. En efecto, como valenciano, no podría estar más de acuerdo: una combinación adecuada de ingredientes a lo largo del tiempo es la clave para un buen arroz; sin embargo, si las proporciones no son las justas, o el “timing” no es el adecuado, el resultado puede ser un arroz pasado o, pero aún, “quemado”. Este efecto también puede darse en las instituciones.

Actualmente son muchas las voces que claman ante el mal estado de la Universidad española, indicando la necesidad de llevar a cabo reformas que le permitan desplazarse hacia situaciones de equilibrio más virtuoso. Uno de los principales problemas que se ha señalado como causante del declive de la Universidad española es su mecanismo de selección y promoción del profesorado. El hecho de que la Agencia Nacional de Evaluación y Calidad (ANECA) esté ultimando durante estas fechas los nuevos criterios de acreditación nacional para el acceso a los cuerpos docentes universitarios ha abierto de nuevo el debate sobre cómo deben diseñarse y su grado de exigencia. Mi primera reflexión es que la degradación experimentada en los criterios de evaluación aplicados por la Comisión Nacional Evaluadora de la Actividad Investigadora (CNEAI) desde su integración en la ANECA me hace ser bastante pesimista al respecto.

La CNEAI es un claro ejemplo de buena práctica que ha contribuido notablemente a mejorar la Universidad española. La CNEAI se creó en 1989 (RD 1086/1989) por un equipo en estado de gracia, el del ministro Javier Solana, como un instrumento derivado de la LRU de 1983 y de la Ley de la Ciencia de 1985 con el único objetivo de efectuar la evaluación de calidad para aplicar el complemento de productividad investigadora. Sin embargo, el impacto producido por la CNEAI en la comunidad científica española ha trascendido su objetivo formal; las sucesivas normas que fueron precisando los criterios y procedimientos de evaluación así como el proceder de los comités de evaluación han actuado como directrices de referencia, por lo que la CNEAI ha tenido una gran influencia en el incremento en calidad y cantidad de la investigación que se realiza actualmente en España. Seguramente, la clave de su éxito fue establecer un sistema sencillo, barato, eficiente y flexible para la evaluación de la investigación que consiguió de forma progresiva un consenso en la comunidad académica. Sin embargo, este proceso nunca estuvo exento de peligros, especialmente en el caso de las ciencias blandas, como la Economía, con menor tradición científica en España y, por tanto, con procedimientos menos estandarizados internacionalmente, apareciendo de forma periódica grupos de presión que intentaban (y siguen intentando con éxito creciente) mantener sus intereses particulares con la menor rendición de cuentas posibles a la sociedad.

Lamentablemente, en mi opinión, la ANECA más que ser una solución al problema, ha constituido un motor para la degradación del sistema universitario en los últimos años por un mal diseño de sus programas de evaluación (no sólo el de acreditación del profesorado) desde el mismo comienzo de su funcionamiento, contribuyendo notablemente a la burocratización de la Universidad, diseñando un sistema complejo, caro y absurdo que insiste más en el control de calidad de los medios utilizados que en el éxito de los objetivos del sistema universitario: la calidad docente, investigadora y, hasta cierto punto, la empleabilidad y la transferencia de conocimiento que deberían derivarse de las dos anteriores.

En el caso del programa para la acreditación de profesores a los diferentes cuerpos universitarios, la laxitud con la que ha actuado la ANECA ha ido generando una bolsa de profesores acreditados que ya se cuenta por miles y que actúa como un nuevo grupo de presión en el sistema. Hay que señalar que desde 2007 se sustituyó el sistema de oposiciones para puestos de profesor funcionario por un sistema de acreditación en el que una comisión juzgadora no compuesta por especialistas del área sino por representantes de áreas más amplias (nada que ver con las comisiones de la CNEAI), designada por el Ministerio de Educación (no por sorteo), recibe un listado de los méritos de los candidatos, los valora según un baremo cuantitativo y, en su caso, acredita a los profesores para poder presentarse a concursos y oposiciones. Sin embargo, el verdadero problema viene después, pues una vez obtenida la acreditación, se ha generalizado la creencia interesada de que ésta genera un derecho individual a la promoción automática y son las propias universidades las que convocan las plazas (especialmente en periodos próximos a elecciones) a través de concursos públicos donde, en la práctica, en muchos casos, son los candidatos los que designan a los miembros de los comités que van a valorarles, sancionando la arraigada endogamia de la Universidad española. Las plazas se convocan en función de los candidatos acreditados y no por la necesidades existentes en cada Departamento. Esto lleva a absurdos organizativos. Es como si una entidad bancaria tuviera que abrir tantas oficinas como personas capacitadas para ser director de sucursal o, por el contrario, que todos los empleados de una oficina fuesen directores y no hubiese ni administrativos ni interventores. Creo que cualquier persona convendrá conmigo en que este sistema de organización tiende a ser poco eficiente y muy caro para el contribuyente. Al final, la única restricción que existe es la presupuestaria. Es por eso que en algunas universidades se han establecido algunas ratios, más o menos arbitrarias, entre distintas categorías profesionales, pero esto es la excepción más que la regla y por motivos equivocados.

Como todo es susceptible de empeorar, el Ministerio de Educación, tal vez de forma bienintencionada, con la idea de fomentar la movilidad, aprobó un RD hace ahora un año, por el que se establecen plazas de “turno libre” (en teoría, abiertas a la competencia) y “plazas de promoción interna” a las que no se pueden presentar desde otras universidades y, por tanto, cerradas a la competencia (ya no sólo de facto, sino también de iure). Se supone que la mitad de las plazas debían adoptar una u otra naturaleza. De nuevo, en la práctica, las universidades han reservado las plazas de “turno libre” para titularidades (donde la competencia es menor), concentrando la práctica totalidad de las nuevas cátedras de universidad en las plazas de promoción interna, a las que sólo puede presentarse el candidato de la casa o, a lo sumo, un compañero de su propio departamento, pero no de otras universidades. Todo ello, ahora, de forma legal. Este es un claro ejemplo de que cuando nos movemos entre dos equilibrios que son subóptimos, hay que ir con mucho tiento para no empeorar la situación inicial. Bien por incompetencia o mala fe, esta reforma promovida por el equipo del nuevo ministro de educación está consiguiendo los efectos contrarios a los anunciados.

En la práctica, es la ANECA la que con su acreditación designa a los nuevos funcionarios quienes creen que generan un derecho individual. Ante esta situación, es lógico que sea muy importante que los nuevos criterios que marque la ANECA para la acreditación a cuerpos universitarios sean rigurosos y supongan un avance respecto a los aplicados hasta ahora. Sin embargo, en mi opinión, tanto o más importante que los criterios de acreditación, son las condiciones para la configuración de los comités evaluadores. Los criterios pueden ser relativamente generales, pero son los comités de expertos de cada área los que deberían ir actualizándolos en el tiempo según el grado de desarrollo de las diferentes disciplinas y aplicando un siempre necesario grado de discrecionalidad técnica. En otro caso, podemos entrar en disquisiciones bizantinas sin fin y, en muchos casos, sin principio que las sustente más allá de los intereses partidistas. Junto a esto, debería quedar claro que para entrar en un cuerpo de la administración del Estado, no basta un concurso “local”. Esto podría ser suficiente, tal vez, para un contrato de empleo público en un organismo autónomo local pero no para convertirse en funcionario y menos del Estado. Seguramente esto podría solucionarse estableciendo una diferencia entre ambos tipos de puestos que, por otra parte, deberían tener funciones y capacidades académicas distintas. Se deberían establecer los incentivos necesarios para ello y transitar hacia un sistema como el alemán o el holandés.

Por último, me gustaría dejar claro que la Universidad española funciona de forma muy razonable para cómo está organizada. Seguramente es por la calidad humana e intelectual de la personas que se sienten atraídas a desarrollar su vida profesional en ella, pues en la mayoría de los casos es una actividad claramente vocacional. También creo que, en un entorno más competitivo, una buena parte de los profesores habría podido desarrollar una carrera profesional similar. Sin embargo, dada la perversión del sistema, nunca lo sabrán.

Cecilio Tamarit, Universidad de Valencia

Diario Levante (06/09/2016)

La ANECA acaba con el monopolio “JCR”

Con una ligera demora con respecto a años anteriores, el BOE ha publicado hoy los criterios por los que se regirá la Comisión Nacional Evaluadora de la Actividad Investigadora (CNEAI) para evaluar la calidad investigadora en el 2014. La principal novedad con respecto al año pasado en el campo de las Ciencias Económicas y Empresariales es la equiparación de los índices Journal Citation Reports (JCR) de Thompson Reuters con SCOPUS de Elsevier.

Mientras en el BOE del 2013, la mención al índice SCOPUS estaba en el apartado 3b)

“Podrán considerarse también los artículos publicados en revistas que ocupen posiciones relevantes en los listados de SCOPUS”

En el BOE del 2014, SCOPUS sube de nivel hasta el 3a):

“Los trabajos publicados en revistas de reconocida valía, aceptándose como tales( …) Journal Citation Reports (JCR) Social Sciences Edition (…) así como en SCOPUS.”

Con la anunciada fusión entre la ANECA y la CNEAI, se ha reparado la “el acusado JCR-centrismo” que impuso el BOE del 2005 (Ruiz-Pérez, Delgado y Jiménez-Contreras 2010, p. 907). Es decir, la ANECA ha terminado con el monopolio del JCR. Bienvenidos al duopolio.

Es cierto que los cambios de criterio que dificultan la planificación de la investigación a largo plazo (piensen que el criterio que se establece hoy establece unos criterios retroactivos para un periodo de seis años). Sin embargo, es previsible que la supresión del monopolio de la indexación científica  tenga efectos positivos (asumiendo que la calidad científica de ambos índices es similar). Se me ocurren las siguientes razones:

  1. Se amplía el número de revistas consideradas de alta calidad.  La cobertura de ambos índices es distinta (SCOPUS indexa 15,000 journals y JCR 9,000.
    1. Una mayor cobertura puede contribuir a reducir el lag editorial y la tasa de rechazo (Conley 2012).
    2. Se fomenta la creatividad al abrirse el abanico a revistas más especializadas o independientes.
  2. La forma de calcular el impacto científico también difiere. SCOPUS suele referenciar un número de citas mayor que JCR (Pislyakov, 2009). Ello implica que un mismo artículo suele tener unos indicios de calidad mayores en SCOPUS que en JCR.
  3. La plataforma de SCOPUS SCImago Journal & Country Rank es totalmente abierta y gratuita, a diferencia de la JCR.
  4. Los criterios de indexado de SCOPUS parecen más transparentes que JCR. Las revistas JCR bailan fuera y dentro del índice sin unos criterios claros de inclusión o exclusión (o al menos yo no he podido encontrarlos en su web).

Puede que algún día Google Scholar acabe barriendo a estos dos índices. Pero de momento el paso del monopolio al duopolio aumentará el bienestar de una parte de la sociedad (como mínimo de los que tratamos de investigar).

Visita nuestra web para información sobre actividades

http://www.alde.es