Hacia un nuevo sistema de evaluación de subsidios en FONCYT

Presentación del Problema:

Considerando que el sistema de evaluación y financiación de proyectos de ANCYPT ha sido utilizado por alrededor de 15 años, y que en este tiempo se han detectado numerosos aspectos que podrían ser mejorados, estimamos que sería oportuno revisar y modificar este sistema de acuerdo a las ideas que se desarrollan a continuación:

La no financiación de un gran número de proyectos de buena calidad actualmente vigentes en el país perjudica a todo el sistema científico. Considerando que la ANPCyT conjuntamente con CONICET y las Universidades Nacionales son las únicas fuentes de financiación para la investigación en Argentina, el no otorgamiento de fondos a estos grupos sólo genera un sistema de pérdida de fondos públicos en salarios para investigadores que no pueden investigar. Este hecho afecta seriamente el funcionamiento de las Universidades y UE del CONICET que, en algunos casos, cuentan con una elevada proporción de grupos de investigación con problemas serios de financiación.  Naturalmente, distorsiones de esta naturaleza podrían subsanarse si hubiera disponibilidad de acceso a fuentes de financiación alternativas a la ANPCyT. No obstante, las mismas son escasas, como ha sido mencionado, y además las pocas opciones de fuentes privadas han demostrado ser incapaces de absorber todas estas capacidades.

Las consecuencias de este fenómeno podrían culminar en la aniquilación de líneas de investigación relevantes y de alto impacto para el país (tal vez con una proyección futura no considerada hasta el presente) y la desaparición de las escuelas de formación de investigadores científicos, una pérdida de recursos humanos valiosos, que entraría en completa contradicción con los objetivos originalmente propuestos en la repatriación de los ya formados.

Como investigadores, consideramos que es posible consensuar una serie de medidas concretas con el fin de mejorar los procesos de evaluación y así evitar arbitrariedades, tanto negativas como positivas, en la adjudicación de los subsidios de fondos públicos destinados a la investigación científica. Esto podría llevarse a cabo teniendo en consideración las propuestas que se exponen más abajo en este documento.

A continuación enumeramos algunos aspectos inherentes al actual sistema de evaluación que consideramos deberían ser revisados:

1. El artículo 13, inciso Ia, del decreto 1660/96 expresa que luego de la instancia de evaluación por pares, “se utilizarán Comisiones Asesoras ad-hoc que, respetando la opinión de los pares, establecerán el orden de mérito (calidad y pertinencia) de los proyectos”. Es de público conocimiento que la comisión ad-hoc no realiza esta segunda instancia de evaluación obligatoria para la totalidad de los proyectos. Sólo revisa los puntajes y establece el orden de mérito para un conjunto de proyectos denominado “la nube”, que comprende aproximadamente un 20% del total. El resto de los proyectos, tanto los de muy alta calificación (por encima de “la nube”) como los de menor calificación (por debajo de la misma), quedan exentos de la segunda etapa de control por las Comisiones ad-hoc. Dado que la ubicación dentro de las categorías mencionadas depende fuertemente del accionar de los evaluadores, cuya elección está en manos de los coordinadores de área, este paso del proceso de evaluación es muy sensible. Todos los proyectos deberían ser analizados por la comisión respectiva luego de su evaluación por pares.

2. En general, los PICTs (financiados y no-financiados) en las áreas de Ciencias Médicas y Biológicas reciben altísimos puntajes que, como se mencionó anteriormente, se establecen en la primera instancia evaluadora por la exclusiva interacción de pares y coordinadores. Es de público conocimiento que la “línea de corte” ha pasado, por lo menos en 2010, por un puntaje altísimo (por encima de ~ 9.2/10) y, al mismo tiempo, aproximadamente un 30% de los proyectos fueron financiados. Una rápida comparación con otros sistemas de evaluación, internacionales o nacionales (como el utilizado para los subsidios PIP en CONICET) ponen en evidencia un fuerte sesgo hacia arriba en los puntajes de los PICTs. Es poco convincente la posibilidad de que la comunidad científica argentina genere proyectos “sobresalientes” o de “excepcional valor científico” año tras año, en una proporción que supera varias veces la que existe en otras partes del mundo para dicho nivel de excelencia.

3. Existen antecedentes de cuestionamientos sobre subsidios PICTs que sugieren que los mecanismos de evaluación utilizados son susceptibles de errores y conflictos de interés. Tal es el caso del análisis que realizó el Comité Nacional  de Ética en la Ciencia y la Tecnología (CECTE) en el año 2007 y la Fiscalía de Investigaciones Administrativas (FIA) en el año 2010. Las conclusiones de ambos organismos, además de la experiencia de la comunidad científica en sus distintos roles: miembros de comisiones, coordinadores, evaluadores y evaluados nos sugieren que el sistema puede ser mejorado.

Propuestas concretas para un nuevo SISTEMA de EVALUACION DE SUBSIDIOS EN ARGENTINA

En base a lo expuesto anteriormente, como comunidad científica que pretende crecer sanamente en calidad y transparencia, proponemos lo siguiente:

1. Evaluación  por COMISIONES ASESORAS, según el área de conocimiento, de tipo multidisciplinario, integrada por 20 personas que representen el máximo número POSIBLE de instituciones y regiones geográficas del país, con una duración en el cargo de no más de 2 años, y elegidos por el Directorio de la Agencia Nacional de Promoción Científica y Tecnológica.

Las responsabilidades de la comisión deberían ser:

a. Seleccionar los pares evaluadores de acuerdo a la especialidad y área temática y respetando las solicitudes de recusación de los concursantes. Los pares evaluadores deberán considerar que:

1-      Evaluar proyectos en el área de su competencia es una carga pública. Quien se niegue a la evaluación de un proyecto sin causa justificada y razonable o no acepte la evaluación de otro en su reemplazo, será penalizado, no pudiendo presentarse a convocatorias de PICT. Los evaluadores que no cumplan con las pautas establecidas por el sistema de evaluación (cumplimentar el instructivo de evaluación) podrán ser pasibles de sanciones.

2-      Los evaluadores deberán responder a cada aspecto a evaluar con un dictamen de al menos 200 palabras.

3-      Los pares evaluadores deben recibir un instructivo preciso y firmar sus evaluaciones asegurando la COMISION ASESORA la confidencialidad de la identidad de los pares evaluadores para el proyecto evaluado.

b. Se propone la existencia de una primera instancia de evaluación donde el postulante puede responder a las criticas/objeciones de los evaluadores. La COMISION ASESORA (“símil study section”) cotejará las evaluaciones y las respuestas a estas (“rebuttal”) antes de efectuar la calificación final del proyecto. El “rebuttal” es una parte esencial de este nuevo sistema de evaluación y es función de la Comisión Asesora asegurar su correcto funcionamiento. Es decir, el organismo colegiado elaborará el correspondiente orden de mérito basados en las evaluaciones de pares y las respuestas de los postulantes. En caso de un subsidio denegado debe habilitarse una instancia de reconsideración dentro del mismo periodo de concurso. No se traslada al siguiente llamado (de acuerdo a lo que decida el postulante).

c. Estricta revisión de las evaluaciones. La Comisión Asesora respectiva debe evaluar la argumentación científica y confiabilidad de las evaluaciones así como cotejar las respuestas a las mismas. Es función del organismo asegurar/garantizar que las evaluaciones se hagan con transparencia y en tiempo y forma, atento a lo indicado en el instructivo para los evaluadores. El organismo tiene el poder de desacreditar o ignorar puntuaciones acompañadas de expresiones consideradas irrespetuosas o faltas de argumentos científicos en la calificación, así como de calificar por puntos las presentaciones.

d. Respetar las evaluaciones por pares, como manda el art. 13 1660/96, cuando éstas estén correctamente fundamentadas y no caigan en arbitrariedades.

e. Elaborar un orden de méritos para la asignación de fondos.

f. Todos estos actos deberían realizarse en reuniones plenarias, con la asistencia de los Coordinadores Administrativos de Área para garantizar la transparencia en los procedimientos.

2. Informatización de las Actividades de Evaluación: Este es un aspecto fundamental que permitirá tener un registro y seguimiento de todas las actividades (Presentaciones, evaluaciones, respuestas, reconsideraciones, identidad de los evaluadores, etc) de un candidato a PICT.  Tratándose de fondos públicos, es prudente facilitar la tarea de registro si eventualmente se requiere.

3. Cambio en el rol de coordinadores

Para evitar la monopolización, manipulación, errores involuntarios y excesiva responsabilidad en los hombros de los 4 coordinadores y co-coordinadores que se encuentran a cargo, el rol tradicional de los coordinadores debería pasar a manos de la COMISION ASESORA.

El rol de los coordinadores debería ser el de supervisar y garantizar el funcionamiento de la COMISION ASESORA, la entrega en tiempo y forma de toda la documentación referida a evaluaciones, orden de méritos y asignación de fondos. El coordinador no puede resolver nada respecto a cambios o elecciones de pares o criterios sin previa autorización de la COMISION ASESORA.

4. Evaluación: se propone un sistema de evaluación que tenga las siguientes características

Instructivo preciso para evaluadores.

Igual numero de pares evaluadores/investigador (extranjeros y nacionales).

En el Proyecto de Investigación se deberán tener en cuenta entre otros los siguientes aspectos principales:

-originalidad de la propuesta

-plan de trabajo

-mérito extrínseco del proyecto. Impacto sobre otras disciplinas

-elementos de riesgo en el proyecto/innovación tecnológica o metodológica.

-Impresión global

-antecedentes del investigador en el tema específico y afines, se deberán tener en cuenta entre otros: su producción en cantidad y calidad, acorde a los montos de subsidios nacionales o internacionales obtenidos previamente.

-Toda crítica deberá ser justificada con detalle.

5. Coherencia en los criterios de acreditación curricular en el tiempo y entre diferentes comisiones y acorde a la etapa de crecimiento o formación del investigador responsable del proyecto.

6. Financiamiento

a. Actualizar los montos de los PICT garantizando la recuperación y mantenimiento del valor adquisitivo de los mismos.

b. Crear subsidios de promoción con un monto equivalente al 50% de los PICT. Se otorgará PICT (100% financiación) al 30% tope de la lista de mérito y subsidio de promoción al 20% subsiguiente en los casos en que la calidad de estas propuestas así lo justifique. En este último caso eventualmente se les podrá solicitar a los IR beneficiados la reformulación de los presupuestos presentados.