Hola. Gracias Mónica por iniciar la discusión y permitirnos participar y opinar. La verdad es que empecé un par de veces a escribir el comentario para dar mi opinión… pero me di cuenta que necesitaba reflexionar un poco más antes de dejar mi impresión. Primero quisiera decir que estoy de acuerdo con casi todas las cosas que se proponen en el la petitorio. Lo único que no me convence, es el tema de la revisión por referees anónimos cuando uno firma sus formularios de pedido de subsidio con nombre y apellido. Por más neutro y objetivo que uno quiera ser, no se deja de ser humano. Me parece que es casi imposible ser completamente objetivo si uno es referee desde las sombras. Uno podría proponer que las evaluaciones estén firmadas por quién las revisa… pero no creo que realmente eso solucione el problema. Si uno quiere evitar favoritismos o evaluaciones demasiado duras de proyectos de investigadores que NO son “amigos” o son competencia (consiente o involuntariamente), no se puede hacer una lista interminable de evaluadores vetados… Lista que se alargaría cada año cuando a uno no le otorgan los subsidios que pidió el año anterior. Por otro lado, es imposible evaluar los antecedentes del grupo de trabajo en forma anónima, por obvias razones. Creo que la mejor manera sería que, como ya se sugirió en otros comentarios, dividir la evaluación en dos segmentos… cosa que podría estar a cargo incluso de “comisiones” distintas.

Por un lado, se podría evaluar el plan de trabajo en detalle por pares con experiencia en la temática y/o técnicas sugeridas. Los proyectos deberían ser presentados en forma anónima, y poniendo una fuerte vigilancia sobre la inclusión de autoreferencias que permitan entrever la autoría de los mismos. Cómo presenta entonces uno su experiencia en el tema que demuestre la factibilidad del proyecto? Bueno, esas son evaluaciones personales… NO del proyecto en sí y, por lo tanto, deberían ser incluidas en la evaluación del grupo de trabajo. Frases como “… tal y como hemos demostrado en previos trabajos... (ref. 4-9)” deberían ser filtradas, e incluso, quizás, sancionadas con la “No-Admisibilidad” de la presentación si no se corrigen dentro de un plazo inmediato. Las mismas referencias pueden mantenerse sin hacer referencia a que pertenecen a trabajos propios. Por otro lado, los datos previos pueden presentarse sin necesidad de mencionar exposiciones en congresos. De este modo la factibilidad del proyecto se limitaría al hecho de que el proyecto está bien armado, organizado y con referencias metodológicas y de datos previos bien presentados. Este modo de evaluación creo que sería mucho más crítica y realista por parte de los referees. Uno no sabe a quién está evaluando y debe concentrarse solo en el mérito académico/científico del proyecto. Ahora estaríamos en condiciones de introducir la oportunidad de un “rebutal” al estilo NIH. Esto incluso podría ayudar a desenredar la maraña de la “nube”.

Una segunda etapa de evaluación se enfocaría, ahora sí, en los grupos de trabajo. Aquí se evalúan personas, por lo que habría que ser extremadamente preciso en los criterios de evaluación de forma de ser lo más objetivos posibles. Esto quiere decir, que las reglas deberían estar predefinidas, al menos dentro de cada área, antes de la convocatoria. Esta evaluación además debería ser posterior a haber fijado ya los puntajes de los planes de trabajo y los datos del grupo de trabajo deberían mantenerse desvinculados al proyecto, para evitar que se filtre información que pueda afectar la primera etapa de la evaluación. La evaluación de CVs ya se ha implementado en varias UUNN con ayuda de planillas de puntajes con criterios bien definidos. Se puede pensar en usar, como base, por ejemplo, los requisitos de CONICET para que un investigador avance en la carrera como para definir los antecedentes mínimos que se deberían reunir como para obtener el puntaje máximo. Un ejemplo, en las promociones o concurso para entrada a carrera de CONICET se solicitan (solicitaban al menos hace un par de años, no sé si los criterios se han mantenido…) 5 papers para la categoría de Asistente, 10 para Adjunto, 15 para Independiente más alguna tesis defendida bajo su dirección, etc… Esto podría usarse como referencia, a fin de poder evaluar y comparar CVs de investigadores con distintos años en el sistema. Podrían asignarse un puntaje definido en función de haber alcanzado, superado o no los logros “esperados” por CONICET para cada categoría. La Evaluación total, no debe ser un único parámetro, sino la combinación de varios. Otro ítem podría ser un puntaje por total de papers publicados en la carrera (normalizado, si se desea, por la cantidad de años desde la entrada como investigador o desde la obtención del doctorado). Independientemente, se podría asignar un puntaje por las publicaciones de los últimos 5/10 años, teniendo en cuenta los “tercios” a los que pertenecen las revistas (digamos: 3puntos. para el 1er tercio, 2 para el 2do, y 1 para el 3ro), y saturando con 15puntos/5años para el puntaje máximo de este ítem. Esto no sólo daría cuenta de la claidad de las publicaciones sino también de la regularidad en la producción del grupo de trabajo. Otro criterio a evaluar serían los antecedentes (papers aceptados y publicados) en la temática y/o en las técnicas a emplear en el nuevo proyecto, y en este caso sí se necesitaría cotejar con un resumen del proyecto a evaluar. Incluso se puede pedir que se llene un casillero indicando los papers del grupo de trabajo vinculados al nuevo proyecto. [Claro, que uno no tenga demasiados antecedentes en tema en particular no quiere decir que no pueda idear un proyecto de investigación innovador, bien fundado y que merezca ser financiado, no? NIH, pro ejemplo, abre líneas de financiamiento diferentes apra proyectos “seguros” y para proyectos “arriesgados”… no estoy seguro que eso sea también factible con los limitados fondos de los que dispone la ANPCyT] Un casillero distinto podría asignar un puntaje basado en el índice h que útlimamente se ha venido contemplando tanto (con sus fallas y bondades…). Puesto de este modo, no se necesitaría de un referee “formado” para asignar estos puntajes. Se podrían llenar los formularios por personal de la ANPCyT/FONCyT que no sean investigadores (o contratados a tal fin) y de este modo liberar a los referees de este deber y permitir que se concentren en la parte académica. Aún más, podrían ser asignados en forma automática pro el sistema informático empleado para realizar las presentaciones online. Incluso cada uno podría saber qué puntaje tendría cada grupo en forma automática luego de haber submitido su presentación.

De este modo los puntajes sólo se sumarían una vez completadas ambas evaluaciones en forma independiente y generando el orden de mérito (final?).

El último punto que quería comentar, también ya fue mencionado en algunso comentarios, y es el tema del círculo vicioso que se genera cuando un grupo de trabajo tiene la mala suerte de tener una seguidilla de 3 o más años con proyectos rechazados (PIP, PICT o lo que sea…). Y me pregunto, estaría mal incluir un financiamiento automático por parte del CONICET para financiar a sus investigadores que no tienen subsidios activos de la ANPCyT o del mismo CONCIET. Claro, habría que encontrar la forma de desestimular que los investigadores se queden cómodos con esos fondos automáticos de por vida. Pero yo pensaba más en cerrar un poco el bache cuando se pierden todas las posibles fuentes de financiamiento por un año y hay que esperar a la próxima convocatoria. Por ejemplo, Investigadores que se acaban de quedar sin ningún tipo de subsidio podrían recibir USD3000 (por poner un número nomás) el 1er año posterior la finalización del último subsidio activo. Si no se renuevan al año siguiente sólo se darían USD2000. Si no se vuelve a renovar, bajaría a USD1000 el siguiente… y ya después… bueno se verá. Aclaro que pongo un monto en dólares, a pesar de lo que les gustaría ver a los ministros de economía, porque lamentablemente no hay industria nacional que pueda proveer de los insumos y equipos que se requieren para “hacer ciencia” (al menos dentro del área de Cs. Biológicas, Química, etc…), la asistencia a congresos internacionales siempre es en moneda extranjera, y así siguiendo… Pero, sin embargo, los montos de los subsidios PICT no se han actualizado ni al ritmo de la inflación nacional ni al de la del dólar. Cuantos nos hemos llevado la sorpresa que cuando pedimos un presupuesto para comprar un equipo, en un año y medio el dólar creció un >10% (se obtiene >10% menos en Pesos Argentinos del precio del equipo presupuestado), y, encima, el precio en dólares subió un 5-10%? Y ahora a hacer malabares para poder juntar la plata que falta y llegar a comprar el equipo necesario para el proyecto… Sería mucho pedir, además de una recomposición de los montos de los PICTs y PIPs, que la parte de los PICT destinado a equipos sea asignada, si se quiere en pesos, pero al cambio del momento y no al de hace 1,5 años atrás cuando se presupuestó?

Lamento que me haya extendido tanto… espero no haber sido tan confuso. Saludos,

#52: LJFL #391 - Intento de aporte a la propuesta

Te respondo breve respecto de uno de los conceptos y porque fué discutido con otros investigadores (que de ningún modo invalidan tu opinión!!!). Me refiero a lo que más o menos fue expresado en mails o en persona y algo que es base de la normativa de evaluaciones de Agencia, que por supuesto habrá que ver, qué opinan las autoridades y el ministro.

La evaluación anónima para evitar conflictos y de hecho, así funciona también en CONICET. Nosotros agregamos el tema de la firma, pero no para el evaluado, sino para la comisión y coordinadores! Yo sugerí en un pricipio que no fuera anónima incluso para el evaluado, pero fué algo en gral rechazado por mucha gente (veremos si alguien más lo propone aquí). La idea es que al firmar la evaluación, el evaluador ya asume una responsabilidad superior a la actual, porque sabe que sus comentarios pueden ser refutados por el evaluado y una comisión va a revisar absolutamente todo. No es realista pensar que el sistema será perfecto, pero, se supone que si hubiera errores, cuestiones personales o rivalidades, podrían ser facilmente detectadas.

Creo que la evaluación en etapas (pero solo es mi opinión) tal vez aumenta la complejidad del proceso, pero tego dudas acerca de cuánto suma...Hay líneas temáticas facilmente identificables...y por otro lado, la producción del grupo es importante en cuanto a los antecedentes para la elaboración de hipótesis, noción de factibilidad....habrá que ver...

Mónica A. Costas