Samuel Ponce de León R.
Cienciometría y burocracia: el caso de los funcionarios inútiles

Algunos investigadores mexicanos nos hemos manifestado en múltiples ocasiones criticando los criterios de calificación utilizados por el Sistema Nacional de Investigadores (SNI) para evaluar la producción científica. Ruy Pérez Tamayo, Luis Benítez, René Drucker, Antonio R. Cabral, Antonio Lazcano, y yo mismo, entre otros, hemos escogido una vía equivocada, esto es, hacer públicos --en periódicos y revistas-- nuestros puntos de vista. Se trata de la vía equivocada a todas luces, ya que no ha existido respuesta de las autoridades correspondientes.

Lo anterior puede obedecer a diversas circunstancias. Enlisto algunas: Los responsables de esto en el SNI no tienen interés en lo que opinen los investigadores del país; sí tienen interés, pero no han tenido tiempo (en los últimos tres años), para reflexionar sobre los comentarios; no han tenido oportunidad de leer estos comentarios; sí tienen tiempo, sí los han leído, pero no están de acuerdo y no les interesa responder. El meollo del asunto es que se trata del programa estratégico de mayor importancia del país. El desarrollo científico es la única oportunidad para crear una industria que permita cierto grado de libertad económica a nuestro país. Pero resulta que su evaluación es insuficiente, inadecuada e inequitativa y, por ende, el propósito del gobierno federal se desvirtúa. Lo anterior sugiere que es tiempo de ensayar otras formas para entablar comunicación con los altos niveles de la burocracia científica; propongo algunas posibles alternativas. Secuestrar a los investigadores nivel 3 del SNI en la embajada de Perú; pedirle a Marcos que se haga cargo de nuestras relaciones públicas; confesarnos con monseñor Prigione antes de que nos abandone; o que juntemos nuestras compensaciones y compremos un predio en Punta Diamante sin pagar impuestos. Pero antes de intentar estas otras alternativas quisiera comentar un análisis publicado en el British Medical Journal, de febrero de 1997, por Per O Seglen, miembro del Instituto para Estudios de Investigación y Educación Superior de Oslo, Noruega. El artículo se titula ``Por qué el factor de impacto no debería ser usado para evaluar la investigación'', y documenta esta afirmación en extenso. Recordemos que el uso del factor de impacto es uno de los criterios más importantes, de acuerdo a nuestras comisiones de burócratas para evaluar la investigación nacional, y se calcula para cada revista relacionando las citaciones con el número de artículos publicados.

Destaco sólo algunos de los puntos más relevantes: 1. El factor de impacto es resultado de las características técnicas de cada publicación. Si la revista es de una área en expansión, si versa sobre aspectos básicos, si su periodo de publicación es corto, si publica revisiones, si tiene una correspondencia nutrida, si tiene editoriales llamativos, entre otros puntos, se tendrá un gran número de citaciones, incluso de autocitas que no son corregidas. La revista en cuestión tendrá un elevado factor de impacto, y lo anterior nada tiene que ver con la calidad de los trabajos individuales ahí publicados. 2. Publicar en una revista de ``alto impacto'' no implica que el trabajo será citado con frecuencia. Tan sólo 15 por ciento de los artículos son responsables del 50 por ciento de las citaciones, y el 50 por ciento de los artículos mas citados se llevan el 90 por ciento de las citaciones. Esto implica que el otro 50 por ciento tiene muy pocas citas, aunque se publique en el New England Journal of Medicine o Nature. 3.- El factor de impacto se calcula con sesgos muy graves. La información sobre citaciones se obtiene de una base de datos producida por el Institute for Scientific Information (ISI), una empresa privada americana que sólo considera en su análisis 3 mil 200 revistas dominadas por publicaciones americanas, mientras que el total mundial se calcula en 126 mil, y tiene además una clara preferencia por publicaciones en idioma inglés, que contribuye a que los artículos en otro idioma tengan un factor de impacto muy bajo. Pero O Seglen, comenta otros aspectos que justifican su aseveración y termina refiriendo a Sidney Brenner: ``Lo que importa absolutamente es el contenido científico de un escrito, y nada sustituye su conocimiento o su lectura".

Por nuestra parte hemos insistido que el factor de impacto es tan sólo una medida de popularidad, no de calidad, y que usarlo como criterio de evaluación favorece un desarrollo de la investigación orientado hacia las tendencias que son relevantes para los investigadores americanos y su industria.

Las más destacadas publicaciones nacionales en el área médica se esfuerzan continuamente por mejorar su trabajo editorial pero han sido condenadas a la medianía, en la perspectiva de la burocracia científica, por publicar artículos en nuestro propio idioma.

Nuestros amodorrados administradores del SNI y Conacyt, deberían atender estas repetidas llamadas de nuestra parte y ponerse a trabajar, porque para lo que han hecho hasta ahora bastaría con un grupito de auxiliares de contabilidad.

Finalmente señalo que los tan mencionados burócratas científicos deberían organizar una reunión con aquellos investigadores interesados en la evaluación de la calidad de la producción científica y con expertos en metodología de la ciencia, para buscar una mejor alternativa a la que cómoda y equivocadamente vienen utilizando.