Search This Blog

Loading...

Monday, 19 October 2015

Revista Cubana de Información en Ciencias de la Salud - Criterios, clasificaciones y tendencias de los indicadores bibliométricos en la evaluación de la ciencia

Revista Cubana de Información en Ciencias de la Salud

versión ISSN
2307-2113

Rev. cuba. inf. cienc. salud vol.26 no.3 La Habana jul.-set. 2015

 

ARTÍCULO DE REVISIÓN


Criterios, clasificaciones y tendencias de los indicadores bibliométricos en la evaluación de la ciencia

Criteria, classifications and tendencies of bibliometric indicators in the evaluation of the science


María Josefa Peralta González,I Maylín Frías Guzmán,I Orlando Gregorio ChavianoII
I Universidad Central "Marta Abreu" de Las Villas, Santa Clara, Villa Clara, Cuba.
II Departamento de Ciencia de la Información. Pontificia Universidad Javeriana. Bogotá, Colombia.



RESUMEN
El
presente trabajo se realiza con el objetivo de enunciar los
referentes teóricos sobre clasificación de indicadores
bibliométricos en la literatura científica a partir de criterios,
clasificaciones y tendencias que se manifiestan en el contexto
internacional. Se enfatiza en el desarrollo de los indicadores de
impacto en los sistemas de información científica a través de
valoraciones respecto al uso del factor de impacto y sus derivados,
así como en la normalización y ponderación matemática para
establecer comparación entre diferentes disciplinas científicas. Se
abordan conceptualmente las nuevas tendencias de la medición del
impacto científico en la Web: los llamados altmetrics.
Palabras clave: bibliometría, bases de datos, indicadores bibliométricos, sistemas de información científica.

ABSTRACTS

The
objective of this work is to state the theoretical framework about
the classification of bibliometric indicators in the scientific
literature from the criteria, classifications and trends emerging
in the international context. The emphasis is on the development of
impact indicators in systems of scientific information through
assessments regarding the use of impact factor and its derivatives,
as well as standardization and mathematical weighting to establish
comparisons between different scientific disciplines. New trends to
measure the scientific impact on the Web, called almetrics, are
conceptually addressed.
Key words: bibliometric, databases, bibliometric indicators, scientific information systems.



 

INTRODUCCIÓN
La Bibliometría se entendió, desde sus orígenes, como la disciplina encargada de la medida de los libros.1-3 En
las primeras décadas del siglo XX, su alcance fue limitado al
ámbito de los libros y sus análisis se concentraron en el
comportamiento del discurso escrito de las publicaciones y de un
área temática en particular, en un momento en que la proliferación
de una variedad de soportes comenzó a ser evidente.
El
objeto de estudio de la Bibliometría y su condición de herramienta
o disciplina instrumental de la Bibliotecología se debatió en la
literatura especializada. Su génesis en el ámbito bibliotecológico
se asoció a la gestión bibliotecaria.4 Durante la
década del 70 y del 80 del siglo XX, consolidó su carácter
interdisciplinar y se reconoció como el método de análisis y
medición de los documentos científicos. Estos se convirtieron en su
principal interés sin obviar los fines que ocasionaron su génesis.2


En
el campo de las disciplinas informativas, se convirtió en un
método para la contabilización de la cantidad de documentos y
adecuar los recursos disponibles a las necesidades de información
de los usuarios, así como cubrir tasas de información en un área de
la ciencia. Por su parte, en la recuperación de información se
auxilió del desarrollo de mapas cognitivos para facilitar la
obtención de información relevante y de aspectos estadísticos del
lenguaje natural y los lenguajes documentarios.
"Reducir
las posibilidades de la Bibliometría a la modelación
bibliográfica, como es el análisis de la dispersión de la fuentes,
la productividad de los autores o la obsolescencia de la literatura
(algunas de sus aplicaciones más conocidas) es condenarla a una
suerte de subdesarrollo disciplinar (...); aplicar sus modelos
exclusivamente a la selección y adquisición de la literatura es
limitar sus potencialidades. Sin embargo, los límites de esta
ciencia aún no han sido encontrados".5
En
la actualidad constituye "un medio para situar la producción de un
país con respecto al mundo, una institución en relación con su
país y hasta los científicos en relación con sus propias
comunidades".6 Presta también atención al estudio del
comportamiento de comunidades y disciplinas científicas a través de
los resultados de las investigaciones,7 así como las
motivaciones y proyectos de redes de investigadores, grupos e
instituciones. Proporciona indicadores para medir la producción y
la calidad científica, y ofrece una base para la evaluación y
orientación de la investigación y desarrollo (I+D). Las tendencias
de la ciencia y la tecnología son examinadas a través del
comportamiento de la producción de artículos científicos y
registros de propiedad intelectual.
Su
uso no se restringe al listado cuantitativo de referencias
publicadas o no publicadas de un autor, país, temática o región.
Abarca, además, las frecuencias y tendencias de las citas
bibliográficas que inciden en el impacto y la visibilidad, las
relaciones de colaboración internacional o nacional que se
establecen entre autores
o instituciones, así como los canales por los que circula la información registrada.
Las
herramientas fundamentales para la aplicación de la Bibliometría
lo constituyen los indicadores bibliométricos, utilizados
ampliamente en la evaluación de las producciones científicas en
diferentes dominios del conocimiento y de las comunidades
científicas. Su definición se ha producido vinculada a las
particularidades de la producción bibliográfica y del desarrollo de
la ciencia y la técnica. Estas herramientas describen y evalúan un
fenómeno a través de medidas cuantitativas. Cumplen dos
importantes funciones: la descriptiva —en la medida que caracteriza
el estado de un sistema
y la valorativa, que juzga ese estado, según una perspectiva deseable.
La
selección de los indicadores a utilizar en determinados estudios
depende de múltiples factores y se complejiza por la gran variedad
de propuestas existentes en la literatura científica sobre el tema y
la aplicación de estos a diferentes casos de estudio. En la
actualidad continúan evolucionando fundamentalmente en la medición
del impacto científico desde el factor de impacto hasta los
indicadores altmetrics, que miden la comunicación científica en la
Web 2.0, de gran utilidad en la evaluación y gestión de la
investigación.
Este
fenómeno ha condicionado la existencia de una vasta tipología para
el uso de los indicadores bibliométricos, que dificulta, en
ocasiones, su selección en el contexto de investigación. ¿Qué
criterios se establecen para su agrupación? ¿Qué clasificaciones se
identifican en la literatura? ¿Qué tendencias se vislumbran en el
desarrollo de indicadores bibliométricos en el ámbito
internacional? Estas son interrogantes que guían el presente
trabajo.
Conocer
y entender las diversas clasificaciones, criterios y tendencias en
torno al uso de los indicadores, posibilita ampliar el espectro y
la concepción sobre el tema; encauza la organización metodológica
de estudios bibliométricos sin obviar relaciones de subordinación,
exclusión e inclusión de estos y favorece su aplicación según
necesidades y acorde con el objeto de estudio planteado, importante
para investigaciones futuras.

LOS INDICADORES BIBLIOMÉTRICOS EN LA LITERATURA CIENTÍFICA
El
presente trabajo es una investigación documental que muestra y
analiza los fundamentos y clasificaciones de los indicadores
bibliométricos y sus tendencias actuales, a partir de la amplia
dispersión de clasificaciones y fundamentos existentes sobre el
tema en la literatura científica. Desde los objetivos del trabajo
se caracteriza como descriptiva.8
Los
indicadores bibliométricos constituyen herramientas de la
Bibliometría. Como instrumentos de evaluación cuentan con una
historia reciente. Su empleo se inició en los años 70; sin embargo,
a partir de la década del 80 del siglo XX se impulsó la
investigación sobre estos, lo que repercutió en la proliferación de
una variedad de términos utilizados por un sinfín de estudiosos
del tema. En la década del 90 se consolidó su uso y se combinaron
con técnicas de representación visual. Desde su nacimiento pretendieron
examinar el comportamiento de la información registrada en los
libros y publicaciones científicas; sin embargo, la intención no se
circunscribe a estas solamente. Permiten cuantificar el
comportamiento de la producción bibliográfica y la comunicación
científica. El cuadro 1 muestra
su alcance a partir del examen del objeto de estudio de la
Bibliometría considerado por algunos teóricos. Existen diversos
criterios de clasificación, pero de manera general convergen en dos
agrupaciones esenciales: una división en indicadores de
productividad, visibilidad o impacto y colaboración, y otra en
unidimensionales y multidimensionales.
En
las definiciones anteriores se observa que el objeto de análisis
son los documentos en su conjunto para el estudio de elementos
vinculados a su creación y uso. Los libros y las publicaciones
periódicas constituyeron el centro de atención de los estudios
bibliométricos. Se destaca la particularidad de atender aquellos
que han sido publicados. Su aplicación en la evaluación de fondos y
colecciones en las bibliotecas propició el análisis de otras
tipologías documentales.
"Los
elementos cuantificables en los cuales se basan los estudios
bibliométricos provienen de dos fuentes: las referencias y las
citas, vocablos con significado y papel específicos. El primero se
usa para designar a la unidad fuente o documento de origen,
mientras que la cita corresponde al documento citado".9
Su vínculo con la actividad científica relaciona su empleo en
la evaluación de la calidad de la producción científica.10
Se definen como medidas basadas habitualmente en recuentos de
publicaciones, que persiguen cuantificar los resultados científicos
atribuibles bien a unos agentes determinados, bien a agregados
significativos de esos agentes.11
Sanz y Martín
no limitan la concepción del término a los datos extraídos de
las publicaciones. Amplían la definición a los datos que solicitan
los usuarios, y permiten el análisis de la producción y el consumo
de información.12,13 Por su parte, algunos autores no
reducen el campo de aplicación de los indicadores a la literatura
científica. Para ellos constituyen una medición agregada y compleja
que permite describir un fenómeno, su naturaleza, su estado y su
evolución. Ofrecen el alcance y el límite de los fenómenos a través
de medidas cuantitativas.13-15
Varios
modelos matemáticos se emplean en los estudios métricos que
derivan indicadores de comportamiento de la información. Vinculados
a la Bibliometría, son significativos los que analizan el
comportamiento de la producción y la comunicación científica (cuadro 2).2
Por
su parte, la distinción entre indicadores es a veces difusa en
el ámbito bibliométrico por la variedad de tipologías
existentes derivadas de los diferentes intereses evaluativos. Algunos
investigadores prefieren nombrarlos sin especificar su categoría,
lo cual genera polémicas en el plano teórico, mientras que otros
los agrupan en clasificaciones específicas
(cuadro 3).


También, la tipología está en función del recuento, uso y relaciones de los elementos bibliográficos. Para Sancho, los indicadores de calidad están basados en percepciones (peer review).15,16 De
manera general las clasificaciones básicas corresponden a la
producción o actividad e impacto o calidad. En ocasiones se
desglosan separados los referidos a la colaboración y relación.
El cuadro 4
revela una clasificación general a partir de los juicios de
varios autores, basados en las variables publicaciones y citas.
Las tipologías de indicadores fueron perfeccionándose en el
tiempo mediante la práctica bibliométrica.
Los
indicadores de producción o actividad se basan en la enumeración y
cuantificación de los documentos que se generan. Para Maltrás,
"persiguen cuantificar los resultados científicos atribuibles bien
a unos agentes determinados, bien a agregados significativos de
esos agentes (...). Los agentes elementales son los investigadores,
pero es más frecuente calcular indicadores de producción referidos
a agregados como instituciones, regiones, países o disciplinas".11
Los
indicadores de impacto, visibilidad o calidad son los más
polémicos y cuestionables en el ámbito bibliométrico. Se refieren
al valor final, influencia o repercusión de los documentos en el
resto de las publicaciones. Están asociados a las direcciones que
alcanzan las citas bibliográficas y generalmente se vinculan al
factor de impacto e índice de citaciones. Son indicadores parciales
de la originalidad, claridad, importancia e influencia de las
publicaciones, aunque su resultado final está condicionado por la
producción científica de la variable o agregado que se está
evaluando.11


Los
indicadores de colaboración miden las relaciones que se establecen
entre los productores en la elaboración de un resultado que surge
del esfuerzo cooperativo. Se dividen en dos categorías: simple y
relacional. Los indicadores simples ofrecen información sobre las
características o el nivel de colaboración que exhibe la producción
científica, mientras los relacionales se centran en la
representación gráfica de las redes de colaboración que se
establecen.11 En el cuadro 5 se agrupan indicadores con categorías de acuerdo con los criterios de Maltrás y Camps, donde se recogen los más importantes indicadores existentes a la fecha.


Callón y Courtial ofrecen
un desglose de indicadores acorde con una segmentación general que
agrupa los de producción, visibilidad e impacto, y colaboración,
como indicadores de actividad.19 En ese apartado se inscriben los indicadores de colaboración simple. Una clasificación similar a la realizada por Callón y Courtial se utilizó en estudios bibliométricos en universidades españolas.20-25
Esta clasificación amplía y actualiza los indicadores basados
en el factor de impacto incluyendo los incorporados por el WoS y Scopus,
así como el índice h. Incorpora una clasificación de
indicadores no bibliométricos útiles para medir el número de
documentos producidos a nivel institucional incluyendo otra tipología
de productos de investigación (cuadro 6).


Otra
clasificación general está en función de la técnica estadística
utilizada en la obtención de los indicadores bibliométricos.
Según este criterio, se clasifican y agrupan en dos categorías
esenciales: unidimensionales y multidimensionales (cuadro 7).
Los unidimensionales están basados en la estadística univariable
y reflejan una única característica del objeto estudiado. Para Sanz y Martín,
miden una característica de los documentos publicados o de los
recursos económicos invertidos en la actividad científica, sin
tomar en cuenta algún vínculo común entre ellos. Los bi o multi dimensionales
se basan en técnicas estadísticas multivariables y su aplicación
facilita el estudio conjunto de distintas variables, así como de las
relaciones que se establecen entre estas.
Según Sanz y Martín,
"permiten tener en cuenta, de modo simultáneo, las distintas
variables o las múltiples interrelaciones que pueden ser observadas
en los documentos, o en los hábitos y necesidades de información
de los usuarios".12 Su examen se produce sobre la base
del conteo de matrices de datos y la representación de la
coocurrencia de las variables comunes. La agrupación de los indicadores
bibliométricos, según esta clasificación, varía en la
literatura. El cuadro 8 muestra una tipología a partir del criterio de Sanz y Martín.
Los indicadores de producción y visibilidad se corresponden con
los unidimensionales, aunque existen algunos indicadores de
colaboración que se integran al criterio anterior. Su examen y
representación depende, en la mayoría de los casos, de análisis
multivariante que los subordinan a los multidimensionales.




DESARROLLO DE LOS INDICADORES BIBLIOMÉTRICOS EN LOS SISTEMAS DE INFORMACIÓN CIENTÍFICA
Los
indicadores bibliométricos han sido tan criticados como
definitivos en la evaluación científica. Por muchos años, los
indicadores bibliométricos del antiguo Institute for Information Science (ISI), ahora Thomson Reuters,
han sido el recurso fundamental para la toma de decisiones en
materia de políticas científicas. El factor de impacto (FI) de Eugene Garfield,
fue el punto de partida de una avalancha de indicadores basados en
el número de publicaciones y en el conteo de citas, a pesar de las
críticas y sesgos. Seglen los resume desde cuatro sesgos fundamentales:26,27
-
No muestra la diferencia de la citación de los artículos en
una revista. Estadísticamente no es una representación estadística
de un artículo individual.

- El FI de una revista no tiene en cuenta la calidad científica de los artículos.

-
Depende del comportamiento y desarrollo de la investigación en las
áreas o campos científico. Los hábitos de citación, la
frecuencia y la dinámica son diferentes en los campos de investigación.


- Las tasas de citaciones de los artículos determina el FI de una revista y no viceversa.
Los sesgos planteados por Seglen
están sustentados en que resulta inapropiado realizar
comparaciones entre el número de citas generadas por diferentes campos
científicos, ya que el potencial de citación puede variar
significativamente de un campo a otro;26,30 en otras palabras, diferentes campos científicos poseen diferentes prácticas de citación.31,32
Otros
criterios abordados en la literatura redundan en las diferencias
en el impacto según la tipología de artículos publicados por las
revistas. Por ejemplo, los artículos de revisión “review
son altamente citados, e influyen en el FI de una revista. La
extensión de los artículos también puede influir o no en el
promedio de citas por documento, así como en la preferencia
idiomática para referenciar artículos del mismo idioma por parte de
los autores. El sesgo idiomático y la cobertura incompleta
respecto a la tipología documental continúan predominando en los
sistemas de información científica.
Las
principales limitaciones señaladas al factor de impacto se
refieren a la medición de la cantidad y no de la calidad de los
resultados de los trabajos publicados, la asignación de iguales
valores a todos los artículos, la influencia igualitaria de las
citas en la totalidad de los trabajos en una muestra y la totalidad
de las publicaciones las cuales no reflejan toda la actividad
científica de un contexto determinado, factores a tener en cuenta en
los procesos evaluativos de dominios científicos.
El
desarrollo de indicadores bibliométricos basados en el factor de
impacto ha estado aparejado con la aparición de competencias entre
sistemas de información científica y sistemas de rankings. Thomson Reuters y Scopus
han creado una gama de indicadores bibliométricos que permiten la
realización de análisis cuantitativos y cualitativos de diferentes
dominios científicos, según sea el objeto a medir; sin embargo, las
propias limitaciones reflejadas por los especialistas en el tema
han propiciado el desarrollo y el perfeccionamiento en su aplicación.
En este sentido, la calidad de un trabajo publicado no debe ser
entendido como el conteo de las citas recibidas, aunque en este
punto el supuesto trabajo ha transitado por un método de evaluación
científica: la revisión por pares.
La
evaluación por pares, continúa siendo estudiada como método o
procedimiento llevado a efecto en la ciencia para evaluar la
calidad de un artículo y por qué llega a ser publicado o no. Este
punto tiene sus controversias tanto económicas como subjetivas
desde los procesos editoriales con el movimiento de acceso abierto a
la información científica, acrecentado con la reciente inclusión
de Scielo al Thomson Reuters y los esfuerzo de Latindex por elevar la visibilidad e impacto a la producción científica en Latinoamérica.33
Lo cierto es que cantidad no es igual a calidad, pero ambas pueden
complementarse según los propósitos y alcances de un estudio
bibliométrico.
La
asignación de iguales valores a la totalidad de los artículos
en la metodología bibliométrica, es un elemento al que han aparecido
alternativas matemáticas con el surgimiento de los indicadores
alternativos al factor de impacto. Scopus y Thomson Reuters
apuestan por modelaciones de indicadores bibliométricos aplicados a
revistas científicas que utilizan la ponderación matemática,
eliminan las autocitas y amplían el período de citación; tal es el
caso de los indicadores alternativos al
factor de impacto: El Eigenfactor (Eigen) y el Scimago Journal Rank.33-36
A pesar de estas alternativas, permanece la limitación referida al
traslado del valor del indicador general de una revista a los
artículos que la componen, si se tiene en cuenta que no todos los
artículos contribuyen de forma similar al total de citas recibidas.37
El Scimago Journal Rank (SJR),38 es un indicador con acceso abierto, basado en los datos de la información científica indizada en Scopus;
toma las variables de las citas y los trabajo publicados de manera
similar al factor de impacto, pero en este caso le asigna diferentes
pesos a la citación teniendo en cuenta el prestigio de la revista
citante (estimado con el algoritmo del Page Rank de las revistas en la red) y elimina las autocitas.39,40
Las ventajas del SJR frente al FI se refieren a la facilidad de
acceso a los datos, mayor cobertura y variedad de tipología
documental, lenguaje y países de las publicaciones.39
Otros indicadores como el Article influence score (Score) y el Source normalized impact per paper (SNIP) son utilizados por Thomson Reuters y Scopus
en la búsqueda competitiva de nuevos análisis cada vez más
normalizados, con el fin de disminuir los sesgos que los análisis
de citas introducen en los estudios bibliométricos. El Score se origina del Eigenfactor; se define como la influencia media del Eigen e incluye la variable trabajos publicados. Article influence mide la influencia media de los artículos de las revistas y se basa en el mismo cálculo iterativo que Eigenfactor, pero teniendo en cuenta el número de artículos de la revista. Se asemeja más al FI y SJR.37,41
Por
su parte, el SNIP se define como la razón del número de
citaciones por artículo y la citación potencial en un campo
científico determinado. Desarrolla las nociones de Eugene Garfield
sobre "citación potencial", definido como la longitud media de
las listas de referencias en un campo y la determinación de la
probabilidad de ser citado.
Algunos
estudios analizan este fenómeno para introducir y estudiar estos
indicadores en evolución. Han sido utilizados en revistas de
diferentes campos científicos y se ha demostrado el
funcionamiento similar entre los indicadores bibliométricos
adquiridos por Thomson Reuters (Eigenfactor y Article influence score) y los de Scopus
en la evaluación bibliométrica de revistas científicas;
así también la similitud entre el AIS y el FI al proveer similares
rankings de revistas médicas.38,42 Se visualiza
en estos casos la necesidad de complementar indicadores en
determinados campos científicos, teniendo en cuenta el rango de
años que utilizan y la cantidad de citas según la variabilidad de
las disciplinas científicas.
Los
indicadores bibliométricos basados en el FI deben ser
normalizados, ponderados y relativizados necesariamente para
disminuir los sesgos en comparaciones de revistas científicas. La
Bibliometría lleva más de 40 años contando con el factor de
impacto y su evolución se despliega a la búsqueda de
normalizaciones para estudios de dominios con comportamientos
científicos diferentes. Resulta necesario para la interpretación
de los resultados de la medición de indicadores bibliométricos,
los aspectos cualitativos que caracterizan un dominio científico o
el campo científico sujeto a un estudio de este tipo. Esta
situación se presenta cuando la unidad de análisis en la
metodología bibliométrica pretende comparar producción científica
originada no solo de diferentes campos, sino de diferentes
estructuras científicas; por ejemplo: instituciones multidisciplinarias,
regiones o países y dentro de estos dominios los agregados
deseados a comparar.
De manera general, cuando la variable citas
interviene en el cálculo del impacto científico se introducen
sesgos en la evaluación bibliométrica. Las críticas permanecen
aún vigentes: desde el punto de vista editorial, es conocida la
manipulación para aumentar dicho indicador, lo que proporciona,
indica o sugiere, en los mejores casos, referenciar artículos de
revistas prestigiosas. Esto, a su vez, se ha vuelto una
estrategia para la publicación de artículos y forma parte del
"ABC" cuando los investigadores, profesores o académicos
construyen un artículo científico, teniendo en cuenta que la
citación de artículos de autores prestigiosos y revistas
influyentes puede incidir en el FI de la revista fuente.42,43
El
factor de impacto —entendido como el promedio de citas por
documentos, ya sea en dos o 5 años, según en el cálculo— es
una medida en una distribución no asimétrica; es decir, la
distribución del FI de una revista en ese período de tiempo no se
corresponde con una distribución normal, teniendo en cuenta la
mencionada contribución no equilibrada de cada “artículo” dentro
de la propia revista. Es por eso que en la evolución de la
evaluación de impacto científico está implícito el tratamiento
matemático. Se observan diferentes tendencias: ponderación de las
citas, ampliación de los períodos para reflejar más
acertadamente la realidad del impacto, unos incluyen el número de
publicaciones de las revistas, otros solo incluyen el conteo de citas.
Lo
anterior viene aparejado con la cobertura territorial,
lingüística y de campos científicos en ambas bases de datos
multidisciplinarias. Thomson Reuters, por ser el iniciador
de la indización automática de citas, fue el más criticado en la
literatura; sin embargo, continúa siendo una plataforma en
constante desarrollo, selectiva en sus políticas de inclusión y
tan utilizada como Scopus. Los nuevos indicadores
mencionados, o también llamados más recientemente indicadores
bibliométricos alternativos heredados del factor de impacto, se resumen
en la tabla.
Sobre
el uso de una u otra base de datos para estudios bibliométricos
de la producción científica se ha demostrado lo siguiente:44
- WoS
no debe ser utilizado solamente para estudiar la citación de
un autor o trabajo publicado, ni como como único recurso para
análisis de citas e impacto de un autor o publicación.


- Scopus y Google Scholar pueden ayudar a identificar un considerable número de citaciones que no se encuentran en el WoS,
dado que ofrecen una imagen más completa y abarcadora del
carácter internacional e interdisciplinario de la comunicación
científica.



- Se presenta la problemática de las técnicas de medición
de Google Scholar para analizar con precisión y eficacia las citas.



- La utilización de uno u otro recurso para la medición depende del dominio científico que se analice.


- En el caso de Scopus una de las limitantes señaladas se refiere a la indización de las citas solamente de 1996.45

Teniendo en cuenta estos criterios se han desarrollado estudios para comprobar la capacidad en WoS y Scopus
en cuanto al control de autoridades y su repercusión en la
visibilidad e impacto de autores e instituciones. Persisten
errores en los nombres de los autores, lo cual puede influir en
el cálculo del índice h en ambas bases de datos como indicador
incluido.46 Por otra parte, se ha comprobado que no existen
diferencias entre ambas fuentes de datos en cuanto a los datos de
las publicaciones. Se encontró mejor representación de la
temática en las categorías, así como las omisiones de datos de
afiliación de autores de Scopus.

ALTMETRICS O INDICADORES ALTERNATIVOS EN LA MEDICIÓN DEL IMPACTO DE LA INVESTIGACIÓN CIENTÍFICA
Los
altmetrics o indicadores alternativos se refieren a las
posibilidades de recuento en la Web social, exactamente a los "me
gusta", de Facebook, favoritos compartidos, tweets para evaluar la información científica.47 De
aparición reciente, se definen como creación y estudio de nuevos
indicadores basados en la Web 2.0 para el análisis de la actividad
académica y considerados alternativos al medir formas no
convencionales de la evaluación de la actividad científica.47,48 Las menciones en blogs, el número de tweets o el de personas que guardan un artículo en un gestor de referencias como, Mendeley,
puede ser una medida válida del uso y la repercusión de las
publicaciones científicas. En este sentido, estas medidas se han situado
en el centro del debate de los estudios bibliométricos y han
cobrado especial relevancia.48,49 Un punto de partida
es la Declaración de San Francisco, la cual reconoce la necesidad
de mejorar la forma en que se evalúan los resultados de la
investigación científica y de fomentar un cambio hacia la
evaluación basada en el contenido científico del artículo en lugar
de métricas sobre la revista en que fue publicado.49
El origen de estos indicadores se relaciona con la webmetría al tener en cuenta variables de medición a sitios online,
con lo que justifican métodos y modelos bibliométricos e
informétricos al estudio de la información científica disponible en
la web.2,48 En la terminología conceptual respecto a
los indicadores alternativos, confluyen varias disciplinas
científicas, entre ellas la comunicación, teniendo en cuenta las
evidentes relaciones de comunicación científica y el contenido
hipertextual a través de los links.


El
estudio del impacto de la información científica en la Web se
extrapola a partir de la concepción de la cita mediante el estudio
de links. La diferencia entre las citas y los links
radica en la dirección manifiesta. La cita es unidireccional porque
solo una publicación anterior puede ser referenciada y recibir una
cita por parte de otra publicada posteriormente y no de forma
inversa. Las relaciones entre los links son de forma bidireccional por las características del contenido. El contexto o propósito que generan los links son
totalmente diferentes a los que genera una cita o referencia;
estas últimas incluyen una relación de responsabilidad con los
contenidos del documento referenciado o citado, mientras que en los
links esto no sucede.2,50
Con
el surgimiento de múltiples plataformas que permiten compartir de
manera libre todo tipo de información y enlazarse a través de la
Web 2.0, la actividad científica y académica también se ha visto
beneficiada: redes sociales académicas, gestores de referencias online, repositorios de acceso abierto e índices de citas abiertos, como Google Scholar y Data Sharing,
son tendencias que han permitido obtener mayor rendimiento de los
recursos invertidos en la ciencia y mayor transparencia.51
De
cara a la medición del impacto científico, las técnicas
webmétricas y las bibliométricas experimentan una imbricación, a
partir de las críticas históricas del factor de impacto y con el
surgimiento y desarrollo de los recientes productos del Google
Académico. La fortaleza fundamental de los indicadores altmetrics
radica en que ofrecen datos, casi a tiempo real, de la repercusión
de un trabajo en diferentes niveles de agregación. Las principales
limitaciones se refieren a:
-
La difícil jerarquización de los indicadores, de cara a las
variables a medir. En este sentido el ordenamiento en forma de rankings, teniendo en cuenta la fuente o plataforma utilizada.

-
Algunos artículos científicos apenas tienen impacto en las redes
sociales; sin embargo, en otras fuentes —como bases de datos e
índices de citas
poseen resultados más sólidos.

- Impacto científico versus impacto social de la actividad científica.

-
Variabilidad de los indicadores altmetrics producto del
surgimiento y permanencia de las fuentes, así como su validez,
por lo que la información es efímera, lo que dificulta reproducir
los resultados al ámbito científico.


A
su vez, se han realizado taxonomías o clasificaciones de los
indicadores altmetrics. Los criterios de clasificación se basan en
las plataformas para la medición48 y las variables a medir.52
Aunque algunas de estas plataformas miden la reputación de un
investigador de forma individual, un grupo de colegas pueden ser el
reflejo de una institución. La reputación de un investigador y la
interacción entre los grupos incide en su score, pues no
solo tiene en cuenta cómo los colegas contribuyen y evalúan los
trabajos sino también en quiénes son estas personas, lo cual
significa que cuanto mayor sea la puntuación de los que
interactúan, más posibilidades de aumentar el RG Score de un investigador y reflejar una posición dentro de la comunidad científica.53

CONSIDERACIONES FINALES
Los
indicadores bibliométricos deben su surgimiento y evolución a las
particularidades de la producción bibliográfica, lo que permite el
estudio del comportamiento de comunidades y disciplinas científicas
a través de los resultados de las investigaciones.


La
literatura científica sobre indicadores bibliométricos recoge
amplia variedad de criterios y clasificaciones según la
bibliografía referenciada. Pueden ser utilizados desde los
diferentes objetos de estudios de la Bibliometría como especialidad
métrica de la información. Se derivan de dos regularidades
fundamentales: la producción científica y la comunicación
científica, y estas, a su vez, originan tipologías agrupadas en la
producción, visibilidad e impacto, y colaboración científica. La
tipología de los indicadores bibliométricos resulta difusa en la
literatura. Está en función del recuento, uso y relaciones de los
elementos bibliográficos, y fueron perfeccionándose a partir de la
propia práctica de los procedimientos bibliométricos. Los
indicadores bibliométricos basados en el factor de impacto y el
número de citas han sido los más polémicos en la literatura
científica, cuyas causas están centradas en la motivación para la
citación, el peso de la cita de un artículo respecto al total de
las citas que recibe la revista y el comportamiento de la citación
en diferentes áreas temáticas de la ciencia. Este fenómeno ha
originado la evolución hacia indicadores alternativos en los sistemas
de información científica, para la evaluación de la ciencia en
revistas, instituciones y países.


El
desarrollo y evolución de los indicadores bibliométricos ha estado
inclinada a los indicadores derivados del factor de impacto en
busca de normalizaciones para la comparación entre campos
científicos. Los sistemas de información científica los incluye con
el fin de minimizar sesgos en los estudios comparativos y ranking de dominios científicos.
Más
recientemente la Bibliometría se imbrica con el desarrollo de la
Webmetría, y ha generado los llamados indicadores altmetrics para
medir las formas no convencionales de la actividad científica y
académica. Estos indicadores posibilitan medir, casi a tiempo real,
el impacto científico a través de la interacción de los dominios
en la Web 2.0.
Los indicadores bibliométricos ofrecen en
la actualidad perspectivas interesantes a partir de la posibilidad
de su uso en la gestión y evaluación de la investigación, a
niveles micro, meso y macro, específicamente en la selección de
revistas para publicar resultados de la investigación, gestionar
proyectos de colaboración, diseñar políticas científicas y agendas
de investigación, entre otras.

REFERENCIAS BIBLIOGRÁFICAS
1.
Martínez A. Estudios métricos de la información: selección de
lecturas. La Habana: Editorial "Félix Varela"; 2004.
2.
Gorbea Portal S. Modelo teórico para el estudio métrico de la
información documental. Gijón, España: Ediciones Trea; 2005.
3.
Egghe L, Rousseau R. Introduction to informetrics: Quantitative
methods in library, documentation and information science. New
York: Elsevier Science Publishers; 1990.
4. Pritchard A. Statistical bibliography or bibliometrics? J Document. 1969;25(4):348-9.
5.
Blatt Oldira ML. Producao Científica em Biblioteconomía no estado
de Santa Catarina. Transinformacao. 1997;9(3):68-87.
6.
Macías-Chapula CA. Papel de la informetría y de la cienciometría y
su perspectiva nacional e internacional. São Paulo: Seminario
sobre Evaluación de la Producción Científica; 1998.
7.
Leydesdorff L. The evaluation of research and the evolution of
science indicators. Studies in Science of Science.
2004;22(3):225-32.
8.
Moed HF, Burger WJ, Frankfort JG, Van Raan AF. The use of
bibliometric data for the measurement of university research
performance. Res Pol. 1985;14:131-49.
9.
Hernández-Sampieri R, Fernández-Collado C, Baptista-Lucio P.
Metodología de la Investigación. México: McGraW-Hill; 2006.
10.
Licea De Arenas J. Indicadores de la actividad científica
Scientometrics indicators. Cienc Inform. 1993;24(1):2-6.
11.
Maltrás B. Los indicadores bibliométricos: fundamentos y
aplicacion al análisis de la ciencia. Gijón, España: TREA, S. L.;
2003.
12.
Sanz Casado E, Martín Moreno C. Aplicación de técnicas
bibliométricas a la gestión bibliotecaria. Invest Bibliotecol.
1998;12(24):24-40.
13.
Iribarren Maestro I. Producción científica y visibilidad de los
investigadores de la Universidad Carlos III de Madrid en las bases
de datos del ISI, 1997-2003 [Tesis Doctoral]. Getafe: Universidad
Carlos III de Madrid; 2006.
14. Arencibia-Jorge
R, de Moya-Anegón F. La evaluación de la investigación científica:
una aproximación teórica desde la cienciometría. Acimed. 2008
[citado 12 de marzo de 2014];17(4). Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S1024-94352008000400004
15.
Elizagaray Fernández B. Ciencias sociales en Cuba: análisis
métrico de la producción científica en el período 2000-2008 a
partir de la base de datos Cubaciencia [Trabajo de Diploma]. La
Habana: Universidad de La Habana; 2010.
16.
Sancho-Lozano R. Indicadores bibliométricos utilizados en la
evaluación de la ciencia y la tecnología. Revisión Bibliográfica.
Rev Esp Docum Cient. 1992;13(34):842-65.
17.
Scheneider JW. Concept symbols revisited: Namish clusters by
parsing and filtering of nouns phrases from citation contexts of
symbols. Scienciometrics. 2006
[citado 12 de marzo de 2014];68(3). Disponible en: http://www.akademiai.com/doi/abs/10.1007/s11192-006-0131-z
18.
López Piñero JM, Terrada ML. Los indicadores bibliométricos y
la evaluación de la actividad médico-científica (I). Usos y abusos
de la bibliometría. Med Clin. 1992;98:64-8.
19.
Callon M, Courtial JP, Penan H. Cienciometría. El estudio
cuantitativo de la actividad científica: de la bibliometría a la
vigilancia tecnológica. Gijón, España: Ediciones TREA; 1995.
20.
Bordons M, Zulueta MÁ. Evaluación de la actividad científica a
través de indicadores bibliométricos. Rev Esp Cardiol.
1999;52(10):790-800.
21.
Camps D. Limitaciones de los indicadores bibliométricos en la
evaluación de la actividad científica biomédica. Colomb Med.
2008:74-9.
22.
Cabezas-Clavijo Á. Estudio bibliométrico de la producción, la
actividad y la colaboración científica en grupos de investigación:
el caso de la Universidad de Murcia [Tesis Doctoral]. Granada,
España: Universidad de Granada; 2013.
23.
Torres-Salinas D. Diseño de un sistema de información y evaluación
científica. Análisis ciencimétrico de la actividad investigadora
de la Universidad de Navarra en el área de ciencias de la salud.
1999-2005. Granada, España: Universidad de Granada; 2007.
24.
de Moya-Anegón F, Solís Cabrera FM. Indicadores bibliométricos de
la producción científica de Andalucía: Junta de Andalucía,
Consejería de Innovación, Ciencia y Empresa; 2005.
25.
Van Raan AFJ. Measurement of Central Aspects of Scientific
Research: Performance, Interdisciplinarity, Structure. Measurement.
2005:1-19.
26.
Seglen PO. Why the impact factor of journals should not be used
for evaluating research. Brit Med J. 1997;314:498-502.
27.
Garfield E. Citation indexing. Its theory and application in
science, technology and humanities. New York: Wiley; 1979.
28.
Garfield E. The use of journal impact factors and citation
analysis for evaluation of science. Cell Separation, Hematology and
Journal Citation Analysis. Mini Symposium in tribute to Arne Bøyum
Cell Separation. Rikshospitalet, Oslo: The Scientist; 1998.
29. Garfield E. Journal impact factor: a brief review. Canadian Medical Association Journal. 1999;161(8):979-80.
30.
Aleixandre-Benavent R, Valderrama-Zurián JC, González-Alcaide
G. El factor de impacto de las revistas científicas: limitaciones e
indicadores alternativos. El profesional de la información.
2007;16(1):4-11.
31.
Waltman L, van Eck NJ. Source normalized indicators of citation
impact: an overview of different approaches and an empirical
comparison. Scientometrics. 2013;2013(96):699-716.
32.
Baiget T, Castro P, Aguillo I, Tramullas J. Editoriales OA
estafadoras y sin escrúpulos. Indicadores en Ciencia y Tecnología.
2013 [citado 12 de marzo de 2014]
Disponible en: https://digitum.um.es/jspui/handle/10201/36536
33. Why eigenfactor. 2014 [citado 10 de marzo de 2014]. Disponible en: http://www.eigenfactor.org/whyeigenfactor.php
34. Grupo Scimago. Scimago Journal & Country Rank: About us. 2014 [citado 10 de marzo de 2014]. Disponible en: http://www.scimagojr.com/aboutus.php
35.
Bergstrom CT. Eigenfactor measuring the value and prestige of
scholarly journals. Colege & Research Libraries News.
2007:314-6.
36. Bergstrom CT, West JD, Wiseman MA. The Eigenfactor metrics. J Neurosc. 2008:11433-4.
37.
Torres-Salinas D, Jiménez-Contreras E. Introducción y estudio
comparativo de los nuevos indicadores de citación sobre revistas
científicas en Journal Citation Reports y Scopus. El profesional de
la información. 2010;19(2):201-7.
38. SJR. SCImago Journal & Country Rank. 2014 [citado 31 de mayo de 2014]; Disponible en: http://www.scimagojr.com/journalsearch.php?q=5100155014&tip=sid&clean=0
39.Falagas
ME, Kouranos VD, Arencibia-Jorge R, Karageorgopoulos DE.
Comparison of SCImago Journal Rank indicator with journal impact
factor. The FASEB Journal. 2008;22:2623-8.
40.
Richardson M, Domingos P. The intelligent surfer: probabilistic
combination of link and content information in PageRank. 2002
[citado 10 de marzo de 2014]. Disponible en: http://homes.cs.washington.edu/~pedrod/papers/nips01b.pdf
41.
Rizkallah J, Sin DD. Integrative approach to quality assessment of
medical journals using impact factor, Eigenfactor and article
influence. Scores PLoS ONE. 2010;5(4). e10204.
42. Nader
Ale E, Hadi S, Mohamed Amin E, Farid Habibi T, Hossein G, Seyed
Mohammad M, et al. Effective strategies for increasing citation
frequency. Internat Educ Stud. 2013;6(11):93-9.
43. Vanclay JK. Factors affecting citation rates in environmental science. J Informetr. 2013:265-71.
44.
Yang K, Meho LI. Citation analysis: a comparison of Google
Scholar, Scopus, and Web of Science. Austin, EE.UU. 69th Annual
Meeting of the American Society for Information Science and
Technology (ASIST); 2006.
45.
Jacso P. Calculating the h-index and other bibliometric and
scientometric indicators from Google Scholar with the Publish or
Perish software. Online Inf Rev. 2009;33(6):1189-2000.
46. Jacso P. Savvy searching: software issues related to cited references. Online Inf Rev. 2007;31(6):892-905.
47.
Borrego À. Altmetrics: nuevas formas de medir el impacto de la
investigación blok de bid. Barcelona, España: Facultat de
Biblioteconomia i Documentació; 2013.
48.
Torres-Salinas D, Cabezas-Clavijo Á, Jiménez-Contreras E.
Altmetrics: nuevos indicadores para la comunicación científica en
la Web 2.0. Comunicar. 2013;XXI(41):53-60.
49.
Declaración de San Francisco de Evaluación de la Investigación.
Rev Cubana Salud Pública. 2014 [citado 4 de marzo de 2015];40(1).
Disponible en: http://www.bvs.sld.cu/revistas/spu/vol40_1_14/spu17114.htm
50.
Chu H, He S, Thelwall M. Library and information science schools
in Canada and USA: A Webometric Perspective. J Educ Libr Inform
Sci. 2002;43(2):110-25.
51.
Torres-Salinas D, Robinson-García N, Cabezas-Clavijo Á. Compartir
los datos de investigación en ciencia: introducción al data
sharing. El profesional de la información. 2012;21(2):173-84.
52. PlumX. Current List of metrics. 2014 [citado 4 de marzo de 2015]. Disponible en: http://www.plumanalytics.com/metrics.html
53. RG Score. A new way to measure scientific reputation. 2014 [citado 25 de marzo de 2015]. Disponible en: https://www.researchgate.net/publicprofile.RGScoreFAQ.html


Recibido: 15 de diciembre de 2014.
Aprobado: 7 de abril de 2015.


María Josefa Peralta González. Universidad Central "Marta Abreu" de Las Villas. Santa Clara, Villa Clara, Cuba. Correo electrónico: mjosefa@uclv.edu.cu
 

© 
2015 
2002, Editorial Ciencias Médicas


Calle 23 # 654 entre D y E, Vedado
Ciudad de La Habana, CP 10400
Cuba



Revista Cubana de Información en Ciencias de la Salud - Criterios, clasificaciones y tendencias de los indicadores bibliométricos en la evaluación de la ciencia

No comments:

Post a Comment