¿Envió un artículo para publicación? ¿Será aceptado?
¿Cómo se seleccionan los trabajos?
La revisión por expertos
Introducción:
La revisión externa a ciegas de un resumen científico, donde la identidad de los autores y su afiliación institucional le son vedadas al revisor o experto, constituye un método habitual para reducir sesgos por parte del experto. Existen variaciones entre las revistas sobre los métodos de la revisión a ciegas, e incluso dudas sobre su verdadera eficacia.
El objetivo de los autores de este artículo fue evaluar el efecto de la revisión a ciegas sobre el grado de aceptación de los resúmenes enviados a la American Heart Association?s Scientific Sessions, un encuentro anual que reúne a más de 30.000 profesionales y la presentación de cerca de 4.000 resúmenes.
La hipótesis de los autores es que hay ciertos aspectos que influyen sobre la aceptación o el rechazo de un resumen comparando la revisión abierta con la revisión a ciegas.
Métodos
Diseño
Se revisaron en forma abierta para su evaluación los resúmenes de 2000 y 2001 enviados a la American Heart Association?s Scientific Sessions. O sea que los nombres de los autores y sus instituciones se incluyeron en el resumen. Sin embargo, en 2002 luego de un intenso debate por parte de los miembros respecto de los sesgos que se podrían generar por parte del revisor, el método de revisión fue cambiado. Es así que de 2002 a 2004, los resúmenes fueron evaluados en forma ciega, ocultando los nombres e instituciones de los autores.
Proceso de revisión
Cada resumen enviado a las Scientific Sessions fue evaluado independientemente por 8 a 10 revisores. Cada resumen recibió una puntuación de 1 (pobre) a 10 (excelente). Los revisores fueron instruidos para la calidad de los resúmenes sobre la base de los siguientes parámetros:
- Organización.
- Utilidad.
- Presentación.
- Calidad técnica.
Un 25% de los resúmenes con una puntuación de 8 o más debían ser aceptados y alrededor del 15% con una puntuación de 7 podrían ser aceptados si había suficiente espacio.
Cada revisor evaluó 100 o más resúmenes dentro de su subespecialidad cardiológica. Los revisores no podían evaluar resúmenes de sus propias instituciones o si había otros conflictos de interés.
Categorización de los resúmenes
La categorización fue la siguiente:
- País de origen: Estados Unidos. En este caso fueron categorizados según el prestigio de la institución, costo económico de la investigación, auspicios otorgados (académico, gubernamental o industria) y convenios con el National Institutes of Health (NIH).
- Países fuera de Estados Unidos de habla inglesa.
- Países fuera de Estados Unidos de idiomas que no son el inglés.
- Sexo de los autores.
Efecto de aceptación de los resúmenes según las distintas variables
Durante la revisión abierta se aceptó el 40,8% de los resúmenes de Estados Unidos y el 22,6% de los resúmenes de otros países. Después de la implementación del ciego las cifras fueron 33,4% y 23,7%, respectivamente. O sea que el sistema ciego atenuó en forma significativa la asociación entre el país y la posibilidad de aceptación del resumen. Las variables prestigio de la institución, característica gubernamental o no gubernamental de la institución, a semejanza del efecto por país produjeron diferencias significativas al implementarse el sistema ciego. La única variable que no se modificó fue el sexo de los autores. Los porcentajes de aceptación se encuentran en la Tabla 1 y se refieren a variables de resúmenes producidos dentro de Estados Unidos.
Tabla 1. Porcentaje de resúmenes aceptados entre el sistema abierto y el sistema cerrado según las distintas variables analizadas.
Característica de los resúmenes Sistema abierto Sistema ciego
Provenientes de Estados Unidos 40,8% 33,4%
De otros países 22,6% 33,7%
Países de lengua inglesa 31,1% 28,8%
Países con otras lenguas 20,9% 22,8%
Centro muy prestigiado 51,3% 38,8%
Centro de moderado prestigio 42,7% 34,3%
Centro carente de prestigio 32,6% 29,0%
Autores hombres 41,7% 33,1%
Autores mujeres 41,6% 33,4%
Institución gubernamental 65,2% 45,5%
Institución no gubernamental 41,0% 33,5%
Excepto para el sexo las diferencias tuvieron un índice de p < 0,001.
Comentario
Entre los resúmenes suministrados a la American Heart Association?s Scientific Sessions, la revisión a ciegas atenuó en forma significativa las asociaciones entre la aceptación del resumen y casi todas las variables analizadas. Este hallazgo no se debió a cambios de los revisores y señala que los revisores generan sesgos en los resúmenes abiertos, favoreciendo a autores de Estados Unidos, de países de lengua inglesa y de instituciones académicas prestigiosas. También hubo una tendencia con las revisiones abiertas a favorecer a las instituciones gubernamentales y a los autores no relacionados con la industria privada.
De todas maneras, la revisión ciega no excluye totalmente los sesgos y un ciego exitoso necesita algo más que eliminar el nombre e instituciones de los autores. El revisor, por las características del manuscrito, puede deducir quién es el autor, pero esto es mucho más difícil que la revisión de un artículo completo donde por las citas y otras evidencias el revisor puede detectar a los autores en un 20% - 60%.
Los autores concluyen que la revisión a ciegas de los resúmenes científicos es un método razonable, de bajo costo y de beneficio sustancial.
Resultados
El promedio de resúmenes enviados cada año para evaluación fue de 13.455, totalizando durante los años considerados 67.275 resúmenes, de los cuales se aceptaron para su publicación 19.198 (promedio 28,5%).
*Editorial: "Un Chalchalero no es un Rolling Stone"
Fuente: (Comentario y resumen objetivo: Dr. Ricardo Ferreira.)
Dres. Ross JS, Ross CP, Desai MM, et al.
Intramed: Enero/2008
