(BMJ) El sesgo de publicación, una amenaza para las revisiones sistemáticas

Hace unos días se publicó en la sección Research Methods & Reporting del British Medical Journal un estudio que consideramos de gran relevancia. Bajo el título The impact of outcome reporting bias in randomised controlled trials on a cohort of systematic reviews, su objetivo ha sido evaluar la prevalencia de sesgos de publicación en relación a las variables de resultado de los estudios y su impacto en las revisiones realizadas por la Cochrane. Siendo  estas revisiones uno de los pilares básicos de la evidencia que nos alumbra ¿está la solidez de sus conclusiones amenazada por los sesgos de publicación de los ensayos clínicos de los que se nutren? Veamos qué aporta este innovador estudio.  

Metodología: Se analizó una cohorte de  283 revisiones sistemáticas no seleccionadas de la Cochrane. Para cada revisión analizada, se construyó una matriz con las variables de resultado principales y el resto de variables de cada ensayo clínico incluido, distinguiendo si había una información completa,  parcial o no había información de las mismas. Así mismo, se elaboró una clasificación para evaluar el riesgo de sesgos si un determinado estudio era excluido del meta-análisis porque no se incluian datos de la variable o se incluian parcialmente. Esta clasificación identifica si hay evidencia de que una determinada variable fue medida y analizada, distinguiendo si incluia información parcial de los resultados (estadios A a D), si fue medida pero no analizada (E y F), si no está claro que fuera medida (G y H) o si estaba claro que no fue medida (I). Además, en cada categoría de esta clasificación se evaluó el riesgo de sesgo de publicación de la variable por la no inclusión de resultados no significativos. Se determinó que dicho riesgo era alto cuando se sabía a ciencia cierta o se sospechaba que los resultados fueron publicados parcialmente o no publicados debido a que no eran estadísticamente significativos. Y bajo cuando se sospechó, pero no se tenía certeza, que la variable no se midió, se midió pero no se analizó o se midió y analizó pero se publicaron los datos de forma parcial o no se publicaron por motivos no relacionados con los datos obtenidos. Por último, no existía riesgo si se sabía que la variable no fue medida, que fue medida, pero no analizada o medida y analizada, pero la razón de la publicación parcial o la no publicación de los resultados no estuvo debida a la no significación estadística de los resultados (ver tabla 2).  

Resultados: de las 283 revisiones analizadas, 126 (557 ensayos clínicos) no requirieron una evaluación adicional. Las 157 restantes (55%) (2005 ensayos) requirieron un análisis adicional. Esto es, no incluían información completa de la variable de resultado principal de interés para los ensayos clínicos incluidos. En el 31% de los 2.562 ensayos incluidos, se dio información parcial o no se dio, de la variable de resultado principal. En la tabla 4 se muestra la clasificación de estos 712 ensayos clínicos (inicialmente 788, pero se excluyeron por distintos motivos 76). En resumen, la pérdida media de datos relacionados con la variable, por cualquier motivo, fue de un 10% (el 50% o más en el 25% de las revisiones analizadas). En el 6% de los ensayos incluidos, los investigadores habían medido y analizado la variable,  pero no se publicaron los datos o se hizo de forma parcial. En un análisis de sensibilidad llevado a cabo sobre 81 revisiones con un único meta-análisis de la variable de resultado principal, el efecto del tratamiento estimado se redujo en más de un 20% en 19 (23%). De los 42 meta-análisis con resultados estadísticamente significativos 8 (19%) pasaron a ser no significativos tras ajustar por el sesgo de publicación y 11 (26%) se habría sobreestimado el efecto del tratamiento en más de un 20%.  

Conclusiones: El sesgo de publicación de las variables de resultados es un problema infravalorado que afecta a las conclusiones de una proporción importante de las revisiones de la Cochrane. Los encargados de realizar revisiones sistemáticas necesitan explicitar los datos relativos a la variable no publicados para que su revisión pueda considerarse una fuente fiable de evidencia. Se requiere un cuidado especial durante la extracción de datos: los revisores deben identificar  cuándo en un ensayo la variable fue medida pero los resultados o los eventos observados no se publicaron y se debe animar a que, en estos  casos, contacten con los autores.  

Financiación: Medical Research Council.  

Comentario: con un entramado metodológico complejo, que hemos resumido más allá de lo razonable, el denominado Outcome Reporting Bias in Trials (ORBIT) es, sin duda, un estudio importante por su novedad y la importancia de sus conclusiones. En relación a la novedad, los autores han diseñado una nueva clasificación para analizar la publicación selectiva de los resultados de los ensayos. Además, evaluaron la validez de la herramienta. Así mismo, se estimó la prevalencia del sesgo de publicación y su impacto en una cohorte no seleccionada de revisiones de la Cochrane. Los resultados obtenidos nos dan una de cal y otra de arena. La de cal viene motivada porque se pone al descubierto un motivo más para desconfiar de ciertas investigaciones, ciertos investigadores y quienes los patrocinan. Ya habíamos leído que algunos se habían atrevido a falsear los resultados incluso en indicaciones off label. Que también se habían atrevido con los estudios enviados a la Food and Drug Administration. Y que del sesgo de publicación no se libran ni las investigaciones realizadas con financiación pública. Pero este estudio va un poco más allá, porque apunta a la línea de flotación de la fiabilidad de los resultados de las revisiones realizadas por la Cochrane. Y todo ello en una semana en la que un tipo que trabajó para Pfizer y Merck  ha confesado que falsificó docenas de estudios. La de arena es que, conocida la trampa (publicar de forma parcial o no publicar los resultados que no me interesan) los metodólogos ya están desarrollando herramientas para detectarla y, en la medida de lo posible, neutralizarla. ¿Y ya está? Pues no: igual que hay un registro de ensayos clínicos, va siendo necesario poner en marcha un registro de tramposos: estamos hablando de estudios sobre la seguridad y eficacia de las intervenciones para mejorar la Salud de las personas. Y algunos siguen empeñados en sesgar sus resultados o directamente mentir sobre los mismos. ¿Hasta cuándo vamos a consentir que sigan engañándonos?