El problema

Uno de los aspectos más importantes de la práctica científica tiene que ver con el asunto de la reproducibilidad de experimentos bajo condiciones controladas.

Como hemos señalado, el grueso de los artículos publicados en revistas académicas son estudios preliminares. Esto significa que la inmensa mayoría (aproximadamente un 85%) de todos los estudios llegan a conclusiones erradas. A veces esto ocurre por descuido en el diseño de los experimentos. En otras ocasiones, los datos se ajustan (conscientemente o no) según el prejuicio del investigador.

En una buena parte de los casos, los resultados son negativos. Debido a ello, las revistas académicas tienden a no publicarlos, porque no se ven como evidencia “positiva” o nueva. A esto se le conoce como el “prejuicio de la publicación“. Este último factor, que se lleva discutiendo desde los años 70, agrava marcadamente el problema, ya que pueden presentarse varios estudios errados como evidencia positiva, mientras que se ignoran otros mejor diseñados que demuestran que dicha evidencia es realmente ninguna.

En muchos de los casos, los estudios que reclaman evidencia positiva deben ser reproducidos por otros científicos bajo condiciones controladas para que la comunidad científica se cerciore de que los datos obtenidos son los correctos. A este tipo de reproducción científica se conoce como replicación. Esta es una base fundamental del conocimiento científico. Sin embargo, en años recientes, se ha puesto en duda un muy buen número de estudios publicados que no pueden ser replicados, sea porque el científico no brinda todos los datos en su estudio, sea porque no quiere que se examine su laboratorio o porque el artículo describe el proceso experimental de manera inadecuada.

Esto se ha visto en el ámbito de la psicología. Se llevó a cabo una investigación en el año 2006, un equipo de científicos se dedicó a enviar mensaje a correos electrónicos de 141 científicos que habían publicado artículos cuyos datos estaban incompletos. De estos, el 73% no respondió por un periodo de seis meses. En otra indagación que iba por la misma línea, se descubrió que cerca del 62% de los autores de 394 artículos no respondió a la solicitud de validación de ciertos datos publicados en el 2012. Ante estos y otros hallazgos similares, la American Psychological Association estableció el Reproducibility Project: Psychology, con el cual intentaba replicar cerca de cien estudios psicológicos publicados en revistas académicas de psicología. Solo el 39% alcanzó resultados significativos.

Aparentemente, en el mundo de la farmacología la situación es mucho peor. De los estudios farmacológicos que se han hecho, parece que solo el 6% es plenamente replicable con plena fiabilidad y el 65% no. Esto no solo ocurre por intervención indebida de intereses corporativos de las farmacéuticas, sino porque una muy buena parte de los estudios no puede ser replicados. Lo mismo ocurre con las drogas dirigidas al tratamiento de cáncer. De acuerdo con un estudio, aproximadamente el 50% de los investigadores del  MD Anderson Cancer Center había experimentado al menos un caso de problemas de replicación. Cuando ellos intentaron contactar a los autores, muchos no pudieron hacerlo y una buena parte de los que sí, respondieron de manera indiferente u hostil.

Aun cuando se requiera replicación para alcanzar mayor objetividad de los resultados dentro de la comunidad científica, existe a nivel social un incentivo para estudios “noveles” u “originales” y no para la replicación.
.

La respuesta holandesa

La revista Nature, en su versión cibernética, nos da a conocer que la Organización Holandesa para el Estudio Científico (NWO) está tomando ciertos pasos en la dirección correcta. Ha creado un programa con un fondo de €3 millones ($3.3 millones) dirigidos a investigaciones cuyo fin es el de replicar experimentos. Entre sus áreas de interés, se encuentran los estudios seminales, es decir, aquellos que se citan frecuentemente o que son decisivos a la hora de basar otros estudios o fundamentar política pública.

Este proyecto crearía un nuevo incentivo para establecer unos cimientos más firmes en cuanto a los datos publicados en artículos científicos. Se le va a impedir a los investigadores replicar los resultados de sus propios estudios, siempre se dirigirá a replicar los de otros.

Por lo pronto, este es un proyecto piloto, único en el mundo y cuyos resultados serán evaluados a la luz del rigor de la comunidad científica. Sin embargo, este puede ser uno de una variedad de medidas para cualificar de manera integral la calidad de la literatura científica.

.

Referencias

Baker, M. (2016, 25 mayo). 1,500 scientists lift the lid on reproducibility. Nature, 533, 452–454. doi: 10.1038/533452a.

Baker, M. (2016, 20 jul.). Dutch agency launches first grants programme dedicated to replication. Nature. http://www.nature.com/news/dutch-agency-launches-first-grants-programme-dedicated-to-replication-1.20287. doi: 10.1038/nature.2016.20287.

Begley, C. G. (2013, 22 mayo). Reproducibility: Six red flags for suspect work. Nature 497, 433–434. doi: 10.1038/497433a. PMID: 23698428.

Begley, C. G. & Ellis, L. M. (2012, 29 mar.). Drug development: Raise standards for preclinical cancer research. Nature 483, 531–533. doi: 10.1038/483531a.

Dickersin, K. (1990, 9 mar.).  The existence of publication bias and risk factors for its occurrence. The Journal of the American Medical Association, 263, 10, 1385-1389. doi: 10.1001/jama.1990.03440100097014. PMID: 2406472.

Felson, D. T. (1992, ago.). Bias in meta-analytic research. Journal of Clinical Epidemiology, 45, 8, 885–892. doi:10.1016/0895-4356(92)90072-U. PMID: 1624971.

Ioannidis, J. P. A. (2016, 21 jun.). Why most clinical research is not useful. PLoS Medicine,  13, 6,  e1002049. doi:10.1371/journal.pmed.1002049. PMID: 27328301.

Kühberger, A., Fritz, A., & Scherndl, T. (2014, 5 sept.). Publication bias in psychology: A diagnosis based on the correlation between effect size and sample size. PLoS ONE, 9, 9, e105825. doi:10.1371/journal.pone.0105825. PMID: 25192357.

Mobley, A., Linder, S. K., Braeuer, R., Ellis, L. M., & Zwelling, L. (2013). A survey on data reproducibility in cancer research provides insights into our limited ability to translate findings from the laboratory to the clinic. PLoS ONE, 8, 5, e63221. doi:  10.1371/journal.pone.0063221. PMID: 23691000.

Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349, 6251, aac4716. doi: 10.1126/science.aac4716. PMID: 26315443.

Prinz, F., Schlange, T. & Asadullah, K. (2011, sep.). Believe it or not: how much can we rely on published data on potential drug targets?  Nature Reviews Drug Discovery 10, 712. doi:10.1038/nrd3439-c1.

Rosenthal, R. (1979, mayo). The file drawer problem and tolerance for null results. Psychological Bulletin, 86, 3, 638-641. doi:10.1037/0033-2909.86.3.638.

Vanpaemel, W., Vermorgen, M., Deriemaecker, L. & Storms, G. (2015). Are we wasting a good crisis? The availability of psychological research data after the storm. Collabra. 1, 1, Art. 3 doi:10.1525/collabra.13.

Wicherts, J. M., Borsboom, D., Kats, J. & Molenaar, D. (2006, oct.). The poor availability of psychological research data for reanalysis. American Psychologist, 61, 7, 726-728. doi:10.1037/0003-066X.61.7.726. PMID: 17032082.