"Algunos efectos disminuyen cuando las pruebas se repiten"

RESULTADOS NO PUBLICADOS OCULTA EL EFECTO DE LA DISMINUCIÓN DE LA

Algunos efectos disminuyen cuando las pruebas se repiten. Jonathan Schooler dice ser abierto acerca de resultados que no hacen el registro científico podría revelar por qué.

Jonathan Schooler

Muchos científicamente descubierto efectos publicados en la literatura parecen disminuye con el tiempo. Apodado el efecto de la disminución, esta anomalía desconcertante fue descubierta en la década de 1930 en investigación en parapsicología, en el que la significación estadística de la supuesta evidencia de capacidad psíquica declinó como estudios fueron repetidos. Desde entonces se ha informado en una cadena de campos — tanto en meta análisis de resultados en la biología y la medicina en laboratorios individuales (incluyendo el mío). La cuestión ha sido reconocida en algunos círculos dentro de la comunidad científica, pero ascendió a mayor prominencia de diciembre pasado, cuando se debatió en un artículo en la revista The New Yorker.

Algunos científicos atribuyen el efecto de la disminución a Autocorrección estadístico de los resultados inicialmente exagerados, también conocido como la regresión a la media. Pero no podemos estar seguros de esta interpretación, o incluso la prueba, porque generalmente no tenemos acceso a 'resultados negativos': los resultados experimentales que no eran dignos de mención o suficientemente consistente para pasar la revisión por pares y publicado.

¿Cómo podría mejorarse la disponibilidad de resultados no publicados? Sugiero un repositorio de acceso abierto para todos los resultados de investigaciones, que permitiría a los científicos a registrar sus hipótesis y metodologías antes de un experimento y sus resultados después, independientemente del resultado. Una base de datos revelaría estudios publicados cómo encajan en el conjunto más amplio de los estudios realizados y ayudaría a responder muchas preguntas sobre el efecto de la disminución.

Disponibilidad de resultados no publicados también podría abordar otras deficiencias del proceso científico actual, incluyendo el fracaso regular de los científicos para experimentos de informe, las condiciones o las observaciones que son incompatibles con la hipótesis; la adición o eliminación de los participantes y las variables para generar la significación estadística; y la probable existencia de numerosos hallazgos publicados no-cuya posibilidad de repetición se envuelve porque es difícil nulo resultados de informe.

Para enfrentar el efecto de la disminución, una base de datos podría indicar si el fenómeno refleja cómo el diseño de experimentos científicos, cómo escribe o cómo revistas decidan qué publicar. Se podría utilizar para explorar si los auténticos cambios en los fenómenos estudiados podrían derivan de mecanismos convencionales; por ejemplo, en ciencias sociales, declinar efectos podría ser el resultado de los participantes ya no ser ingenuo acerca del efecto bajo investigación. Menos probable, pero no inconcebible, es un efecto de algún proceso no convencional. Quizás, como ha sugerido el acto de la observación que afectan a la medición cuántica, observación científica podría cambiar sutilmente algunos efectos científicas. Aunque las leyes de la realidad por lo general se entienden inmutable, algunos físicos, incluyendo Paul Davies, director del más allá: Centro de conceptos fundamentales en la ciencia en la Universidad Estatal de Arizona en Tempe, han observado que esto debería considerarse una suposición, no una conclusión inevitable.

Las explicaciones más prosaicas para el efecto de la disminución incluyen la regresión mencionada anteriormente a la media. Si los primeros resultados son más probabilidades de ser informado cuando los errores se combinan para aumentar el efecto aparente, estudios publicados mostrará sesgo sistemático hacia conclusiones inicialmente exageradas, que posteriormente son estadísticamente self-corrected (aunque esto sería, sin embargo, no se cuenta de la naturaleza normalmente lineal de la decadencia).

Sesgo de publicación también podría ser responsable. Los investigadores sólo podrían publicar conclusiones iniciales sobre un efecto cuando es especialmente grande, mientras que los estudios de seguimiento podrían ser más capaces de informar los efectos más pequeños. Otras respuestas potenciales incluyen aspectos no declarados de métodos, exclusivos de presentación de informes de resultados consistentes con la hipótesis, cambios en el entusiasmo de investigador, más rigurosos metodologías utilizadas en estudios posteriores, el error de medición resultantes de sesgo experimentador y la dificultad general de publicar fallos de replicación.

"Necesitamos un mejor registro para aprender cómo bien ciencia distingue la verdad de la falacia".


Una base de datos de acceso abierto de métodos de investigación y los resultados publicados y iría mucho a prueba estas ideas. Por ejemplo, tanto la regresión a la media y la degradación de las explicaciones de procedimiento asumir que los primeros estudios publicados beneficiarán de en un extremo estadístico de un grupo mayor de resultados (sin publicar). Sesgo de publicación y presentación de informes selectiva de datos son igualmente difíciles de investigar sin saber acerca de los datos no publicados.

Un repositorio de acceso abierto de conclusiones sería difícil introducir. Sería necesario un protocolo automatizado para permitir el métodos de estudio y resultados entró y recuperación. Alguna forma de evaluar la calidad del trabajo sería necesario — quizás a través de los comentarios de acceso abierto moderados en una manera similar a Wikipedia. Necesitaríamos asegurar a las calificaciones de los investigadores que lo utilizan y mantener un período de apagón para proteger las hipótesis y las conclusiones anteriores a la publicación. Científicos reacios tendría incentivos — y quizás nuevas reglas de financiadores — a participar.

Estos retos no sería insuperables. Similares, si más definido por un estrecho margen, bases de datos ya han sido configuradas para ensayos clínicos (http://clinicaltrials.gov/) y la investigación educativa (http://pslcdatashop.web.cmu.edu/). Podría ser un buen punto de partida para desarrollar un host de repositorios de temas específicos. Sin embargo se implementa, necesitamos un mejor registro de la investigación no publicado antes de que podemos saber qué tan bien el proceso científico actual, basado en la revisión por pares y replicación experimental, sucede a en verdad fundamentada distintivo de falacia injustificada.