스탠포드 대학의 메타-연구 혁신센터(Meta-Research Innovation Centre)
2005년 의학연구자 존 요아니디스(John Ioannidis)는 “왜 대부분의 연구는 틀렸는가”라는 제목의 논문을 통해 소수의 실험대상을 통해 얻은 발견을 통계적 으로 확대해석함으로써 의학분야의 과학적 발견들이 ‘재현불가능(irreproducible)’해지는, 곧 ‘틀린 사실’을 발표하게 되는 위험성을 경고한 바 있습니다.
이후 요아니디스는 연구방법에 관한 연구를 의미하는 ‘메타-연구’ 분야를 개척하며 불성실한 과학과의 싸움을 계속해왔습니다. 그리고 이달 말, 그의 노력은 스탠포드 대학에 METRICS 라 불리는 “메타-연구 혁신센터(Meta-Research Innovation Centre)”를 만드는 결실을 맺었습니다.
이 센터의 모토는 “의학 연구의 질을 낮추는 요소들을 파악하고 최소화 하는 것”으로 매우 직설적입니다. 요아니다스와 센터의 공동창립자인 스티븐 굿맨(Steven Goodman)은 이 목표를 위해 학회를 운영하고 다른 연구결과를 감시하는 “저널 워치(Journal watch)”를 만들 계획입니다. 또한 정부와 정책결정자들이 불확실한 연구결과에 바탕해 정책을 결정하지 않도록 노력할 계획도 있습니다.
재현불가능성(Irreproducibility)은 과학에 대한 위협중의 하나입니다. 그러나 몇몇 분야에서는 이를 극복하려는 움직임이 일어나고 있습니다. 심리학의 경우, 버지니아 대학의 오픈사이언스센터(Center for Open Science)에서는 보편적으로 받아들여지는 13개의 심리학 이론을 다시 검증한 결과 그 중 10가지만이 참이라는 것을 발견했습니다. 오픈사이언스센터는 “암 생물학 재현성 프로젝트”라는 이름으로 최근의 50가지 암연구를 검증하는 작업 역시 시작했습니다.
그러나 요아니디스는 이러한 재검증시도들이 실제로 연구의 신뢰성에 영향을 주었는지는 분명하지 않으며, 따라서 METRICS는 바로 이 작업을 통해 재현성에 대한 과학 역시 다른 과학분야와 마찬가지로 증거에 기반하게 만들 것이라고 밝혔습니다.
METRICS 가 관심을 가지고 있는 또 다른 분야는 무의미한 연구, 곧 노력의 낭비입니다. 2010년 란셋(Lancet)지는 전체 의학연구 비용의 85%에 달하는 약 200조원의 비용이 실험자체의 결함이나 중복된 연구, 그리고 결과가 발표되지 않거나 제대로 보고되지 않음으로써 소모되었다고 추정했습니다. METRICS는 이런 과도한 비효율을 고치기 위해 노력할 것이며 상황에 따라 과학자들의 불성실한 행동을 제재할 수 있는 새로운 논문출판방식을 고안할 계획도 있습니다.
또한, 요아니다스는 출판편향(publication bias)으로 알려진, 곧 연구자들이 모든 실험자료를 발표하지 않고 자신들이 중요하다고 생각하는 결과만을 발표됨으로써 결과적으로 편향된 자료만이 존재하는 문제에도 관심을 가지고 있습니다.
요아니디스는 자신들이 다른 이를 비판하는 바로 그 실수를 자신들도 하지 않기 위해 메타연구 자체의 연구방법을 검증할 계획입니다.
“나는 어떤 메타연구 형태도 명백하게 이상적이거나 효율적일 거라고 생각하지 않습니다. 나는 우리가 세상을 바꿀 수 있다고 약속하지도 않습니다. 물론, 오늘날 대부분의 연구자들은 연구비를 지원받기위해 이런 약속을 해야만 하는 상황에 처해 있지요.”
(Economist)