[필립 볼 칼럼] 더 나은 과학을 만드는 법(2/2)
심리학과의 대학원생이었던 노섹에게 과학에서 편향의 역할은 명백했습니다. “다른 많은 대학원생들처럼, 과학이 어떠해야 한다는 나의 이상주의는 내가 연구 방법론 수업을 들었을 때 산산이 부서졌죠. 그 수업에서 우리는 1950년대부터 70년대 까지의 논문들 중 출판 편향(publication bias), 부실한 연구 디자인, 재현되지 않는 실험, 부족한 방법론, 원본 데이터의 생략, 부정적 결과를 거부하는 편향 등에 해당하는 많은 논문들을 보았습니다.”
노섹은 그 때 이후로, 과학계가 더 잘 작동하도록 만드는 데 자신의 열정을 쏟고 있습니다. 그는 이런 편향들을 분명하게 밝힘으로써, 곧 연구 방법, 가정, 해석들을 투명하게 만듦으로써 과학이 제 기능을 더 잘 발휘하리라 믿고 있습니다. “그러나 이를 위해서는 전반적인 문화가 바뀌어야 하며, 이는 한 사람의 힘으로는 불가능한 일입니다.” 그래서 그는 사람들이 스스로 자신의 연구 계획을 세우도록 만들었습니다.
놀랍게도, 노섹은 이 문제에 대한 가장 나은 해결책이 그러한 편향으로 가장 큰 문제가 된 학문 분야인 의약 분야에서 이미 나왔음을 발견했습니다. 제약업계는 다른 과학분야와는 비교가 되지 않을 정도로 심각한 문제를 겪었습니다. 제약회사와 그들의 연구진이 부정적인 결과를 감추고 긍정적인 임상 결과만을 발표한다는 것은 잘 알려져 있습니다. 이때문에, 오늘날 미국에서는 어떠한 임상 시험이든, 그 시험을 시작하기 전에 이를 등록해야만 합니다. 그리고 연구자들은 임상 결과가 어떻게 나오든, 그 결과를 보고해야만 합니다.
노섹은 다른 과학분야 역시 이런 방법으로 문제를 해결할 수 있을 것이라 생각합니다. 그는 연구디자인을 미리 등록하는 “오픈 사이언스 프레임웍(OSF)”이라는 단체를 만들었습니다. 노섹은 이를 오랬동안 꿈꾸고 있었지만, 전직 개발자인 제프 스파이스가 2009년 그의 실험실에 들어와 이를 박사학위 주제로 삼은 뒤에야 이 일은 이루어질 수 있었습니다. “점점 더 많은 사람들이 참여했습니다. 우리는 먼저 웹사이트를 만들었고, 커뮤니티가 만들어졌으며, 기부자들이 관심을 가지기 시작했습니다.” 노섹과 스파이스는 2013년 샬롯빌에 OSF를 이끄는 “열린과학 연구소(Center for Open Science)”를 설립했습니다.
OSF는 연구자들이 연구에 앞서, 무엇을 연구할 것인지, 그리고 어떤 일이 일어날 것으로 기대하는지를 기록하는 곳입니다. 그리고 연구자들은 실제 실험 데이터가 나왔을 때, 처음 계획했던대로 이를 분석할 것을 약속합니다. 이는 우리가 아이들에게 과학이란 무엇인지를 가르칠 때 말했던 매우 당연한 내용입니다. 그러나 현실에서 이를 지키기란 쉽지 않습니다. 피들러는 많은 연구자들이 실험 데이터를 자신이 기대한 결과가 되도록 만드는 무의식적인 가정들에 맞춰 해석된다고 말합니다. OSF를 사용하는 연구자들은 자신의 프로젝트가 얼마나 자신의 처음 계획과 달라지는지에 대해 종종 놀라게 됩니다.
피들러는 OSF가 연구를 정직하게 만들 뿐 아니라, 연구가 더 잘 이루어지도록 해준다고 말합니다. “OSF에 연구를 등록할 때, 나는 그 연구에서 실제로 어떤 일들이 일어날지를 자세하게 생각해보게 됩니다. 이를 통해 어떤 결과를 더 신뢰해야 할지를 미리 생각하게 되는 것이지요. 또한, 모든 과정이 투명해지면서, 다른 연구자들 역시 그들의 연구가 자신들의 소중한 시간을 투자할 가치가 있었는지를 판단할 수 있게 됩니다.”
하트게링 또한 OSF를 사용하고 있으며, 연구의 목표를 미리 정하는 것이 자신이 지금 어디에 와 있는지를 알게 하는 좋은 방법이라고 말합니다. “사람들은 자신들의 가설을 자세히 쓰는 것 자체에 어려움을 느낍니다.” 이는 그들이 자신의 가설을 명확하게 세우지 않았다는 사실을 알려줍니다. “만약 확인하고자 하는 가설이 있다면, 연구를 반드시 미리 등록해야 합니다.” 피들러는 자신과 자신의 박사과정 학생들에게 항상 OSF를 사용하라고 말합니다. “나는 이를 통해 많은 것을 얻었고, 그래서 나와 일하는 모든 이에게 이를 권하고 있죠.”
OSF 는 커다란 변화를 만들었습니다. 지금까지 대부분의 연구자들은 실험을 다 끝낸 후 논문을 쓰기 시작했습니다. 가설들은 이 시점까지 명확하게 기록되지 않은 경우가 많았습니다. “실험결과가 미리 알려질 경우, 이를 바탕으로 보다 그럴듯한 가설을 세우게 되기 쉽습니다.” 아이오와 대학의 심리학자 에른스트 오보일은 이렇게 결과를 소급해 연구를 아름답게 만드는 현상을 “크리살리스 효과(Chrysalis effect)”라고 이름붙였습니다. 사람들은 종종 예상하지 못했던 결과를 마치 예상했던 것처럼 발표합니다. “모든 이들이 이것이 잘못된 행동이라는 것을 알고 있습니다. 그러나 과학계에서 이는 오래된 관행이었습니다.”
문제는 실험결과를 따라 가설과 목표를 바꾸는 현상이 무의식적으로 이루어지기도 한다는 것입니다. “실험을 계획하고, 자료를 수집하고, 분석하고, 이를 다시 동료들에게 발표하는 데에는 많은 시간이 걸립니다. 자신의 연구에 대한 생각 역시 이 기간 동안 변화하게 됩니다. 때로, 우리는 실패한 첫 시도를 잊어버리고, 같은 결과를 이용해 이것이 처음 계획과는 다른 질문에 대한 답이며 새로운 통찰을 주는 것인양 스스로 믿게 됩니다.” 이 때문에 연구자들은 연구의 원래 목적을 잊게 되며, 우연에 의한 결과를 과도하게 신뢰하게 됩니다. OSF 는 연구자들이 원래의 연구 목표를 잊지 않도록 만듭니다.
하지만, 실험 이전에 연구의 목적을 미리 좁히는 것은 예측하지 못했던 결과로 인한 잠재적인 가능성을 포기하는 것이 아닐까요? 그럴 가능성도 있습니다. 그러나 노섹은 “실험 결과로부터 배우는 것”은 신뢰할만한 결론을 내릴 수 있는 방법이 아니라고 말합니다. “오늘날 우리는 탐사적(exploratory) 연구와 확증적(confirmatory)연구를 뒤섞고 있습니다. 가장 기본적인 사실은, 하나의 실험결과로부터 가설을 만들고 이를 다시 검증하는 일을 해서는 안 된다는 것입니다.” 만약 실험결과에서 흥미로운 사실이 발견되었다면, 이 실험이 바로 이 사실을 발견하기 위한 것이었다고 말할 것이 아니라 이를 검증하는 새로운 실험을 계획해야 합니다.
피들러는 연구계획 등록이 창의성과 연구의 자유를 없앨 것이라는 주장에 대해 이렇게 반박합니다. “모든 이가 이를 지켜야하는 것은 아닙니다.” 그녀는 특별한 가설 없이 데이터를 모으는 탐사적 연구 역시 매우 중요하다고 말합니다. 단지, 두 가지 연구를 분리해야 한다는 것입니다.
하트게링은 연구자에 대한 교육이 가장 중요하다고 생각합니다. “많은 연구자들이 이런 조언 없이 연구를 시작합니다. 만약 젊은 연구자들이 이런 개념을 알지 못하고 연구를 시작한다면, 그들은 10년 뒤에야 자신들이 뒤쳐졌다는 것을 알게될 겁니다. 이제, 재현가능하고 투명한 연구가 연구의 기본으로 자리잡을 것입니다.”
노섹은 과학이 지식을 더욱 효율적으로 축적하는 세상인 “과학 유토피아”를 꿈꾸고 있습니다. 비록 OSF 가 모든 문제를 해결할 수 있는 만병통치약은 아니겠지만, “과학계의 가장 큰 문제는 연구자들이 스스로를 속이는 것”이라는 오란스키의 말처럼, OSF 는 “동기에 바탕한 추론”과 “확증 편향”문제를 해결해줄 수 있을 것입니다. 노섹은 또한 오픈 억세스 학술지를 지속적인 동료 심사가 가능하도록 재편해야 한다고 말합니다. 우리는 우리 마음 속의 편향을 완전히 없앨 수는 없다 하더라도 그 유혹을 줄이는 것은 가능할 것입니다. “변화를 막는 가장 큰 요소는 기술이나 돈이 아니라, 사회입니다. 과학자들은 기존의 방식을 고수하려 하지만, 그들에게 이를 변화시킬 수 있는 힘 또한 있습니다.”
(노틸러스)