[필립 볼 칼럼] 더 나은 과학을 만드는 법(1/2)
때로는, 과학계가 제대로 작동한다는 사실 자체가 놀랍게 느껴지기도 합니다. 2005년 “왜 대부분의 연구결과는 틀렸는가”라는 선정적인 제목의 논문은 의학계를 뒤흔들었습니다. 이 논문의 저자인 스탠포드 대학의 존 이오아니다스는 사실 이 논문에서 어떤 특정 연구결과가 틀렸다는 것을 보이지는 않았습니다. 그는 통계적인 방법을 이용해 일반적인 연구결과들이 참일 가능성은 우리가 생각하는 만큼 그렇게 높지 않다는 사실을 보였습니다. 그는 최근 “상당히 많은 연구결과들이 틀렸거나 과장되었고, 약 85%의 연구자원이 낭비되고 있습니다”라고 말했습니다.
논문을 위해 고의적으로 데이터에 손을 대는 과학자들도 있으며, 논문이 세상에 발표되는 방식에도 문제가 있습니다. 또 연구자들이 자신도 모르게 스스로를 속이는 경우도 종종 발생합니다. 이것은 인지적 편향(cognitive bias)라는 것으로, 더 쉽고 그럴듯해 보이지만 결국은 틀린 결론으로 우리를 유도하는 경향을 말합니다. 막스플랑크 연구소의 행동경제학자 수잔 피들러는 말합니다. “심리학과 다른 실험과학에서의 재현성(reproducibility)을 생각해본다면, 무언가가 잘못되고 있다고 충분히 말할 수 있습니다. 인지적 편향이 그 이유 중의 하나일 것입니다.”
버지니아 대학의 심리학자 브라이언 노섹은 과학계에서 가장 흔한 편향으로 관찰 결과를 특정한 이론에 맞게 해석하는 “동기에 바탕한 추론(motivated reasoning)”을 꼽았습니다. 그는 인간의 대부분의 생각이 실은 합리화(rationalization)에 불과하다고 말합니다. 이는 곧, 인간은 이미 하고 싶은 일에 대해 결정을 내린 뒤, 그 결정을 정당화하기 위한 설명을 찾는다는 뜻입니다. 물론 과학은 이런 일반적인 사고 과정에 비해 더 객관적이고 회의적이어야 합니다. 문제는 과학이 실제로 얼마나 더 객관적인가 하는 것입니다.
비록 칼 포퍼의 말처럼 과학은 반증 가능해야 하고, 따라서 과학자들은 이전보다 더 “어떻게 하면 내 이론이 틀릴 수 있는가”라는 질문을 하기 시작했지만, 노섹은 여전히 과학자들이 “어떻게 하면 내 이론이 맞을 수 있는가” (또는 “어떻게 하면 상대방의 이론이 틀릴 수 있는가”)를 묻고 있다고 말합니다. 실험 결과가 자신의 주장이 틀렸음을 말하고 있다 하더라도 우리는 보통 이를 실험상의 실수이거나 부적절한 결과로 무시하려는 경향이 있습니다. 1980년대 마틴 플레셔맨과 스탠리 폰스의 “저온 핵융합(cold fusion)” 발견은 이런 오류들의 결정체였습니다. 예를 들어, 사람들이 그들의 데이터에서 감마선의 에너지 스파이크가 잘못된 값을 가리킨다고 지적하자, 그들은 기기의 영점조정에 문제가 있었다고 말하며 그 스파이크의 위치를 옮겼습니다.
통계학자들은 적어도 이런 편향으로부터 자유로울 것이라 생각하기 쉽지만 그들도 마찬가지입니다. 네덜란드 틸버그 대학의 크리스 하트게링은 통계학에서의 “인간적 요소(human factor)”를 조사하고 있습니다. 그는 과학자들이 통계적으로 사소한 결과로부터 잘못된 확신을 만드는 경우가 종종 있다고 말합니다. “연구자들 역시 일반인처럼 확률 문제에 있어 오류를 저지릅니다.” 그는 어떤 실험결과들은 분명히 거짓 음성(false negative), 곧 배제해서는 안 되는 가설들을 배제하고 있음에도 불구하고, 여기에 대해 충분히 다루고 있는 논문을 본 적이 없다고 말합니다. 그는 심리학 논문의 2/3 가까이는 이런 거짓 음성 문제를 간과하고 있다는 연구를 최근 발표했습니다.
오늘날 과학자들이 그렇게 다양한 종류의 인지적 편향들을 발견하고 있음에도 불구하고, 과학 연구에 있어서 이들의 영향에 대해서는 주목하고 있지 않았다는 사실은 매우 흥미롭습니다. “인간이 가진 다양한 오류에 대해 알고 있었음에도 불구하고, 과학자들조차도 이런 오류를 범하고 있다는 사실을 처음 발견했을 때 – 그것이 한편으로는 당연한 일임에도 불구하고 – 나는 상당히 놀랐습니다.”
이런 주장에 대한 일반적인 반박은, 연구자 개인은 자신을 속일지 모르지만, 곧 다른 이들이 그의 결과에 의문을 표함으로써 결국 이런 오류들이 수정된다는 것입니다. 이것이 과학계가 가진 자정작용(self-correcting)이라는 특징입니다. 대체로 이 주장은 사실이지만, 문제는 이 자정작용이 우리가 생각하는 것처럼 빠르게, 그리고 자연스럽게 일어나지는 않는다는 것입니다.
노섹은 동료 심사라는 과정이 오히려 이런 과학의 자정작용에 현실적인 방해가 되고 있을지 모른다고 생각합니다. 2011년 이탈리아의 물리학자들이 아인슈타인의 상대성원리에 위배되는, 빛보다 빠른 뉴트리노를 발견했다고 주장했을 때 이 주장은 매우 빠르게 검증되고 반박되었습니다. 이는 고에너지 물리학자들이 사용하는, 출판에 앞서 서로 자신의 연구결과를 공유하는 효율적인 시스템 덕분이었습니다. 만약 이들이 일반적인 논문 출판방식에 의존했다면 이런 결론이 나는 데 몇 년은 걸렸을 것입니다.
2010년 사이언스에 발표된, 생물학을 완전히 다시 써야 할지 모르는 주장인, DNA에서 인(phosphorus) 대신 비소를 사용하는 미생물의 경우도 마찬가지였습니다. 이들의 연구를 재현하려 한 한 연구자는 자신의 결과를 공개된 블로그에 계속 올렸고, 이는 자신들의 주장을 뒷받침하는 어떤 증거도 더 이상 발표하지 못했던 원래 연구팀의 모습과 상당히 대비되었습니다.
최근 언급되는 “재현성 위기(crisis of replicability)”의 입장에서 볼 때, 동료 심사는 생각보다 더 오류에 취약한 제도로 생각됩니다. 이는 특히 의학과 심리학 분야에서 더욱 그렇습니다. 연구부정 사례를 다루는 블로그 “리트랙션 워치(Retraction Watch)”를 운영하는 의학 기자 이반 오란스키와 과학 편집자 아담 마커스는 이렇게 이야기합니다. “만약 과학이 제대로 작동한다면, 후속 연구는 기존의 연구를 보강하거나 변형하거나 또는 완전히 뒤엎어야 합니다. 그러나 이런 일은 잘 일어나지 않습니다. … 오늘날 발표되는 논문들 중 다수는, 다른 실험실에서 같은 실험을 반복했을 때 반드시 동일한 결과가 나오리라고 기대하기 힘든 상황입니다.”
부정적 결과보다 긍정적 결과가 더 쉽게 출판되는 것 역시 오늘날 논문들이 편향적이 되는 또 다른 이유입니다. 어떤 것이 틀렸다고 말하는 것은 맞다고 말하는 것보다 어렵습니다. 논문을 심사하는 이들도 부정적인 결과를 거부하는 경향이 있으며 이런 연구로 연구지원금을 따는 일 역시 더 어렵습니다. “당신이 20번의 실험을 했고, 그 중 하나가 발표할 만한 결과라고 해봅시다. 그러나 그 하나의 결과만을 발표하는 것은 제대로된 발표라고 할 수 없다는 것이죠.”
오란스키는 여러 확증편향 중에서 가장 문제가 되는 것이 바로 논문 출판에 대한 압박이라고 말합니다. “정교수가 되기 위해, 연구자금을 받기 위해, 명성을 얻기 위해 과학자들은 유명 논문지에 논문을 실어야 한다는 압박을 받습니다. 혁신적인 연구는 피인용지수(IF)가 높은 저널에 실릴 수 있습니다. 과학자들이 자신의 실험결과에서 자기도 모르게 혁신적인 결과를 찾는 것은 놀라운 일이 아닙니다.”
노섹 역시 과학계를 망치는 가장 큰 문제가 명예, 정교수, 연구자금과 관련된 보상 시스템에 있다고 말합니다. “경력을 쌓기 위해서는 가능한 한 좋은 논문지에 다수의 논문을 발표해야 했습니다. 즉, 논문지에 잘 실리도록 논문을 쓰는 것이 매우 중요했지요.” 이는 곧, “나는 ~ 오류를 발견했다(disproved)” 대신 “나는 ~ 발견했다(discovered)”와 같이 긍정적인 말투를 사용하게 만들었으며, 절대로 “우리는 앞서의 연구를 확인했다”와 같은 말을 사용하지 않도록, 또 “이 결과를 어떻게 해석해야 할지는 분명하지 않다” 대신 “우리는 ~ 를 보였다”와 같이 명확한 말투를 사용해야 했음을 의미합니다. 그러나 노섹은 “실험실에서 나오는 결과의 대부분은 그렇게 확실하지 않았습니다”라고 말합니다. 그보다는 “어떻게 이 지저분한 데이터에서 아름다운 결과를 끄집어낼까”와 같은 생각을 했어야 했다고 말합니다. “나는 인내를 가지고 노력하거나, 운 좋게 멋진 결과를 얻어낼 수도 있었겠죠. 또는 더 쉬운 방법, 곧 무의식적으로 해석하기 쉽고 깔끔한 이야기를 만들 수 있는 데이터만을 선택했을수도 있습니다. 적어도 내 사고에 어떤 편향이 있었던 것만은 분명합니다.”
동기에 바탕한 추론과 경력에의 압박이 그저 편향된 데이터와 잘못된 가설들을 계속 살아남게 만드는 것만은 아닙니다. 좋은 아이디어 역시 이 과정에서 희생될 수 있습니다. 1940년대, 유전학자 바바라 맥클린톡은 어떤 유전자는 염색체 사이를 “점프”할 수 있다고 주장했고, 80년대 생화학자 스탠리 프루시너는 프리온 단백질은 잘못된 형태로 접힐 수 있으며 이 잘못된 상태가 다른 단백질에게 전달될 수 있다고 주장했었습니다. 그러나 이들의 주장은 당시의 주류이론과 너무나 달랐기 때문에 많은 이들의 조소를 받았습니다. 결국 이들이 옳았다는 것이 밝혀졌고, 이들은 노벨상을 수상했습니다. 과감한 주장을 의심하는 것은 꼭 필요한 일이지만, 지금까지의 역사를 볼 때, 사람들은 그 증거의 수준에 기반해 새로운 주장을 의심하기보다, 기존의 이론에 대한 편향 때문에 새로운 주장을 반대하는 것으로 보입니다. 물론 맥클린톡과 프루시너는 과학계의 자정작용을 보여주는 예라고도 말할 수 있습니다. 그러나 노섹은 여기에 대해 “문제는, 우리가 과거 무시해 버렸고 이제 더 이상 연구되지 않는 다른 어떤 숨은 아이디어들이 얼마나 있는지를 우리는 알 수가 없다는 것이죠.”
물론 과학자들도 이런 사실을 알고 있습니다. 토마스 쿤의 주장인, 충분한 반례가 쌓이고 나서야 주류 이론이 뒤집히고 새로운 이론이 자리잡는다는 패러다임 전환은 많은 과학자들이 동의하는 내용입니다. 그러한 전환 사이에는 “정상 과학(normal science)”이 존재합니다. 20세기 양자역학의 등장이 그러했고, 18세기 연소의 원칙이었던 플로지스톤 이론이 라부아지에의 산소 이론으로 바뀔 때에도 그랬습니다. “과학은 장례식 마다 조금씩 발전하는 것이다”라는 막스 플랑크의 말은 과학계에서 주류이론이 얼마나 바뀌기 어려운지를 상징적으로 보여줍니다. 새로운 아이디어는 기존의 아이디어를 지지하는 사람들이 죽은 뒤에야 자리잡을 수 있습니다.
(노틸러스)