“재현 프로젝트”라고 불리는 버지니아 대학의 최근 연구에 따르면, 100개의 심리학 실험 중 60% 이상이 재현되지 않았다고 합니다. 이 연구 결과는 심리학이 과학적인 학문인지에 대한 의구심을 가중시켰습니다. 하지만, 재현이 되지 않는 것은 본래 과학의 특성입니다. 가령, 같은 현상에 대해 잘 설계된 두 개의 실험이 있다고 가정해 봅시다. 똑같아 보이는 두 개의 실험을 하였음에도 불구하고, 정반대의 결과가 나타났습니다. A 연구는 예상된 결과를 보였지만, B 연구는 그와 다른 결과를 보였습니다. 이 경우, 이 실험은 재현에 실패했다고 할 수 있습니다. 그렇다고 해서 두 실험이 애초에 잘못 설계됐다는 뜻일까요? 전혀 그렇지 않습니다. 만약 두 연구가 모두 잘 설계됐고 오류 없이 진행되었다고 해도 A 연구에서 발견된 현상이 언제 어디서나 나타나는 것이 아니라 특정 상황에서만 나타나는 것일 수 있습니다. 이제 과학자의 의무는 그러한 현상을 유발하는 ‘특정 상황’을 발견해내어, 새롭고 더욱 발전된 가설들을 정립하고 이를 확인하는 것입니다.
수년 전, 과학자들은 초파리의 동그랗게 말린 날개를 결정하는 유전자를 밝혀내는 실험을 수행하였습니다. 실험실 내에서 이루어진 연구 결과는 빈틈이 없어 보였습니다. 하지만, 온도와 습도가 제각각인 실제 자연에서는 동그랗게 말린 날개를 결정하는 유전자가 그 효과를 뚜렷하게 나타내지 못했습니다. 단순히 접근하면 이 실험도 “재현에 실패한 실험”입니다. 하지만 보다 거시적으로 접근하면, 진화 생물학자인 리처드 르원틴(Richard Lewontin)의 말처럼 이러한 “실패”는 생물학자들에게 환경과 상황에 따라, 같은 유전자라도 다른 특성이나 행동을 보일 수 있다는 사실을 일깨워준 사건입니다.
이와 마찬가지로, 아원자입자들(subatomic particles)이 뉴턴의 운동 법칙을 따르지 않는다는 사실을 밝혀냈을 때 물리학자들은 뉴턴의 법칙이 “재현에 실패했다”고 말하지 않았습니다. 대신 그들은 뉴턴의 법칙이 모든 상황이 아니라 특정한 조건 하에서만 성립한다는 것을 깨달았고, 이 깨달음은 결국 양자역학이라는 학문 분야의 탄생으로 이어졌습니다.
심리학에서 우리는 조건을 바꾸면 재현되지 않는 많은 현상을 찾을 수 있습니다. 그중 가장 유명한 실험은 바로 불안장애나 외상 후 스트레스 장애(PTSD)를 설명하는 “공포 학습”에 관한 실험입니다. 과학자들은 전기 단자가 연결된 작은 상자 안에 쥐를 가두었습니다. 그들은 쥐에게 큰 소리를 들려준 후에 전기 충격을 주었습니다. 전기 충격을 받은 쥐는 그 자리에 얼어붙었으며, 심장 박동수와 혈압이 높아졌습니다. 이 과정을 반복한 결과, 쥐들은 전기 충격이 없이 큰 소리만을 들어도 전기 충격을 가했을 때와 같은 반응을 보였습니다.
처음 이 실험이 진행되었을 때 이와 같은 “공포 학습”은 모든 상황에 적용되는 것으로 알려졌었습니다. 하지만 다른 과학자들은 상황에 조금씩 변화를 주었고, 쥐들은 그 자리에 얼어붙지 않게 되었습니다. 예를 들어 큰 소리가 들릴 때 쥐가 움직이지 못하도록 묶어두면, (사실, 전기 충격을 주면 쥐가 제 자리에 얼어붙기 때문에 결과에 영향을 주지 못할 것이라 예상할 수 있지만) 심장 박동수는 올라가지 않고 오히려 감소했습니다. 그리고 만약에 도망갈 공간이 있는 상자에 가두었을 때는 쥐들은 제자리에 얼어붙기보다 도망가는 쪽을 택했습니다. 이처럼 재현에 실패했다고 기존 실험이 가치 없는 실험이 되지는 않으며, 오히려 새로운 발견의 토대가 되기도 합니다.
여전히 과학의 많은 부분은 여러 현상을 보편적인 법칙으로 설명할 수 있다고 가정하고, 특수한 환경이나 상황의 영향을 간과합니다. 하지만 이것은 실제 현실과 다릅니다. 심리학자들은 상황의 중요성에 대해서 누구보다 잘 인지하고 있습니다. 실험을 할 때, 심리학자들은 결과에 영향을 줄 수 있는 모든 방해물을 가능한 피하고자 합니다. 하지만 그들의 비판자들은 실험의 재현성에 있어 상황과 환경의 강력한 힘을 간과하는 듯합니다. 그들은 재현에 실패하는 것이 또 다른 과학적 발견을 도울 수 있는 과학적 단서인가에 대해 고려하기보다 단순히 “실험 결과가 똑같이 나오나”에 관심이 쏠려있는 것으로 보입니다.
다른 과학 분야와 마찬가지로 심리학에도 엉성하게 설계된 실험이나 데이터를 조작한 질이 나쁜 연구도 없지 않습니다. 하지만 버지니아 대학의 실험 재현 프로젝트에서 암시하는 것과 달리, 심리학에 “재현 위기”란 존재하지 않습니다. 재현 실패의 결과를 “위기”라고 명명하는 것은 오히려 과학의 본질에 대한 이해가 부족한 것을 스스로 증명하는 꼴입니다.
과학은 보편적 진리에 이르는 직선 항로를 비춰주는 일렬로 질서정연하게 지어진 등대와 같은 집합체가 아닙니다. 네이처(Nature)의 편집장인 헨리 지(Henry Gee)의 말을 빌리자면 과학은 가설에 대한 의문을 수량화하고, 특정 현상이 나타나는 환경을 발견하는 방법입니다. 재현에 실패하는 것은 과학의 오류가 아닌 과학의 특징입니다. 그것은 우리가 과학적 발견의 항로-밝혀지지 않은, 매우 아름답게도 험난한-를 항해할 때 우리를 비춰주는 등불과도 같습니다.
(뉴욕타임스)
미국 대선이 트럼프 대통령의 승리로 마무리됐습니다. 트럼프의 승리 요인, 해리스의 패배 요인을 분석하는 기사와 칼럼이…
* 뉴스페퍼민트는 SBS의 콘텐츠 플랫폼 스브스프리미엄(스프)에 뉴욕타임스 칼럼을 한 편씩 선정해 번역하고, 글에 관한 해설을…
뉴욕타임스 칼럼니스트 브렛 스티븐스가 "진보 진영의 잘난 척"에 대한 반감이 트럼프에게 승리를 안겨다줄 수 있다는…
* 뉴스페퍼민트는 SBS의 콘텐츠 플랫폼 스브스프리미엄(스프)에 뉴욕타임스 칼럼을 한 편씩 선정해 번역하고, 글에 관한 해설을…
미국 대선이 일주일 앞으로 다가왔지만, 선거 결과는 여전히 예측하기 어려운 팽팽한 접전이 펼쳐지고 있습니다. 특히…
* 뉴스페퍼민트는 SBS의 콘텐츠 플랫폼 스브스프리미엄(스프)에 뉴욕타임스 칼럼을 한 편씩 선정해 번역하고, 글에 관한 해설을…
View Comments
"심리학의 “재현 위기”라는 것은 존재하지 않습니다. 재현 실패의 결과를 “위기”라고 명명하는 것은, 오히려 과학의 본질에 대한 이해가 부족한 것을 스스로 증명하는 꼴입니다"
과학의 본질에 대한 이해가 부족한 게 아니라 이 세계에 대한 이해가 부족한 것이고 그 출발은 바로 재현 실패의 결과를 위기라는 이름으로 겸허히 수용하는 과학자의 태도에서 비롯된다고 말해야 하지 않을까?
끝까지 기고만장한 글이구먼
조건과 변인에 따라 실험결과가 달라지는 것은 충분히 예상할 수 있으나, 같은 조건과 같은 변인이라면 마땅히 같은 결과가 나와야 한다는 것이 과학에서 말하는 "재현성" 입니다. 현재 이 기고문은 후자가 아니라 전자의 용례를 따르고 있는데, 이는 재현성의 교묘한 암묵적 재정의라고 할 수 있습니다. 현재 Science 를 비롯하여 많은 학술 공동체에서 재현성 문제를 심각하게 받아들이고 있으며, Open Science Collaboration 에 대해서도 이목이 집중되고 있는 중입니다. 짧게 말하면 이 기고문의 저자는 둘 중 하나입니다. 재현성 문제가 왜 떠오르는지 이해를 못했거나, 아니면 알면서도 불안함과 불확실성을 피하기 위해서 어떻게든 기존의 패러다임에 안주하려 하거나.
그렇다면 혹시 말씀하신 그 분야에서, '완전히 같은 조건과 같은 변인이 가능한가?'라는 질문에 대해서는 뭐라고 하나요?
제가 정확히 이해했는지는 모르겠습니다만, 일단 제 "주관적인 관점" 에서 답변을 드리자면 약간 복잡합니다. 먼저, "완전히 같은 조건과 같은 변인" 은 논문에서 제시된 바를 정확히 동일하게 카피한다는 얘기입니다. 이 논문에서 조건 A, 조건 B, 조건 C 및 변인 a, 변인 b, 변인 c를 언급하고 있고 우리가 그것을 고스란히 준용하여 다시 한 번 실험의 세트를 설계한다면, 그걸 두고 완전히 같은 조건과 같은 변인이라고 말할 수 있을 것입니다.
그러나 방법론적인 측면을 벗어나서 좀 더 존재론(?)적인 수준으로 넘어가자면, 완전히 같은 조건과 같은 변인은 사실 불가능에 가깝겠지요. 어떤 랩에서는 실험자 변인이 은연중에 개입할 수 있고, 어떤 랩에서는 실험실 변인이 암묵적으로 혼입될 수 있습니다. 그 실험이 자리하고 있는 사회문화적, 시대적 배경도 달라질 수밖에 없고요. 문제는, 이런 수준의 차이는 실제로 실험결과에 차이를 가져올 "가능성" 이 있음에도 불구하고, 학술적으로 이를 탐지하거나 처치할 길이 마땅치 않다는 것입니다. 적어도 사회과학의 많은 연구들은 이러한 한계를 안고 있습니다.
네, 답글 감사합니다. '논문에 기록된'은 직관적이고 주요 변인을 한정할 수 있는 좋은 기준이라는 생각은 듭니다만, 말씀하신 것처럼 각 분야마다 논문에 기록하지 않는 수많은 암묵적(으로 동의하고 있다고 서로 믿고 있는) 변인들이 있을 수 있기에, '어떤 실험이 재현되는가'라는 질문에 답하기 위한 충분한 조건은 되기 힘들 것 같습니다. 즉, 어떤 이가 다른 이의 '논문에 기록된 조건'으로 실험을 했을 때, 그 결과가 다르게 나왔다고 해서 그 '실험은 재현되지 않는다'고 말할 수 있는가 하는 문제이구요. 또는 '논문에 기록된 조건'으로 수백팀이 같은 실험을 했을 때 몇 팀이 다르게/혹은 같게 나와야 재현되지 않는다/재현된다고 할 수 있는가 하는 통계적 문제이기도 하구요. (그리고 그 수백팀의, '논문에 기록되지 않은' 다른 변인들을 조사함으로써 현상에 대한 조금 더 나은 이해를 가져올 수 있으며 아마 본문이 이야기하는 바도 이런 정도이리라 생각합니다.)
앞서의 질문으로 제가 하고자 한 말은 '같은 조건과 같은 변인이라면 마땅히 같은 결과가 나와야한다'는 말씀이 사실 매우 공허한 - 현실에 적용하기위해서는 많은 다듬질이 필요한 - 말일 수 있지 않나 하는 것이구요.
물론 재현성 논란에는 이런 근본적인 어려움 이외에도 연구자의 의도적/비의도적 편향, 이의 원인으로써의 학계/언론의 보상체계, 모수의 부족이나 해석 오류 등의 통계에 대한 몰이해 등 수많은 문제가 엮여 있으리라 생각됩니다. 특히 연구자의 의도적 편향(또는 속임수)는 명백한 잘못이며 아마 가장 우선적으로 해결해야할, 있어서는 안될 문제겠구요. 저희 사이트를 오래 보셨으면 아시겠지만, 저희도 (학계에서 심각하게 받아들이는 만큼) 재현성 문제에 많은 관심을 가지고 있으며 여러 관련 글들을 소개한 바 있습니다.
http://mvsm/?s=%EC%9E%AC%ED%98%84%EC%84%B1
네 사실 일리 있는 말씀입니다만... 음, 제가 표현을 좀 이상하게 했는지도 모르겠습니다. 조금 부연하자면, "마땅히 같은 결과가 나와야 할" 필요까지는 없겠지만, 그래도 다양한 논문들을 통해 얻어진 화살표들이 전반적으로 유사한 내지 어떤 특정한 방향을 가리키고 있을 필요는 있겠죠.
사실 재현성이라는 것이 도달 불가능한 개념이기는 하지만, 연구 현장에서의 가이드라인으로서는 꽤 좋다고 봅니다. 지금 문제가 되는 것은 이 가이드라인 자체의 신뢰가 의심받고 있다는 것이고요. 저는 현재의 재현성 논란에 대해서 (본문의 원저자가 그러하듯이) 완고하게 부정할 필요도 없지만, 그것이 나름대로 학술 공동체에게 어떤 충격을 주었다는 의의는 인정해야 한다고 생각합니다. 그러나 본문의 원저자의 글에서, 저는 이 사람이 학계의 잘 닦인 (것처럼 보이는) 기초가 흔들리는 것을 애써 부정하려는 태도가 아닌가 하는 느낌을 받았습니다. 그 과정에서 동원한 재현성이라는 개념에 대한 이해 자체도 사실 납득하기가 어려웠고요. 변인 하나씩 바꾸면서 후속연구를 하는 것을 두고 재현성이라고 부르는 경우는 사실 이 글이 처음이라서요...
아무튼 요지는, 현재의 가이드라인으로서의 재현성 개념의 가치를 고려하면, "방법론적으로, 이 연구는 재현될 수 있다" 는 말은 학자들에게 충분히 의미가 있다고 생각합니다. 물론 한편으로는, "본질적으로, 어떤 연구가 재현되는 것은 불가능에 가깝다" 는 말에 대해서도 저는 납득이 됩니다.