우리는 매일 올라오는 수많은 종류의 연구결과들에 둘러쌓여 있습니다. 이들 과학연구결과들은 우리의 건강, 육아, 교육에 대한 생각을 바꾸고 개인적인 신념에까지 영향을 끼칩니다. 그러나 안타깝게도 어제의 연구가 오늘 또다른 연구에 의해 부정되는 것은 자주 발생하는 일입니다.
예를 들어, 2004년 한 연구는 비타민D 가 관절염을 예방한다고 발표했습니다. 2010년 존스홉킨스 병원의 대규모 조사에서도 이 결과를 확인했습니다. 그러나 2013년 2월의 보다 엄밀한 연구는 이 결론을 다시 검증할 필요가 있다는 결론을 내렸습니다.
이런 보도들은 많은 사람들에게 과학의 신뢰성에 대한 의문을 갖게 합니다. 그리고 언론이 과학을 보도하는 행태를 볼 때, 그들의 지적은 일리가 있습니다. 연구결과라는 것이 그렇게 쉽게 뒤바뀌는 것이라면 거기에 무슨 의미가 있을까요? 그러나 진짜 문제는 과학이 이루어지는 방식이 아니라 이것이 보도되는 방식입니다.
위의 예를 포함해, 많은 연구들은 인과관계가 아닌 상관관계만을 찾아냅니다. 인과관계를 찾아내기 위해서는 하나의 통제변수만의 효과를 보아야 하고, 이를 위해서는 “무작위 통제 실험(random controlled experiment)”을 해야 합니다. 그러나 무작위 통제 실험은 설계가 까다로우며 긴 시간을 필요로 합니다. 따라서 언론에 보도되는 대부분의 연구는 상관관계의 발견을 알리는 결과들입니다.
존 요아니디스는 연구자들이 가진 일반적인 편향성과, 전형적인 실험기술의 미숙함, 그리고 사람들의 주목을 끌만한 결과를 선호하는 연구자들의 경향을 포함하여 의학실험을 모델링했을 때, 무작위 통제실험이 아닌 연구의 경우 80%, 무작위 통제실험의 경우 25%, 대규모 무작위 통제실험의 경우에도 10%가 틀린 것으로 판명될 확률을 가지고 있다고 계산했습니다.
그렇다면 왜 과학자들은 이런 상관관계를 발견하기 위한 연구를 하는 것일까요? 그것은 이 상관관계에 대한 연구를 통해 가능성 있는 가설을 발견할 수 있으며, 이 가설을 바탕으로 무작위 통제실험을 포함한 후속연구를 진행할 수 있기 때문입니다.
결국 연구결과가 보도되는 방식의 문제점은 대중들에게 새로운 결과의 중요성이 어느 정도인지 충분히 알려주지 못한다는 데 있습니다. 때로 괜찮은 기사는 이번 연구가 상관관계를 찾았을 뿐이란 사실을 “~할 가능성이” 또는 “~할 수도”와 같은 표현을 통해 대중들에게 알려줍니다. 그러나 이 연구가 이 분야에서 얼마나 초기 단계의 것인지, 앞으로 이 결과가 잘못된 것으로 밝혀질 가능성이 얼마나 큰 지를 함께 알려주는 기사는 거의 찾아보기 힘든 것이 사실입니다.
과학기사는, 예를 들어, 다음과 같은 단계를 기사에 표시함으로써 더 정확해질 수 있습니다. 이 연구가 소규모의 초기 연구이며 이번 결과는 앞으로 수많은 검증을 거쳐야 하는지, 또는 대규모 관찰을 통해 충분한 상관관계가 관찰된 결과인지, 또는 대규모 무작위 통제실험을 통해 인과관계마저 확인된 결과인지 등의 단계를 나눌 수 있을 것입니다.
오늘날 많은 사람들은 언론에 난 기사를 보고 이를 자신의 삶에 적용시킵니다. 그러나 이 기사들은 결국 틀린 내용으로 판명될 상당한 가능성을 가지고 있습니다. 언론은 이를 표현하고 전달할 뚜렷한 방법을 스스로 찾아내어야 합니다. (NYT)
뉴스페퍼민트는 SBS의 콘텐츠 플랫폼 스브스프리미엄(스프)에 뉴욕타임스 칼럼을 한 편씩 선정해 번역하고, 글에 관한 해설을 쓰고…
* 비상 계엄령 선포와 내란에 이은 탄핵 정국으로 인해 한동안 쉬었던 스브스프리미엄에 쓴 해설 시차발행을…
우리나라 뉴스가 반헌법적인 계엄령을 선포해 내란죄 피의자가 된 윤석열 대통령을 탄핵하는 뉴스로 도배되는 사이 미국에서…
윤석열 대통령에 대한 탄핵 소추안 투표가 오늘 진행됩니다. 첫 번째 투표는 국민의힘 의원들이 집단으로 투표에…
윤석열 대통령의 계엄령 선포와 해제 이후 미국 언론도 한국에서 일어나는 정치적 사태에 큰 관심을 보이고…
트럼프 2기 행정부가 출범하면 미국과 중국의 관계가 어떻게 될지에 전 세계가 촉각을 곤두세우고 있습니다. 안보…
View Comments
이번 뉴스 페퍼민트 글은 문제가 있는 글이네요. 요아니디스 교수님도 뉴스페퍼민트도 의도적으로 잘못한 바는 없는데, 문제는 요아니디스 교수님의 논문을 인용한 뉴욕 타임즈에 기고한 철학교수 아저씨께서 논문을 제대로 이해하지 못하고 쓰셨고 그 내용을 페퍼민트 사람들이 그대로 받아들인 게 문제입니다. 요아니디스는 기존의 논문들의 검토해서 몇 %가 true finding인지 확인한 적이 없어요. 몇 가지 가설에 기반해서 확률을 계산하고, 어떤 위험요인들이 잘못된 연구결과들을 발표하게 만드는지에 대해 이야기했을 뿐입니다. 이런 글들이 모여서 의학/보건학 연구를 대중들이 필요이상으로 불신하게 만드는 결과를 낳을 수 있어 우려가 되네요. 뉴욕 타임즈에서 근거로 인용한 아래 논문을 살펴보셨으면 합니다. http://www.plosmedicine.org/article/info:doi/10.1371/journal.pmed.0020124
안녕하세요, 중요한 지적 감사합니다.
하신 말씀이 맞다고 생각됩니다.
저는 위의 글을 아래 블로그에서 추천받았습니다.
http://backreaction.blogspot.com/2013/05/a-star-rating-for-scientific-news.html
이 블로그는 물리학자들이 자주 보는 곳입니다. 이 글에서도 이 뉴욕타임즈의 글이 평범해 보이고, 우리 물리학자의 반대쪽에 위치한 철학자의 글이긴 하지만, 과학기사에 등급을 표시하자는 아이디어가 매우 좋다고 평했습니다. 저도 이 글에 동의했고, 그래서 뉴욕타임즈의 글을 옮겼습니다.
뉴욕타임즈의 댓글 중, Atlantic의 요아니디스에 대한 특별기사가 있더군요.
http://www.theatlantic.com/magazine/archive/2010/11/lies-damned-lies-and-medical-science/308269/
일단 아틀란틱에 나와있는 설명으로 원문을 교체하였습니다.
"
존 요아니디스는 의학 연구들에 대한 분석을 통해 무작위 통제실험이 아닌 연구의 경우 결론 중 80%는 결국 틀린 것으로 판명된다는 것을 발견했습니다. 무작위 통제실험의 경우에도 25%는 후에 틀린 것으로 판명되었으며 대규모 무작위 통제실험의 경우에도 이 비율은 15%에 이르렀습니다.
"
-->
"
존 요아니디스는 연구자들이 가진 일반적인 편향성과, 전형적인 실험기술의 미숙함, 그리고 사람들의 주목을 끌만한 결과를 선호하는 연구자들의 경향을 포함하여 의학실험을 모델링 했을 때, 무작위 통제실험이 아닌 연구의 경우 80%, 무작위 통제실험의 경우 25%, 대규모 무작위 통제실험의 경우에도 10%가 차후에 틀린 것으로 판명될 확률을 가지고 있다고 계산했습니다.
"
말씀하신, 의학연구를 대중이 필요이상으로 불신하게 만드는 결과는 매우 경계해야 할 결과임이 분명합니다.
알려주신 논문을 자세히 살펴보고, 필요할 경우 내용을 더 수정하겠습니다.
감사합니다.