Categories: 과학

과학연구결과가 의미하는 것은

우리는 매일 올라오는 수많은 종류의 연구결과들에 둘러쌓여 있습니다. 이들 과학연구결과들은 우리의 건강, 육아, 교육에 대한 생각을 바꾸고 개인적인 신념에까지 영향을 끼칩니다. 그러나 안타깝게도 어제의 연구가 오늘 또다른 연구에 의해 부정되는 것은 자주 발생하는 일입니다.

예를 들어, 2004년 한 연구는 비타민D 가 관절염을 예방한다고 발표했습니다. 2010년 존스홉킨스 병원의 대규모 조사에서도 이 결과를 확인했습니다. 그러나 2013년 2월의 보다 엄밀한 연구는 이 결론을 다시 검증할 필요가 있다는 결론을 내렸습니다.

이런 보도들은 많은 사람들에게 과학의 신뢰성에 대한 의문을 갖게 합니다. 그리고 언론이 과학을 보도하는 행태를 볼 때, 그들의 지적은 일리가 있습니다. 연구결과라는 것이 그렇게 쉽게 뒤바뀌는 것이라면 거기에 무슨 의미가 있을까요? 그러나 진짜 문제는 과학이 이루어지는 방식이 아니라 이것이 보도되는 방식입니다.

위의 예를 포함해, 많은 연구들은 인과관계가 아닌 상관관계만을 찾아냅니다. 인과관계를 찾아내기 위해서는 하나의 통제변수만의 효과를 보아야 하고, 이를 위해서는 “무작위 통제 실험(random controlled experiment)”을 해야 합니다. 그러나 무작위 통제 실험은 설계가 까다로우며 긴 시간을 필요로 합니다. 따라서 언론에 보도되는 대부분의 연구는 상관관계의 발견을 알리는 결과들입니다.

존 요아니디스는 연구자들이 가진 일반적인 편향성과, 전형적인 실험기술의 미숙함, 그리고 사람들의 주목을 끌만한 결과를 선호하는 연구자들의 경향을 포함하여 의학실험을 모델링했을 때, 무작위 통제실험이 아닌 연구의 경우 80%, 무작위 통제실험의 경우 25%,  대규모 무작위 통제실험의 경우에도 10%가 틀린 것으로 판명될 확률을 가지고 있다고 계산했습니다.

그렇다면 왜 과학자들은 이런 상관관계를 발견하기 위한 연구를 하는 것일까요? 그것은 이 상관관계에 대한 연구를 통해 가능성 있는 가설을 발견할 수 있으며, 이 가설을 바탕으로 무작위 통제실험을 포함한 후속연구를 진행할 수 있기 때문입니다.

결국 연구결과가 보도되는 방식의 문제점은 대중들에게 새로운 결과의 중요성이 어느 정도인지 충분히 알려주지 못한다는 데 있습니다. 때로 괜찮은 기사는 이번 연구가 상관관계를 찾았을 뿐이란 사실을 “~할 가능성이” 또는 “~할 수도”와 같은 표현을 통해 대중들에게 알려줍니다. 그러나 이 연구가 이 분야에서 얼마나 초기 단계의 것인지, 앞으로 이 결과가 잘못된 것으로 밝혀질 가능성이 얼마나 큰 지를 함께 알려주는 기사는 거의 찾아보기 힘든 것이 사실입니다.

과학기사는, 예를 들어, 다음과 같은 단계를 기사에 표시함으로써 더 정확해질 수 있습니다. 이 연구가 소규모의 초기 연구이며 이번 결과는 앞으로 수많은 검증을 거쳐야 하는지, 또는 대규모 관찰을 통해 충분한 상관관계가 관찰된 결과인지, 또는 대규모 무작위 통제실험을 통해 인과관계마저 확인된 결과인지 등의 단계를 나눌 수 있을 것입니다.

오늘날 많은 사람들은 언론에 난 기사를 보고 이를 자신의 삶에 적용시킵니다. 그러나 이 기사들은 결국 틀린 내용으로 판명될 상당한 가능성을 가지고 있습니다. 언론은 이를 표현하고 전달할 뚜렷한 방법을 스스로 찾아내어야 합니다. (NYT)

원문 보기

veritaholic

View Comments

  • 이번 뉴스 페퍼민트 글은 문제가 있는 글이네요. 요아니디스 교수님도 뉴스페퍼민트도 의도적으로 잘못한 바는 없는데, 문제는 요아니디스 교수님의 논문을 인용한 뉴욕 타임즈에 기고한 철학교수 아저씨께서 논문을 제대로 이해하지 못하고 쓰셨고 그 내용을 페퍼민트 사람들이 그대로 받아들인 게 문제입니다. 요아니디스는 기존의 논문들의 검토해서 몇 %가 true finding인지 확인한 적이 없어요. 몇 가지 가설에 기반해서 확률을 계산하고, 어떤 위험요인들이 잘못된 연구결과들을 발표하게 만드는지에 대해 이야기했을 뿐입니다. 이런 글들이 모여서 의학/보건학 연구를 대중들이 필요이상으로 불신하게 만드는 결과를 낳을 수 있어 우려가 되네요. 뉴욕 타임즈에서 근거로 인용한 아래 논문을 살펴보셨으면 합니다. http://www.plosmedicine.org/article/info:doi/10.1371/journal.pmed.0020124

  • 안녕하세요, 중요한 지적 감사합니다.

    하신 말씀이 맞다고 생각됩니다.
    저는 위의 글을 아래 블로그에서 추천받았습니다.
    http://backreaction.blogspot.com/2013/05/a-star-rating-for-scientific-news.html
    이 블로그는 물리학자들이 자주 보는 곳입니다. 이 글에서도 이 뉴욕타임즈의 글이 평범해 보이고, 우리 물리학자의 반대쪽에 위치한 철학자의 글이긴 하지만, 과학기사에 등급을 표시하자는 아이디어가 매우 좋다고 평했습니다. 저도 이 글에 동의했고, 그래서 뉴욕타임즈의 글을 옮겼습니다.

    뉴욕타임즈의 댓글 중, Atlantic의 요아니디스에 대한 특별기사가 있더군요.
    http://www.theatlantic.com/magazine/archive/2010/11/lies-damned-lies-and-medical-science/308269/

    일단 아틀란틱에 나와있는 설명으로 원문을 교체하였습니다.
    "
    존 요아니디스는 의학 연구들에 대한 분석을 통해 무작위 통제실험이 아닌 연구의 경우 결론 중 80%는 결국 틀린 것으로 판명된다는 것을 발견했습니다. 무작위 통제실험의 경우에도 25%는 후에 틀린 것으로 판명되었으며 대규모 무작위 통제실험의 경우에도 이 비율은 15%에 이르렀습니다.
    "
    -->
    "
    존 요아니디스는 연구자들이 가진 일반적인 편향성과, 전형적인 실험기술의 미숙함, 그리고 사람들의 주목을 끌만한 결과를 선호하는 연구자들의 경향을 포함하여 의학실험을 모델링 했을 때, 무작위 통제실험이 아닌 연구의 경우 80%, 무작위 통제실험의 경우 25%, 대규모 무작위 통제실험의 경우에도 10%가 차후에 틀린 것으로 판명될 확률을 가지고 있다고 계산했습니다.
    "

    말씀하신, 의학연구를 대중이 필요이상으로 불신하게 만드는 결과는 매우 경계해야 할 결과임이 분명합니다.

    알려주신 논문을 자세히 살펴보고, 필요할 경우 내용을 더 수정하겠습니다.
    감사합니다.

Recent Posts

“숨 쉬는 건 범죄가 아니다”…노숙도 마찬가지? 간단치 않은 사정들

미국 연방대법원이 노숙을 불법으로 규정하고 노숙자를 처벌한 지방 정부(시 정부)의 행동이 위헌이라는 사건에 관해 이번…

18 시간 ago

[뉴페@스프] Z세대 가치관에 문제 있다? 그런데 부모인 X세대가 더 문제다?

* 뉴스페퍼민트는 SBS의 콘텐츠 플랫폼 스브스프리미엄(스프)에 뉴욕타임스 칼럼을 한 편씩 선정해 번역하고, 글에 관한 해설을…

2 일 ago

기후변화로 인한 ‘변화’가 이 정도였어? 뜻밖의 결과들

기후변화로 인한 이상 기후, 자연 재해는 우리에게 더는 낯선 일이 아닙니다. 아예 "기후 재해"라는 말이…

3 일 ago

[뉴페@스프] 경합지 잡긴 잡아야 하는데… 바이든의 딜레마, 돌파구 있을까

* 뉴스페퍼민트는 SBS의 콘텐츠 플랫폼 스브스프리미엄(스프)에 뉴욕타임스 칼럼을 한 편씩 선정해 번역하고, 글에 관한 해설을…

6 일 ago

데이트 상대로 ‘심리 상담’ 받는 사람을 선호한다고? 운동만 자기 관리가 아니다

보스턴 대학에서 일하는 정신과 의사가 ‘자녀의 정신 건강에 과몰입하는 미국 부모들’에 대한 칼럼을 기고 했습니다.…

7 일 ago

[뉴페@스프] 습관처럼 익숙한 것 너머를 쳐다볼 때 비로소 보이는 것

* 뉴스페퍼민트는 SBS의 콘텐츠 플랫폼 스브스프리미엄(스프)에 뉴욕타임스 칼럼을 한 편씩 선정해 번역하고, 글에 관한 해설을…

1 주 ago