인공지능 기술의 숨은 비용(1/2)
다른 많은 의약품처럼 프로비질이라는 이름으로 팔리는 각성제 모다피닐 안에도 작게 접힌 설명서가 들어있습니다. 대부분의 내용은 흔한 진정제처럼 사용법과 주의점, 약의 분자구조에 관한 것입니다. 그러나 “작용 기전” 칸에는 잠이 확 달아나게 할 만한 문장이 한 문장이 들어 있습니다. 그것은 바로 “모다피닐이 어떻게 각성 작용을 하는지는 알려져 있지 않다”는 말입니다.
프로비질만 그런 것이 아닙니다. 허가를 받고 널리 사용되는 약들 중에도 그 약이 정확히 우리 몸 속에서 어떻게 작용하는지 우리가 알지 못하는 약들이 많이 있습니다. 이는 그 약들이 시행착오(trial-and-error)를 통해 주로 발견되기 때문입니다. 매년 새로운 약품이 임상시험을 거치고 그 중 가장 효과가 좋은 약이 선택됩니다. 때로는 새로 발견된 약이 새로운 연구분야를 만들어내고 자신의 작용기전이 이를 통해 밝혀지는 경우도 있습니다. 물론 늘 그런 것은 아니지요. 아스피린은 1897년에 발견되었지만, 1995년에야 우리는 아스피린이 어떻게 우리 몸 속에서 작동하는지를 이해하게 되었습니다. 의학에는 이런 예가 많습니다. 뇌심부자극술(DBS)은 전극을 뇌속에 삽입하는 기술로 파킨슨 병처럼 특정한 움직임에 장애가 있는 이들에게 20년 이상 사용되어 왔으며 어떤 이들은 이 시술이 인지능력 강화에도 유용하리라 생각합니다. 하지만 누구도 그 이유는 알지 못합니다.
지식에 대한 이러한 접근법, 곧 답을 먼저 찾고 설명은 나중에 찾는 방식을 나는 지적 부채(intellectual debt)라 부릅니다. 어떤 것이 왜 작동하는지 모르는 상태로 언젠가는 그 원리를 알 수 있을 것이라 생각하며 실제로 이를 사용하는 것도 물론 가능합니다. 때로 우리는 이 지적 부채를 쉽게 갚을 수 있습니다. 하지만 수십년 동안 이 기술에 의존하고 다른 분야에까지 적용하면서도 그 원리를 충분히 알지 못한 상태로 사용하는 경우도 있습니다.
—–
과거에는 이 지적 부채가 시행착오로 지식을 쌓는, 의학과 같은 몇몇 분야에만 존재했습니다. 하지만 인공지능, 특히 기계학습 분야의 부흥은 인류가 가진 지적부채의 양을 크게 늘이고 있습니다. 기계학습은 많은 양의 데이터 속에서 패턴을 찾는 방식으로 이루어집니다. 이러한 패턴을 통해 명확하지 않은 문제의 답을 찾습니다. 신경망에 고양이의 사진과 다른 여러 사진을 입력하고 고양이를 구별하게 만들 수 있습니다. 수많은 의료기록으로부터 새로 입원한 환자가 사망할 확률을 계산하게 만들 수 있습니다. 문제는, 이 대부분의 기계학습 시스템이 인과의 관점에서 미지에 쌓여있다는 것입니다. 이 기술은 통계적으로 상관관계를 찾을 뿐입니다. 이 시스템은 우리가 생각하는 방식으로 “생각”하지 못하며, 그래서 특정 환자가 왜 죽을 확률이 높은지에 대해서는 답하지 못합니다. 우리가 이 시스템을 우리 삶에서 활용할 때 우리는 지적 부채를 계속 쌓아가는 것입니다.
인류가 의약 분야에서 이론적 뒷받침 없이도 이룬 발전을 생각해보면, 이런 지적 부채는 어쩔 수 없는 것처럼 보이기도 합니다. 아직 이해하지 못하는 치료 방식을 적용하면서 우리는 수백만의 생명을 구할 수 있었습니다. 그 약이 어떻게 작동하는지 모른다는 이유로, 생명을 구할 수 있는 약 – 아니면 아스피린이라고 해도 – 을 거부할 이는 거의 없을 것입니다. 하지만 이런 지적 부채가 누적될 때 문제는 커집니다. 작용 기전을 알지 못하는 약이 늘어날수록 새로운 약이 기존의 약과 함께 사용될 때 어떤 부작용을 일으킬 수 있는지를 밝히기 위해 필요한 테스트의 수는 기하급수적으로 증가합니다. (만약 모든 약의 작용 방식이 알려져 있다면 두 약을 같이 쓸 때 어떤 일이 일어나는지를 우리는 이론적으로 예측할 수 있을 것입니다.) 때문에 현실에서는 새로운 약이 시장에 판매된 후에야 다른 약과 함께 쓰였을 때 부작용이 있다는 사실이 밝혀지며, 이렇게 새로운 약이 등장하고 집단소송이 발생하며 약이 취소되는 일이 흔하게 일어나게 됩니다. 곧, 하나하나의 약에 대해서는 지적 부채를 쌓는 일이 합리적인 판단일 수 있지만, 이 지적 부채가 독립적으로 작용하지 않는다는 뜻입니다. 이론이 없는 답이 여러 분야에서 적용될 때, 이들의 조합은 예상치 못한 결과를 낳을 수 있습니다.
기계 학습에 의한 지적 부채는 기존의 시행착오 방식에 의한 지적 부채보다 더 위험합니다. 이는 대부분의 기계 학습 모델이 그러한 판단결과에 대한 이유를 제시하지 않기 때문이며, 또 이 기술을 사용하지 않는 이가 다른 독립적인 판단 기준을 가지고 있지 않다면 그 기계 학습 모델이 잘못 작동하고 있다는 사실을 어떤 방식으로도 알 수 없기 때문입니다. 잘 훈련된 시스템이 잘못 작동할 가능성은 크지 않습니다. 하지만 그 시스템이 어떤 데이터를 바탕으로 훈련되었는지를 잘 아는 누군가가 이를 조작할 수 있습니다.
이미지 인식의 문제를 생각해봅시다. 10년 전, 컴퓨터는 사진 속의 물체를 쉽게 인식하지 못했습니다. 오늘날 우리는 일상에서 매우 뛰어난 기계학습모델 기반의 이미지 검색 엔진을 사용하고 있습니다. 구글의 이미지 검색은 인셉션(Inception)이라 불리는 신경망을 사용합니다. 2017년, MIT 의 학부생과 대학원생으로 이루어진 랩식스 팀은 고양이 사진의 픽셀 몇개를 바꾸어 사람 눈에는 여전히 고양이로 보이지만 인셉션은 99.99 퍼센트의 확률로 과카몰 사진으로 판단하는 사진을 만들었습니다. (그 사진이 브로콜리, 모르타르일 확률도 아주 조금 있었습니다.) 물론 인셉션 신경망은 자신이 어떤 고양이 사진을 왜 고양이 사진으로 판단하는지 말할 수 없으며, 때문에 특정한 조작이 가해진 이미지에 대해 인셉션이 잘못된 판단을 내릴지를 예측하는 것도 불가능합니다. 곧 이런 시스템은 일반적으로 알려진 정확도에 비해 의도적인, 훈련된 공격자에 대해서는 매우 쉽게 뚫리는 단점을 가질 수 밖에 없습니다.
기계학습 시스템에 의해 만들어진 지식이 널리 사용될수록, 이런 종류의 단점은 필연적으로 발생하게 됩니다. 의료분야에서 사진 속 피부암이 악성인지 양성인지를 판단하는 인공지능은 매우 성공적인 기술입니다. 하지만 하버드 의대와 MIT 의 연구진이 올해 발표한 논문에서 이들은 앞서 고양이를 과카몰로 판단하게 만든 것과 같은 방식으로 이 인공지능을 속일 수 있음을 보였습니다. (즉, 보험금을 노리는 이들이 이런 방식의 공격을 할 수 있습니다.) 기계학습이 보여주는 놀라운 정확도는 우리로 하여금 인간의 판단보다 이들을 더 믿음직스럽게 여기게 만듭니다. 하지만 이들은 이런 조작에 취약하며, 우리는 이 시스템의 실수를 확인할 수 있는 다른 쉬운 방법을 가질 수 없다는 문제가 있습니다.
(뉴요커, Jonathan Zittrain)