차원이 다른 구글 번역기의 도래 (4)
구글이 인간의 신경망을 본뜬 딥러닝을 적용해 지금까지 우리가 알던 번역기와는 차원이 다른 인공지능 번역기를 선보였습니다. 지난달 14일 새로운 구글 번역기를 집중적으로 분석한 뉴욕타임스의 기사 “The Great A.I. Awakening”을 소개합니다.
1부: 학습하는 기계
1. 뇌의 탄생
직함은 선임 연구원이지만, 제프 딘(Jeff Dean)은 사실상 구글 브레인 팀을 이끄는 팀장이나 다름없다. 에너지 효율적인, 근육질 몸매의 딘은 길쭉한 얼굴에 두 눈은 깊다. 어린이용 자동차 경주에 모든 걸 쏟아붓듯 성실한 열정을 지닌 딘은 의료 인류학자와 공중보건 역학자의 아들로 태어나 미국 곳곳은 물론 스위스 제네바, 우간다, 소말리아 등 세계 여러 나라에서 자랐다. 고등학교와 대학교 시절 이미 세계보건기구가 사용하는 소프트웨어를 제작하기도 한 그는 1999년, 구글의 대략 25번째 직원으로 입사했다. 이후 구글이 개발하고 출시한 핵심 소프트웨어 가운데 그의 손을 거치지 않은 것이 없다고 보면 된다. 워낙 지대한 영향력을 미친 신화적인 인물이다 보니 그에 관한 우스갯소리도 많다. “제프 딘의 비밀번호는 원주율 파이의 마지막 네 자리다. (옮긴이: 원주율은 무리수로 마지막 자리가 없습니다)”, “벨이 전화를 발명했을 때 제프 딘으로부터 이미 부재중 전화가 한 통 와 있었다.”, “제프 딘은 만렙이 10인 시스템에서 레벨 11로 승격했다.” 마지막 이야기는 진짜로 있던 일이다.
2011년 초 어느 날 딘은 구글 캠퍼스 내 건물 층마다 있는 일종의 휴게실인 마이크로 키친에서 스탠포드 컴퓨터공학과의 젊은 교수 앤드류 응(Andrew Ng)과 우연히 마주쳤다. 응 교수는 구글과 컨설팅 프로젝트를 진행하고 있었다. 응은 딘에게 마빈 프로젝트에 관해 이야기해 주었다. 인공지능 분야의 선구자인 마빈 민스키의 이름을 딴 이 내부 프로젝트에서 응 교수는 뇌의 구조를 본떠 만든 유순한 디지털 격자 모양의 “신경망”을 실험하는 일을 맡고 있었다. 딘은 1990년 미네소타 대학교 학부 시절 이 기술이 전반적으로 알려지기 전의 훨씬 원초적인 단계이던 때 관련 작업에 참여했던 적이 있다. 신경망을 연구하는 학자들의 숫자는 다시 수십 명으로 늘어난 상태였다. 응은 이날 딘에게 구글의 비밀 연구기관인 X랩의 지원을 받아 진행 중인 마빈 프로젝트에서 이미 몇몇 희망적인 결과물이 나왔다고 귀띔했다.
딘은 당장 자신의 근무 시간 가운데 20%를 마빈 프로젝트를 공부하는 데 쓰기 시작했다. (구글 직원은 누구나 전체 근무 시간의 20%는 자신이 맡은 프로젝트나 임무 외의 다른 새로운 일에 쓰도록 권유받는다) 이내 딘은 응 교수에게 신경과학 전문가 그렉 코라도(Greg Corrado)를 이 프로젝트에 끌어들이자고 제안한다. 코라도는 대학원 시절 인공 신경망에 관한 강의를 한 번 들은 적이 있긴 하지만, 그저 역사적 배경이 궁금해 수업을 들었을 뿐이고 전문적인 지식은 별로 없었다. 코라도는 나중에 그래도 그때 그 수업을 들었기에 용어들이 낯설지 않았던 게 다행이라고 농담을 했다. 그해 봄 그들은 응 교수의 연구실에서 가장 뛰어난 대학원생 쿽 레(Quoc Le)도 불러들였다. 레는 이 프로젝트에 참가한 첫 인턴이었다. 그리고 이즈음 구글의 엔지니어들은 마빈 프로젝트를 새로운 이름으로 부르기 시작했다. 바로 구글 브레인(Google Brain)이었다.
1956년 여름, 다트머스 대학에서 열린 역사적인 첫 회의에서 “인공지능”이란 단어가 처음 생겨난 순간부터 대부분 연구자는 인공지능을 만들려면 세상 모든 것에 관한 가능한 한 많은 지식과 논리적 사고에 필요한 원칙을 겸비한 방대하고 포괄적인 프로그램을 고안해야 한다고 믿었다. 예를 들어 영어를 일본어로 번역하려면 먼저 컴퓨터에 영어의 모든 문법을 빠짐없이 입력하고, 옥스포드 영어 사전에 있는 영어 단어의 모든 뜻과 용례를 입력한 다음 일본어에 관해서도 마찬가지 작업을 하는 게 우선이었다. 이 작업이 완료되어야만 한 언어로 쓴 문장을 분해하고 그에 맞는 다른 언어의 단어와 문법을 찾아 번역하는 일이 가능했다. 기계에 일종의 복잡한 언어 지도와 찾고자 하는 것이 어디쯤 있는지를 알려주면 기계가 그 지도를 읽고 가장 가까운 지점을 찾는 식이었다. 이 방식은 인지의 정의가 상징적인 논리에 바탕을 뒀기 때문에 대개 “상징적 인공지능(symbolic A.I.)”이라고 불렸다. 이를 약간 폄하해 부르는 표현으로는 “그럭저럭 쓸 만했던 구식 인공지능(good old-fashioned A.I.)”이 있다.
이 방식에는 두 가지 중요한 문제가 있었다. 먼저 사람이 해야 하는 일이 너무 많아서 시간이 대단히 오래 걸렸고, 수학이나 체스처럼 원칙과 기준이 명확한 분야에서만 오류 없이 제대로 작동했다. 반면 번역은 이런 식의 접근이 처참하게 실패하기 딱 좋은 분야였다. 단어들은 결코 사전적 정의대로만 쓰이는 법이 없고, 모든 언어에는 수많은 문법, 각종 원칙만큼이나 많은 예외가 있다. “농업부장관(minister of agriculture)”이 “영농의 성직자(priest of farming)”와 같이 엉뚱하게 번역되는 원인도 과거의 상징적 인공지능 접근법 때문이라고 볼 수 있다. 여전히 상징적 인공지능은 수학이나 체스에서 뛰어난 성과를 내고 있으므로 이를 옹호하는 이들은 새로운 범용 인공지능의 성능을 시험하는 데도 수학이나 체스 정도면 충분하다고 주장한다.
하지만 기존의 방식으로 할 수 있는 일에는 분명 한계가 있었다. 1980년대에 카네기멜론 대학교의 과학자들은 컴퓨터가 어른 인간이 하는 일은 어렵지 않게 따라 하지만, 공을 들고 있거나 고양이를 알아보는 일처럼 한 살배기 아이가 하는 일을 따라 하는 건 오히려 거의 못 한다는 점을 지적했다. 1990년대 들어 컴퓨터의 체스 실력은 인간 챔피언을 꺾을 정도로 발전했지만, 우리는 여전히 일반적인 업무를 사람처럼 사고하고 처리하는 인공지능 근처에도 가지 못했다.
인공지능에 관하여 기존의 통설에 반하는 의견, 즉 컴퓨터가 정해진 원칙에 따라 하향식, 혹은 연역적으로 학습하는 게 아니라 반대로 상향식, 혹은 귀납적으로 데이터를 모아 분석하며 학습할 수 있다는 의견은 원래부터 늘 있었다. 이는 1940년대 연구자들 사이에서 가장 유연하고 자동화된 기능을 잘 수행하는 지능이란 바로 인간의 뇌 그 자체라는 깨달음이 퍼지면서 생겨난 주장이다. 결국, 뇌라는 건 우리가 뉴런, 즉 신경 세포라 부르는 수많은 장치의 집합이자 연결로, 뉴런이 하는 일도 결국 자신이 받은 전기 자극을 주변의 뉴런에 전달하느냐 마느냐 둘 중의 하나다. 여기서 중요한 건 개별 신경 세포가 아니라 세포들이 모여 형성한 연결망이다. 이 무수하면서도 단순한 신경망 구조 덕분에 뇌는 대단히 뛰어난 적응력을 발휘할 수 있게 된다. 뇌는 특정 정보가 부족하거나 아예 없는 상황에서도 업무를 처리해 명령을 내릴 수 있고, 심각한 손상을 입어도 통제력을 완전히 상실하지 않고 기능할 수 있다. 뇌는 또한, 방대한 양의 지식과 정보를 아주 효과적인 방법으로 저장하며, 독특한 패턴을 구분해내면서도 애매한 상황을 분간하고 처리할 만큼의 혼란은 이해할 수 있다.
이처럼 뛰어난 모델을 전자 형태로 모방하려는 노력이 줄기차게 이어졌다. 1943년에 간단한 인공 뉴런 배열을 통해 기본적인 논리 함수를 전달할 수 있다는 것이 밝혀졌다. 적어도 이론적으로 인공 뉴런은 또한 인간이 하는 것처럼 학습할 수 있었다. 개인의 경험, 시행착오에 따라 신경 세포들의 연결망은 어느 부분은 더 촘촘하고 강력해지는가 하면 다른 부분은 반대로 듬성듬성하고 약해지게 마련이다. 마찬가지로 인공 신경망도 세심하게 고안된 시행착오를 경험하면서 인공 신경 세포들의 연결망을 강화하는 식으로 학습할 수 있다는 결론이 나온다. 처음부터 엄격하게 짜인 원칙을 입력해야만 하는 일이 아니다. 오히려 인공지능이 새로 접하고 쌓는 데이터를 토대로 새로운 패턴을 반영해 이에 맞춰 새로운 상황을 익히고 정보를 채워 넣는 식의 학습이 가능한 것이다.
인공지능에 대한 이러한 접근법은 모든 걸 처음부터 완벽하게 창조해내려 하지 않고 새로운 환경과 데이터에 맞춰 발전하도록 인공지능을 설계한다는 의미에서 진화적이다. 유연한 메커니즘이란 변하는 환경에 맞춰 잘 적응한다는 뜻이다. 체스의 규칙에만 통달해 주어진 원칙 아래서 모든 경우의 수를 계산하고 있는 기계는 적응력과는 거리가 멀다. 대신 감각, 인지 능력과 운동을 제어하는 능력처럼 아주 기본적인 능력에서 시작해 주어진 환경에 맞춰 필요한 기술을 습득하고 발전시키는 방식이 유연한 메커니즘에 더 어울린다. 인간은 사전이나 문법책을 달달 외우는 식으로 언어를 배우지 않는다. 컴퓨터도 마찬가지로 그런 식으로 접근해서는 언어를 제대로 습득하지 못하리라는 가정은 합리적이다.
주요 기업이나 기업에 속한 기관, 부서 중에 인공지능도 사람의 뇌와 같은 방식으로 학습할 수 있다는 가능성을 믿고 이를 바탕으로 프로젝트를 진행한 건 구글 브레인이 처음이었다. 딘과 코라도, 응은 처음에는 각자에게 주어진 시간 일부를 쪼개 협동 실험을 진행했다. 이내 놀라운 결과가 잇따라 나타났다. 이들은 1980, 90년대부터 제기됐지만, 한동안 묵혀졌던 아이디어를 포함해 최근의 이론적 성과를 토대로 가설을 세워 실험을 진행했고, 구글의 독보적인 자원이라 할 수 있는 방대한 데이터와 컴퓨터 인프라를 십분 활용했다. 예를 들어 대본이 있는 음성 파일을 찾도록 지시하면 컴퓨터가 현실을 반영해 결과의 정확도를 높였다.
“동물이 눈이라는 기관을 진화한 과정을 살펴보면 정말 대단한 발전이었어요.”
하루는 딘이 예의 절제된 말투로 내게 이렇게 말했다. 우리는 늘 그렇듯 화이트보드가 있는 회의실에 앉아 있었다. 딘은 대단히 복잡하게 얽히고설킨 구글 브레인 팀의 계획을 설명하며 어느 지점이 신경망의 역사에 있어 전환점이 될지 이야기를 이어갔다.
“이제는 컴퓨터에도 눈이 있어요. 시각을 갖췄다는 뜻이죠. 이제 사진을 이해하는 능력을 컴퓨터가 갖추게 될 거예요. 로봇이 하는 일도 획기적으로 변할 겁니다. 전혀 낯선 환경에서 지금까지와는 전혀 다른 문제를 처리하는 데 로봇을 쓸 수 있게 됐어요.”
한창 개발 중인 이런 능력은 분명 원시적이고 대수롭지 않은 것처럼 보일지 모르지만, 그 함의는 실로 엄청나다. (뉴욕타임스)
다음은 오늘 소개한 부분의 영어 원문을 구글 번역기가 우리말로 옮긴 것입니다. (맞춤법, 띄어쓰기, 문장의 종결 어미, 고유명사 등은 일부 고쳤습니다)
—–
1 부 : 학습 기계
1. 뇌의 탄생
제프 딘 (Jeff Dean)은 자신의 직함이 선임 연구원이긴 하지만 사실상 Google Brain의 머리다. 딘은 길고 좁은 얼굴, 깊은 눈, 진지하고 비누 상자 같은 열정을 지닌 힘 있고 에너지 효율적인 남성이다. 의료 인류학자이자 공중 보건 역학의 아들인 딘은 미네소타, 하와이, 보스턴, 알칸사스, 제네바, 우간다, 소말리아, 애틀란타에서 전 세계적으로 자랐으며 고등학교와 대학에서는 세계 보건기구. 그는 1999년부터 25,000명의 직원으로 Google에 근무했으며 그 이후 거의 모든 중요한 사업 아래 핵심 소프트웨어 시스템에 손을 대었다. 기업 문화의 사랑하는 유물은 제프 딘 사실 척 노리스 사실의 스타일로 작성된이, 밈 “제프 딘의 PIN이 파이의 마지막 네 자리입니다.”, “알렉산더 그레이엄 벨이 전화를 발명 할 때, 그가에서 부재 중 전화를 보았다 Jeff Dean “”제프 딘 (Jeff Dean)은 최대 레벨이 10 인 시스템에서 레벨 11로 승격되었습니다. “(이 마지막 하나는 사실이다.)
2011 년 1 월, 딘은 Google 캠퍼스의 “microkitchens”중 하나 인 Mountain View 복합 건물의 대부분 층에 있는 공유 휴게 공간에 대한 “Googley”라는 단어를 사용하여 젊은 스탠포드 컴퓨터 과학인 Andrew Ng를 만났다. 컨설턴트로 회사에서 일하는 교수. Ng는 프로젝트 마빈(Marvin Minsky)의 이름을 따서 명명한 내부 노력인 “마빈(Marvin) 프로젝트”에 관해 이렇게 말했다. 그는 최근에 뇌 구조에 느슨하게 기반을 둔 유연한 디지털 격자를 “신경 네트워크”로 실험하는 것을 도왔다. 딘 자신은 1990 년 미네소타 대학(University of Minnesota)에서 학부생으로서 원시적인 기술 버전을 연구했다. 이제는 지난 5 년 동안 신경 네트워크를 연구하는 학자의 수는 소수에서 수십에 이르기까지 다시 증가하기 시작했다. Ng는 Google의 비밀 X 실험실에서 인수 중이던 Project Marvin이 이미 유망한 결과를 얻었다.
Dean은 Google 직원이 핵심 업무 외의 프로그램에 기여할 것으로 예상되는 근무 시간 중 일부인 20 %를 프로젝트에 빌려주기도 했다. 얼마 지나지 않아 그는 Ng에게 신경 과학 배경을 가진 Greg Corrado와 함께 다른 동료를 데려 오라고 제안했다. (대학원에서 Corrado는이 기술에 대해 간략하게 가르쳤지 만 엄격한 역사적 호기심으로 “그날 수업에서 주의를 기울이는 것이 좋았습니다.”라고 저에게 농담을 했다.) 늦은 봄, 그들은 Ng의 최고 중 하나를 가져 왔다. 대학원생, Quoc Le, 프로젝트의 첫 번째 인턴. 그때까지 Google 엔지니어 중 상당수는 Project Marvin을 Google Brain이라는 다른 이름으로 언급했다.
“인공 지능(artificial intelligence)”이라는 용어가 처음 만들어지자 1956년 여름 다트머스(Dartmouth)에서 일종의 헌법 컨벤션을 통해 많은 연구자들이 오랫동안 인공 지능을 창조하는 가장 좋은 방법은 매우 크고 포괄적인 논리적 추론의 규칙과 세계에 대한 충분한 지식을 제시 한 프로그램. 당신이 영어에서 일본어로 번역하고자 한다면, 예를 들어, 컴퓨터에 영어 문법 규칙의 모든 프로그램과 것이다 다음 옥스포드 영어 사전에 포함 된 정의의 전체, 다음 일본어의 문법 모든 규칙, 뿐만 아니라 일본 사전의 모든 단어로, 오직 그 모든 후 소스 언어로 그것을 문장을 공급하고 대상 언어에 해당하는 문장을 집계하도록 요청한다. Borges가 그랬던 것처럼 지역의 크기 인 언어 맵을 기계에 제공하게 된다. 이 관점은 일반적으로 “상징적 인공 지능”이라고 부른다. 왜냐하면 그 인식의 정의는 상징적 논리에 기반을두고 있기 때문에 – 또는 비열하게도 “훌륭한 구식 인공 지능”
구식 접근 방식에는 두 가지 주요 문제점이 있다. 첫 번째는 사람이 끝내는 데 시간이 오래 걸린다는 것이다. 두 번째는 규칙과 정의가 매우 명확한 도메인에서만 작동한다는 것이다 (예 : 수학 또는 체스). 그러나 번역은 단어가 사전 정의로 축소될 수 없기 때문에 그리고 언어가 규칙을 지닌 것만큼 많은 예외를 갖는 경향이 있으므로 이 접근법이 무시무시하게 실패하는 분야의 예이다. 종종 이런 식의 시스템은 “농업 장관”을 “농업의 제사장”으로 번역해야 할 의무가 있다. 수학과 체스의 경우에는 위대한 일을 했으며 상징적인 AI의 지지자들은 ” 일반 정보 “를 수학 및 체스보다 뛰어나다.
그러나 이 시스템이 할 수있는 것에 한계가 있었다. 1980년대 카네기 멜론 (Carnegie Mellon)의 로봇 연구원은 컴퓨터를 성인용으로 사용하는 것이 쉽지만 1살짜리 어린이가 볼을 잡거나 고양이를 식별하는 것과 같은 일을 하도록 하는 것은 거의 불가능하다고 지적했다. 1990 년대까지 컴퓨터 체스의 진보를 처벌했음에도 불구하고 우리는 여전히 인공 지능에 멀지 않았다.
컴퓨터가 위에서 아래로 (규칙에 따라)보다는 위에서 (데이터를 통해) 배울 것이라고 반대 의견인 AI에 대한 또 다른 비전이 항상 있었다. 이 개념은 유연한 자동화된 정보를 위한 최상의 모델이 뇌 자체라는 연구자에게 일어난 1940년대 초반에 시작된다. 어쨌든 뇌는 뉴런(neurons)이라 불리는 위젯들로, 이웃들에게 전기 요금을 부과하거나 받지 못한다. 중요한 것은 그것들 사이의 다양한 연결보다 개별 뉴런 자체가 덜 중요하다는 것이다. 이 구조는 단순함으로 인해 뇌에 적응력이 풍부한 장점을 제공한다. 두뇌는 정보가 부족하거나 빠진 환경에서 작동할 수 있다. 통제력을 완전히 상실하지 않으면 심각한 피해를 견딜 수 있다. 엄청난 양의 지식을 매우 효율적으로 저장할 수 있습니다. 그것은 명확한 패턴을 분리 할 수 있지만 모호성을 처리하는 데 필요한 난장음을 유지합니다.
거기에 당신이 전자 형태로이 구조를 모방하려고 할 수 없는 이유가 없었으며, 1943 년에 이 나타났다 간단한 인공 신경 세포의 배열이 기본 논리 기능을 수행 할 수 있다. 그들은 또한 적어도 이론 상으로는 우리가하는 방식을 배울 수 있다. 인생 경험에 따라, 특정 사람의 시련과 오류에 따라, 뉴런 쌍 사이의 시냅스 연결이 강해지거나 약해진다. 인공 신경망은 유도된 시행 착오를 바탕으로 인공 신경 세포 간의 수치 관계를 점차적으로 변경함으로써 비슷한 것을 할 수 있다. 고정된 규칙으로 미리 프로그램 할 필요는 없다. 대신에 흡수 된 데이터의 패턴을 반영하기 위해 스스로를 다시 연결한다.
인공 지능에 대한 이러한 태도는 창조론자라기보다는 진화론적인 것이었다. 유연한 메커니즘을 원한다면 환경에 적응할 수있는 메커니즘을 원했다. 당신이 적응할 수있는 무엇인가를 원한다면, 당신은 체스의 규칙을 주입하는 것으로부터 시작하고 싶지 않았다. 고급 기술이 유기적으로 등장하기를 원한다면 아주 기본적인 능력 (감각 지각과 운동 조절)으로 시작하고 싶었습니다. 인간은 사전이나 문법 책을 암기하여 언어를 이해하는 법을 배우지 않으므로 컴퓨터가 그렇게 할 것을 기대해야하는 이유는 무엇인가?
Google Brain은 AI Dean, Corrado 및 Ng에 대한 사고 방식으로 구체화 된 가능성에 투자한 최초의 주요 상업 기관이었으며 파트 타임 협업 실험으로 작업을 시작했지만 즉각적인 진전을 보았다. 그들은 최근의 이론적 개요와 1980년대와 1990년대 이후 선반에 있던 아이디어를 바탕으로 자신의 모델에 대한 건축 영감을 얻었으며 회사의 독보적 인 데이터 보유량과 거대한 컴퓨팅 인프라를 모두 활용했다. 그들은 엄청난 양의 은행에 “분류된”데이터 (예 : 정확한 표제어가있는 음성 파일)를 지시했으며 컴퓨터는 현실에 더 잘 부합하도록 응답을 개선했습니다.
“동물이 눈을 개발하는 진화의 부분이 큰 개발했다” 딘은 관습 삼가과 어느 날 나에게 말했다. 우리는 평소와 같이 화이트보드 회의실에 앉아있었다. 그 회의장에서 Google Brain의 붐비는 뱀의 타임 라인과 신경 네트워크의 최근 역사에서 변곡점과의 관계를 그렸다. “이제 컴퓨터는 눈을 가지고 있어요. 사진을 이해하기 위해 현재 존재하는 기능을 중심으로 구축할 수 있습니다. 로봇이 대폭 변형될 것입니다. 그들은 많은 다른 문제에, 알 수없는 환경에서 작동 할 수있을 겁니다. “그들이 구축 한이 용량은 기본 보였을 수 있지만, 그 의미는 심오했다.