차원이 다른 구글 번역기의 도래 (5)
구글이 인간의 신경망을 본뜬 딥러닝을 적용해 지금까지 우리가 알던 번역기와는 차원이 다른 인공지능 번역기를 선보였습니다. 지난달 14일 새로운 구글 번역기를 집중적으로 분석한 뉴욕타임스의 기사 “The Great A.I. Awakening”을 소개합니다.
—–
2. 대단한 인턴
구글 브레인은 본격적으로 팀을 꾸린 지 일 년이 채 되지 않아 가시적인 성과를 내기 시작했다. 제프 딘의 말에 따르면 한 살배기의 능력을 지닌 기계는 놀라운 성과를 연이어 가져왔다. 음성인식 기술을 담당하는 팀에서 기존의 음성인식 시스템의 일부만 신경망 방식으로 바꿨을 뿐인데 단번에 이 분야에서 지난 20년간 누구도 이루지 못한 최고의 진전이 일어났다. 사물 인식 시스템의 정확도도 열 배나 높아졌다. 이 모든 건 구글 브레인 팀이 짧은 기간 동안 새로운 아이디어를 쏟아낸 결과가 아니다. 단지 구글이 마침내 갖고 있던 컴퓨터와 인적 자원을 오랫동안 기술적 토대는 마련돼 있던 인공지능 분야에 본격적으로 투자한 결과가 금세 나타났을 뿐이다.
그리고 이때 혜성처럼 등장한 박학다식한 영국인이 한 명 있으니, 그의 이름은 제프리 힌튼(Geoffrey Hinton)이었다. 역마살이 있어도 좋다고 할 만큼 한곳에 좀처럼 머무르지 못하는 힌튼은 구글의 신경망 개발에 결정적인 역할을 했다. 구글 브레인이 생긴 이듬해 앤드류 응이 브레인을 떠나면서 힌튼이 브레인 팀에 합류했다. (응은 현재 1,300명 규모의 바이두 인공지능 팀의 팀장이다) 그런데 힌튼은 토론토대학 교수직을 단 석 달 동안만 떠나 있고자 했다. 이런 독특한 이유로 힌튼은 구글에 인턴으로 채용됐고, 한참 어린 대학생들 혹은 갓 학부를 졸업한 젊은이들과 함께 인턴 교육을 받아야 했다. 힌튼 교수는 오리엔테이션에서 누군가 “여러분의 LDAP 서버로 로그인하세요.”라고 하면 꼭 손을 들고 “LDAP가 뭐죠?”라고 묻곤 했다. 구글 인턴으로 들어왔으니 원체 똑똑했을 25살 남짓한 인턴들은 늙다리 인턴이 질문할 때마다 키득키득 웃어댔다. 누군가는 이렇게 쑥덕대기도 했다.
“도대체 저 영감 누구야? 왜 이런 것도 모르는 사람이 저기 있는 거지?”
힌튼도 녹록지 않던 오리엔테이션을 돌이켜 본다.
“하루는 다른 동료 인턴이 제게 이렇게 묻더군요. ‘힌튼 교수님 아니세요? 저 교수님 수업 들었는데! 근데 여기서 뭐 하시는 거예요?’ 하하, 뭐 마지막에는 다 괜찮아졌습니다.”
몇 달 뒤 힌튼과 힌튼의 학생 두 명은 오픈소스인 이미지넷(ImageNet)이 주최한 영상 인식 대회에 팀을 이뤄 출전해 실로 엄청난 진전을 이룩했음을 입증했다. 힌튼과 학생들이 제작한 컴퓨터는 무수히 많은 종류의 고양이들 사이에서 그저 원숭이를 찾아냈을 뿐 아니라 거미원숭이와 짖는원숭이처럼 원숭이의 종까지도 구별해냈다. 구글은 재빨리 힌튼과 학생 두 명을 정식으로 고용했다.
“처음에는 그저 우리가 만든 프로그램에 관심이 있어 접근한 줄로만 알았죠. 알고 봤더니 구글이 원했던 건 프로그램이 아니라 우리였어요.”
힌튼 교수는 말했다.
힌튼 교수의 집안은 대대로 다양한 학문 분야에 내공이 무척 깊은 집안이다. 천문학이든 유체역학이든 어느 분야라도 관련된 공부를 한 조상님이 한 분쯤은 있을 것 같은 그런 영국 집안 출신이다. 힌튼의 고조할아버지 조지 불(George Boole)은 컴퓨터의 이론적 기초를 놓는 데 기여한 분이고, 또 다른 고조할아버지는 유명한 외과 의사였다. 모험을 마다하지 않았던 곤충학자인 아버지, 로스알라모스의 연구원이었던 오촌 아저씨 등 집안의 학력을 나열하자면 끝도 없다. 그 자신은 케임브리지와 에딘버러에서 교육을 받았고, 토론토에 정착하기 전에는 카네기멜론에서 학생들을 가르쳤다. 토론토에 정착했다고 하지만 여전히 토론토에서 보내는 시간은 전체의 절반에 불과하다. 캐나다 정부는 오랫동안 그의 연구 대부분을 아낌없이 지원해 왔다. 내가 그를 방문한 것도 토론토에 있는 구글 사무실이었다. 대충 헝클어뜨린 노란 머리에 헐렁한 줄무늬 셔츠를 바지춤에 넣다 만 듯 걸쳤으며, 타원형 안경은 도드라지는 코까지 흘러내렸다. 그는 운전하면서 형편없는 유머를 마구 던져댔다. 이런 식이었다. “누군가 빈정대는 건 미국 사람들보다 컴퓨터가 먼저 알아차릴 거요.”
힌튼은 1960년대 말 케임브리지대학 학부생 시절부터 신경망을 연구하기 시작했다. 이 분야에서는 거의 시조새 급의 선구자인 셈이다. 그가 살아오는 동안 머신러닝에 관해 열심히 이야기해도 듣는 사람의 반응은 시큰둥했다. 프톨레마이오스의 천동설이나 거머리로 피를 빼내는 민간요법 정도의 이야기 취급을 받기 일쑤였다. 당시만 해도 신경망은 아직 전혀 검증되지 않은 허풍선에 가까운 개념으로 여겨졌다. 코넬대학교의 심리학자 프랭크 로젠블랏(Frank Rosenblatt)이 1950년대 말 개발한 인공 신경망 퍼셉트론(Perceptron) 프로젝트가 신경망 연구를 떠받치는 유일한 보루라고 할 수 있었는데, 그마저 제대로 인정받지 못하는 실정이었다. 당시 퍼셉트론 프로젝트를 후원한 미국 해군을 취재한 <뉴욕타임스>의 기사를 보면 이렇게 쓰여 있다. “이 기계는 스스로 걷고, 말하고, 보고, 쓰고, 스스로 복제 가능하며 자신의 존재를 인식할 수 있다.” 결국, 퍼셉트론은 이 가운데 어떤 것도 제대로 해내지 못했다. 미국 인공지능의 대부와도 같던 마빈 민스키(Marvin Minsky)도 1954년 프린스턴에서 신경망 연구를 진행했었다. 그러나 그는 이내 동시대 브롱크스 학파 소속으로 신경망에 관해 지나친 낙관론을 설파하는 로젠블랏의 주장에 이골이 났다. (민스키는 국방부의 연구 지원을 놓고 로젠블랏과 경쟁 관계에 있기도 했다) 결국 민스키는 MIT 동료 과학자와 함께 펴낸 책에서 퍼셉트론이 절대로 풀 수 없는 대단히 간단한 문제가 여러 가지 있다는 안타까운 사실을 나열했다.
퍼셉트론에 대한 민스키의 비판은 특히 퍼셉트론의 연결망이 한 층으로 이뤄져 있다는 점에 집중됐다. 즉 기계에 어떤 명령을 입력하면 그저 그 명령을 수행하는 단층 인공신경망은 한계가 명확하다는 뜻으로, 민스키는 말년에 현재의 딥러닝과 대단히 유사한 개념을 설명하기도 했다. 하지만 힌튼은 그때 이미 다층 신경망을 구동할 수만 있다면 기계가 대단히 복잡한 임무를 수행하는 것도 가능하다는 사실을 알고 있었다. 인공지능 신경망을 가장 단순하게 묘사한다면 아마 ‘데이터를 분석하고 패턴을 읽어내는 능력을 바탕으로 상황을 읽어내고 예측하는 기계’ 정도가 될 것이다. 단층 신경망으로는 무척 단순한 패턴만 분석할 수 있지만, 여러 층의 신경망으로는 패턴의 패턴까지도 읽어낼 수 있다. 우리가 “나선형 신경망”이라 부르는 기묘한 장치에 의존해 판단하는 영상 인식 과정을 예로 들어보자. (이 주제에 관한 기념비적 연구 논문으로 1998년 프랑스 출신의 얀 르쿤이 힌튼 교수의 지도로 진행한 박사후과정 연구 논문이 있다. 르쿤은 현재 페이스북의 인공지능 팀을 이끌고 있다) 신경망의 첫 번째 층에서는 전체적인 윤곽의 가장자리만을 놓고 어렴풋이 가늠해보는 게 전부다. 이어 다음 층으로 넘어가면서 계속해서 앞서 파악한 이미지의 패턴을 가다듬고 좁혀간다. 가장자리가 둥글 수도 있고 사각형일 수도 있다. 원이나 사각형일 경우 그 대상은 누군가의 얼굴일 수도 있다고 좁혀가는 식이다. 눈의 뒤편에 있는 망막의 광수용기를 통해 입력된 시각 자극은 대뇌 피질의 시각령에 정보를 전달하면서 해당 자극을 이런 식으로 추상화해 인식한다. 각 단계에서 직접적인 관련이 없는 정보는 버려진다. 가장자리 여러 곳의 모습을 종합해 그 사물을 얼굴로 인식했을 때 당신은 어느 부분이 얼굴의 특징을 지녀서 지금 대상을 얼굴이라고 인식했는지 자세히 따지지 않는다. 중요한 건 이것이 얼굴이라는 판단이고 인식이다.
딥러닝을 수행하는 다층 신경망을 이해하는 데 따르는 가장 큰 어려움은 신경망의 시행착오 과정이 대단히 복잡하다는 점이다. 단층 신경망은 물론 간단하다. 당신이 어린이와 놀고 있다고 가정해보자. 어린이에게 “녹색 공을 집어서 A 상자에 공을 넣으렴.”이라고 말했는데, 어린이가 녹색 공을 B 상자에 넣었다면? 다시 한 번 해야 할 일을 반복해서 알려주면 된다. “녹색 공을 A 상자에 넣어주세요.” 어린이가 A 상자에 공을 넣는다. 미션 완료.
좀 더 복잡한 상황을 가정해 보자. “녹색 공을 집어서 숫자 3이 적힌 문을 통과해 나가는 거야. 그리고 그 녹색 공을 A 상자에 넣어주렴.” 어린이는 빨간색 공을 집어서 숫자 2가 적힌 문으로 나가더니 그 공을 B 상자에 넣었다. 이를 어떻게 바로잡아줘야 할까? 같은 말을 반복하는 건 별 효과가 없을 수 있다. 왜냐하면, 이 어린이는 자기가 어디서 무얼 잘못했는지 모르고 있을 수 있으니까. 가상의 사고 실험이 아니라 실제로 눈앞의 아이에게 교육하는 상황이라면 직접 빨간색 공, 녹색 공을 들고 하나씩 알려주면 된다. “이건 빨간색 공, 그리고 이건 녹색 공이란다.” 그런데 머신러닝의 핵심 원리 가운데 하나는 이렇게 하나하나 붙잡고 설명해주는 과정을 지양하는 것이다. 1970년대 말부터 1980년대에 걸쳐 힌튼 교수를 비롯해 여러 연구자가 이러한 다층적 시행착오 문제를 해결하는 방법을 개발하고 새로 가다듬는 작업을 반복했다. 컴퓨터과학자들 사이에서 신경망에 대한 관심이 잠시 늘어났던 시기도 바로 이때였다.
“이 분야에 대한 사람들의 관심이 갑자기 증폭했죠. 하지만 우리는 사안을 너무 부풀려 선전했어요. 관심은 이내 시들고 말았죠.”
컴퓨터과학자들은 얼마 가지 않아 다시 힌튼 같은 사람들을 괴짜로 치부하기 시작했다.
하지만 신경망에 관한 기본적인 아이디어들은 특히 철학자, 심리학자들의 관심을 꾸준히 받았다. 심리학자들은 이를 결합설(connectionism) 혹은 병렬분산처리(parallel distributed processing)라고 불렀다. 힌튼은 내게 이렇게 말했다.
“몇몇 사람이 포기하지 않고 고이 간직해 온 이 아이디어는 대단한 것이긴 합니다. 인공지능은 언제나 가능성의 영역이었어요. 문제는 심리학 안에서만 해도 수많은 사람이 그 가능성을 믿지만, 결국 누구도 이를 현실에서 구현하지 못했다는 데 있습니다.”
사실 캐나다 정부의 막대한 지원을 받는 힌튼도 끝내 해내지 못한 일이다.
“컴퓨터의 연산력이 부족하거나 아니면 데이터가 부족했어요. 우리 쪽 사람들은 늘 이렇게 말했죠. ‘맞아, 내가 정말 끝내주는 슈퍼슈퍼컴퓨터만 있다면, 정말 해낼 수 있는 일인데.’ 사실 컴퓨터를 탓하는 건 설득력이 떨어지는 소리이긴 합니다.” (뉴욕타임스)
다음은 오늘 소개한 부분의 영어 원문을 구글 번역기가 우리말로 옮긴 것입니다. (맞춤법, 띄어쓰기, 문장의 종결 어미, 고유명사 등은 일부 고쳤습니다)
—–
2. 가능성이없는 인턴
Dean이 말했듯이 1년 된 재능을 가진 기계를 개발 한 첫 해에 Brain은 실험을 통해 큰 효과를 얻었다. 음성 인식 팀은 기존 시스템의 일부를 신경 네트워크로 바꿔 놓았다. 20년 만에 최고 품질의 개선이 이루어졌다. 그들의 시스템의 물체 인식 능력은 몇 배 향상되었다. 이것은 Brain의 인력이 불과 1년 만에 새로운 아이디어의 장을 창출했기 때문이 아니다. Google이 마침내 컴퓨터와 점점 더 많은 인력을 투입하여 오랜 기간 동안 주변에 있었던 윤곽을 채우기 위해 노력했기 때문이다.
이러한 현존하고 무시당한 관념에 대한 큰 우세가 Geoffrey Hinton이라는 peripatetic 영어 polymath에 의해 제안되거나 정제되었다. Brain이 존재하는 2년차에 Hinton은 Andrew Ng가 떠남에 따라 Brain에 모집되었다. (Ng는 현재 Baidu에서 1,300명의 AI 팀을 이끌고 있습니다.) Hinton은 토론토 대학교에서 3개월 밖에 머물고 싶지 않았기 때문에 계약상의 이유 때문에 인턴으로 고용해야 했다. 인턴 교육을 받으면 오리엔티어 리더는 “사용자의 LDAP에 입력하십시오. 사용자 로그인”이라고 말하면서 도우미에게 “LDAP 란 무엇입니까?”라고 묻는다. 출석한 25살인 똑똑한 사람 인공 지능의 사인이 아닌 단지 깊은 학습 만이 알려졌다. “누가 그 노인이야? 왜 그가 그것을 얻지 못하니? ”
“점심 시간,”힌튼 말했다, “큐에 누군가가 소리 쳤다 : ‘교수 힌튼! 나는 네 코스를 들었어! 너 여기서 뭐하고 있니? ‘그 후, 모든 권리했다. ”
몇 달 후, 힌튼과 그의 제자 중 두 입증 컴퓨터 원숭이를 식별 할뿐만 아니라 거미 원숭이와 구별 할뿐만 아니라 요청 ImageNet라는 오픈 소스 단체에 의해 실행 큰 이미지 인식 경연 대회에서 정말 놀라운 이득을, 하울 러 원숭이, 신의 사이에서 고양이의 얼마나 많은 다른 유형이 있는지 알고 있다. Google은 Hinton과 그의 학생들에게 곧 제안을했다. 그들은 받아 들였다. “우리 지적 재산권에 관심이 있다고 생각했습니다.” “그들은 우리에게 관심을 보였습니다.”
힌튼은 지적인 경관을 가로지르는 편심한 각도의 Darwins와 같은 옛 영국 가정에서 태어났다. 여기서 유명한 선집에 관계없이 천문학이나 유체 역학의 사소한 문제에 도움을 줄 것으로 예상된다. 그의 위대한 증조부였던 조지 부울 (George Boole)은 상징적 논리의 기초 작업으로 컴퓨터를 뒷받침했다. 또 다른 위대한 증조부는 유명한 외과 의사 였고 그의 아버지는 벤츄라의 곤충 학자였으며 그의 아버지의 사촌은 로스 알 라모스의 연구원이었다. 그 목록은 계속된다. 그는 케임브리지와 에딘버러에서 훈련을 마친 후 토론토에 도착하기 전에 카네기 멜론에서 가르쳤다. (그의 작품은 오랫동안 캐나다 정부의 후원에 의해지지를 받았다.) 나는 구글의 그의 사무실에서 그를 방문했다. 그는 성숙한 Noel Gallagher 스타일로 빗나간 노랑 – 백랍 머리카락을 집어 넣었고, 쭉쭉 뻗은 끈 팬티 드레스 셔츠와 눈에 띄는 코 끝까지 미끄러 져 내려간 타원형 안경을 착용했다. 그는 shambolic 지혜라면 운전에 대해 말하고 “컴퓨터는 미국인들이하기 전에 풍자를 이해할 것”이라고 말한다.
Hinton은 1960 년대 후반 케임 브리지에서 학부생으로 근무한 이후로 신경 네트워크 작업을 해왔으며 그는 현대 분야의 지적 초기자로 간주된다. 그 당시 대부분의 사람들은 기계 학습에 관해 이야기 할 때마다 프톨레마이오스 구체에 대해 이야기하거나 거머리들에게 유혈 사태에 대해 이야기하는 것처럼 그를 보았다. 신경망은 1950 년대 후반 코넬 심리학자 인 프랭크 로젠블랏(Frank Rosenblatt)이 개발 한 인공 신경망인 퍼셉트론 (Perceptron)과 같은 과장된 프로젝트를 토대로 대단히 어리석다. New York Times는 기계의 스폰서 인 미국 해군이 “걸을 수 있고, 말하고,보고, 쓰고, 재현하고, 존재를 의식 할 수있을 것”이라고 예상했다. 미국의 인공 지능 학과장인 마빈 민스키(Marvin Minsky)는 1954 년 프린스턴 논문을 위해 신경망을 연구했지만 이후 브론스 사이언스 (Bronx Science)의 현대인 로젠블랫(Rosenblatt)이 신경 패러다임을 만들었다는 주장에 지쳤다. (그는 또한 국방부의 자금 지원을 위해 경쟁했다.)는 MIT 동료와 함께, 민스키는 퍼셉트론 해결할 수 없었습니다 간단한 문제는 고통이 있었다는 것을 입증 책을 출판했다.
퍼셉트론의 민스키의 비판은 하나의 “레이어”의 네트워크 확장, 즉 기계에 공급하고 당신이 그것을 기대하는 무슨 사이 인공 뉴런의 한 층 – 나중에 생활에서, 그는 현대 깊은 학습과 매우 유사한 아이디어를 강론. 그러나 힌튼은 이미 여러 층에 의지가 있다면 복잡한 작업을 수행 할 수있는 시간에 알고 있었다. 뉴럴 네트워크의 간단한 설명은 데이터의 패턴을 발견 할 수있는 능력에 기초하여 분류 또는 예측을 만드는 시스템의 점이다. 하나의 층으로, 당신은 단순한 패턴을 찾을 수; 더 이상, 당신은 패턴의 패턴을 볼 수 있었다. 라는 진기한에 의존하는 경향이 영상 인식의 경우 가져 가라 “길쌈 신경 그물을.”(이은으로 정교하고 독창적 인 1,998 종이 누구의 주 저자 인, 프랑스 인은 얀 LeCun 이름 힌튼에서 토론토에서 자신의 박사 후 연구를했고, 지금 페이스 북에서 거대한 AI 노력을 지시합니다.) 네트워크의 첫 번째 층은 의미 없다 “, 가장자리의”의 아주 기본적인 시각적 비유를 식별하기 위해 배우는 것도 a로 다음 (오프 픽셀) 뭔가를 (온 – 픽셀) 또는 그 반대의 경우도 마찬가지. 네트워크의 각 연속적인 층은 이전의 층에 패턴을 찾는다. 가장자리의 패턴은 원형 또는 사각형 수 있다. 원 또는 사각형의 패턴은 얼굴이 될 수 있다. 등등. 그것은 다시 위로 시각 피질을 통해 망막의 광 수용체에서 이동할 때이 다소 평행선는 방법 정보가 점점 더 추상적 인 방법으로 조립된다. 각 개념 단계, 즉시 관련이 없습니다 세부 사항에서 폐기된다. 여러 가장자리와 동그라미가 얼굴을 만들기 위해 함께 온다면, 당신은 얼굴이 시야에서 발견된다 정확히 걱정하지 않는다; 당신은 그냥 얼굴 있다는 걱정.
1990 년대 후반에 의해 미국에있는 모든 검사의 10 ~ 20 퍼센트를 처리하는 연구원 얀 LeCun의 길쌈 신경망의 초기 버전을 보여주는 1993에서 데모. 유사한 기술은 현재 가장 최신의 영상 인식 시스템을 구동한다. 비디오 얀 LeCun에 의해 유튜브에 게시
다층, “깊은”신경 네트워크와의 문제는 시행 착오 부분은 매우 복잡있어이었다. 단일 층에서, 쉽다. 당신이 함께 연주하는 것을 상상해보라. 당신은 아이에게 “녹색 공을 들고 상자 A.에 넣어”아이는 녹색 공을 집어 들고 당신은 “상자 A에 녹색 공을 넣어 다시 시도”라고 말할 상자 B.로를 박았 아이는 상자 A. 브라보를 시도한다.
이제, 아이에게 “녹색 공을 들고, 문을 통해 이동 3을 표시하고 박스 A.으로 녹색 공을 넣어”아이가 빨간 공을 취 상상이 표시된 문을 통해 이동하고 상자에 빨간 공을 넣는다 B. 당신은 어떻게 아이를 해결하기 위해 시작할까? 아이가 자신이 잘못되는 시점에서 알 수 없기 때문에 당신은, 초기 지시 사항을 반복 할 수 없다. 실제 생활에서, 당신은 빨간 공 및 녹색 공을 잡고, 말함으로써 시작 있습니다 “빨간 공, 녹색 공을.”기계 학습의 요점을하지만, 명시 적 멘토링의 종류를 방지하는 것이다. 힌튼과 몇 가지 다른 사람에 갔다 해결책을 발명 (또는 오히려, 재발견 일 이전 ) 1970 년대 후반과 1980 년대의 정지 과정을 통해,이 계층-오류 문제를 신경 네트워크의 컴퓨터 과학자들 사이 관심이 간략하게 부활했다. “사람들은 그것에 대해 매우 흥분”고 말했다. “그러나 우리는. 그것을 과매도”컴퓨터 과학자들은 신속하게 힌튼 같은 사람들이 괴물과 신비 주의자라고 생각하고 다시 갔다.
이 아이디어는 그러나 “connectionism”또는 “병렬 분산 처리.” “이 아이디어를 호출 철학자와 심리학자, 중, 횃불 연소를 유지하는 몇 사람, 그것은 멋진 신화”힌튼은 나에게 말했다 “인기 남아 있었다. 그것은 인공 지능 내에서 사실이었다. 하지만하지만 접근 방식을 믿는 사람들의 심리를 많이 내 그냥. 그렇게하지 “나도 할 수 없습니다 수 힌튼, 캐나다 정부의 관용에도 불구하고. “충분한 컴퓨터의 전원 또는 데이터가 충분하지 않았다. 우리 쪽 사람들은 말하고 있었다 ‘그래,하지만 난 정말 큰 일이 있다면, 그것은 작동합니다.’ 그것은 매우 설득력 인수되지 않았습니다. “