차원이 다른 구글 번역기의 도래 (7)
구글이 인간의 신경망을 본뜬 딥러닝을 적용해 지금까지 우리가 알던 번역기와는 차원이 다른 인공지능 번역기를 선보였습니다. 지난달 14일 새로운 구글 번역기를 집중적으로 분석한 뉴욕타임스의 기사 “The Great A.I. Awakening”을 소개합니다.
—–
4. 고양이 얼굴 인식에 관한 논문
한 살배기 아이가 세상을 배워가는 방식을 기계에 적용해 머신러닝을 훈련한 지 불과 1~2년 만에 구글 브레인은 구글 내 연구지원 부서 x 랩에서 나와 더 큰 연구 기관으로 소속을 옮긴다. (x 랩은 아이디어를 구체적인 프로젝트로 전환하는 초기 단계 연구를 지원하는 내부 부서) 여전히 팀원은 열 명이 채 되지 않고 목표한 결과물이 정확히 어떤 모습일지조차 아직 명확한 그림을 그려놓지 않은 상태였다. 하지만 이때 구글 브레인은 이미 앞으로 개발 과정에서 어떤 일이 닥칠지, 어떤 부분을 준비하고 보완해야 할지를 예측하고 이에 대비하며 앞으로 나아갔다. (구글 X의 팀장은 초기 연구지원에 드는 x 랩의 모든 비용을 치르고도 남을 수익을 구글 브레인이 올리고 떠났다는 말을 한 적이 있다) 사람의 마음이 처음에는 무엇이 공인지 분간해내는 것만으로 만족하지만, 이내 그 공이 갖고 싶어진다. 이들이 목표로 삼은 다음 분석 대상은 바로 언어였다.
언어를 연구하기 시작한 뒤 나온 첫 번째 결실이 바로 캣 페이퍼라 알려진 고양이 얼굴 인식에 관한 연구 논문이다. 구글 브레인은 이 캣 페이퍼 덕분에 상당히 유명해졌다.
캣 페이퍼가 보여주고자 한 성과를 간단히 정리하면, 10억 개 넘는 연결 고리를 지닌 인공 신경망이 분류되지 않은 미가공 데이터를 관찰하고 스스로 분석해 인간이 사용하는 고차원적인 개념에 맞춰 정리하는 것이었다. 연결 고리(시냅스) 10억 개는 당시까지 연구 논문에 인용된 그 어떤 인공 신경망의 연결 고리 수보다 최소 100배나 많은 것이었지만, 실제 인간의 뇌에 있는 시냅스 수보다는 여전히 작은 숫자였다. 뇌 연구자들은 신경망에 유튜브 동영상을 갈무리한 정지화면 사진 수백만 장을 보여주었다. 수많은 사진을 ‘학습한’ 신경망은 갓난아이나 얼룩다람쥐가 한 치의 망설임도 없이 고양이의 얼굴로 인식할 수 있는 안정적인 이미지 패턴을 찾아냈다. 여기서 핵심적인 차이는 이 기계에 앞서 고양이란 무엇인지에 관한 정보를 아무것도 주입하지 않았다는 점이다. 신경망은 아무런 사전 정보 없이 세상을 학습하고 스스로 분석한 뒤 개념을 정리했다. 연구진은 신경망이 마치 일종의 MRI처럼 작동한다는 사실을 발견했다. 즉 귀신처럼 보이는 고양이 얼굴 사진을 맞닥뜨리면 인공 신경망은 앞서 소개한 일종의 ‘자체 투표’ 과정을 거쳐 이미지를 분석하고 파악하려 든다. 캣 페이퍼 이전의 머신러닝은 한계가 뚜렷했다. 그 한계란 다름 아닌 사람이 앞서 기계에 입력한 데이터에 있었다. 컴퓨터의 연산 능력이 아무리 뛰어나더라도 이전 방식으로는 주어진 데이터를 바탕으로 한 분석 이상을 할 수 없었다. 캣 페이퍼는 이러한 기존의 한계를 근본적으로 뛰어넘는 혁신의 가능성을 입증했다. 즉 기계가 전혀 분류되지 않은 미가공 데이터를 알아서 인식하고 학습해 분류해낼 수 있다는 것이었다. 심지어 아직 인류가 분석하지 못한 지식의 영역, 아직 정리되지 않은 데이터도 기계가 스스로 학습할 가능성이 열린 셈이다. 고양이 얼굴을 인식하는 능력은 캣 페이퍼가 인공지능 전반에 미칠 어마어마한 영향력에 비하면 빙산의 일각이었다.
캣 페이퍼의 주 저자로 참여한 쿽 레(Quoc Le)는 키가 작고 호리호리한 몸매에 클래식한 페니 로퍼 구두를 신었다. 수수께끼 같은 미소를 띤 얼굴에 나긋나긋한 목소리로 말을 이어가는 레는 베트남의 후에(Hue) 시 근교에서 자랐다. 부모님은 쌀농사를 지으셨고, 집에는 전기가 들어오지 않았다. 레는 어려서부터 수학에서 비범한 능력을 보였고, 과학 영재학교에 진학했다. 1990년대 말 아직 학생이던 그는 사람과 대화할 수 있는 로봇 개발에 매달렸다. 처음에는 어려워 봤자 얼마나 어렵겠냐는 생각에 꽤 자신만만했다.
“그런데, 해보니 정말정말 어렵더군요.”
레는 내게 진지한 얼굴로 나지막이 말했다.
그는 고향을 떠나 장학금을 받고 호주 캔버라대학교에 입학했다. 대학에서 그는 컴퓨터 시각과 같은 인공지능 분야를 연구했다. 가장자리를 어떻게 인식해야 하는지 등 필요한 정의와 기준, 각종 정보를 기계에 더 정확하고 명확하게 입력하는 일이 주된 임무였는데, 이런 일을 할 때마다 그는 이 연구의 방향이 잘못됐다고 느꼈다. 그때만 해도 그는 이 세상 어딘가에 자기처럼 ‘기계가 백지상태에서 스스로 학습할 수 있다.’고 생각하는 컴퓨터 과학자가 더 있으리라는 걸 몰랐다. 알았더라도 막연한 추측에 불과했을 것이다. 2006년, 레는 중세의 유적을 간직한 독일의 도시 튀빙겐에 있는 막스플랑크 생물학 인공두뇌 연구소에서 연구원으로 일하기 시작했다. 레는 연구원들끼리 진행한 스터디 그룹에서 제프리 힌튼 교수의 새로운 논문 두 편을 읽게 된다. 각기 다양한 분야에서 연구하거나 일하던 이들이 인공지능 연구에 뛰어들게 된 데는 저마다 사연이 있다. 레에게는 힌튼 교수의 논문이 바로 새로운 세상에 눈을 뜨게 된 계기였다.
“엄청난 토론이 있었어요. 정말 대단한 토론이었죠.”
레와 나는 작은 탁자 하나에 화이트보드 두 개가 전부인 회의실에 앉아 있었다. 천장은 높고 너비는 좁은 방이었다. 레는 뒤에 있는 화이트보드에 자기가 그렸을 법한 그래프를 보고는 나지막한 목소리로 다시 한 번 말했다.
“정말이지 그렇게 엄청난 토론은 이전까지 본 적이 없어요.”
그는 스터디 그룹에서 일어서서 자기가 말을 하던 장면도 생생히 기억한다. 이렇게 말했다고 한다.
“이 논문이 하는 주장이 바로 우리에게 다가올 미래라고 생각해요.”
하지만 많은 사람은 레의 결정을 이해하지 못했다. 그가 오랫동안 가까이 지낸 학부 시절 지도교수는 레에게 보낸 이메일에 왜 그런 연구를 하려는 건지 이해하지 못하겠다고 썼다.
레는 그때만 해도 그 질문에 마땅한 답을 내놓지 못했다.
“솔직히 그냥 궁금한 게 가장 컸어요. 이미 현실을 문제없이 설명하는 패러다임이 있기는 했지만, 새로운 패러다임이 궁금했던 거죠. 그렇지만 또 2006년의 저는 별 행동에 나서지는 않았어요.”
레는 이후 스탠포드의 앤드류 응 교수 연구실에 들어가 힌튼 교수의 주장을 본격적으로 탐구하기 시작한다. 2010년 즈음이 되면 그는 무언가 거대한 변화가 일어나리라는 것을 확신하기에 이른다.
얼마 후 레는 구글 브레인 팀에 첫 번째 인턴으로 합류한다. 그는 구글 브레인에서 자신이 해오던 연구를 계속해서 진행했다. 이 연구는 나중에 캣 페이퍼의 중요한 뼈대가 된다. 레는 컴퓨터가 주어진 이미지를 이해하는 데 절대적으로 중요한 정보를 스스로 찾아낼 수 있도록 훈련할 수 있는지가 궁금했다. 그는 인공신경망에 유튜브에서 갈무리한 사진들을 보여줬다. 그리고 각각의 이미지에 담긴 정보를 뭐든 좋으니 알려달라고 해보았다. 어떤 정보를 위주로 정리하라거나 어떤 정보는 빼라는 지침은 주지 않았다. 인공신경망은 처음에는 무작위로 아무 정보나 뱉어냈다. 그래서 레는 말을 바꿨다. “잠깐만! 아무거나 알려달라는 건 그냥 해본 말이야. 취소! 자, 다시 이제 네가 본 원래 이미지를 분석하고 정리한 정보를 토대로 그 이미지를 다시 만들어서 내게 보여줘 봐.” 그러니까 레는 기계에 이미지의 특징을 요약해 정리한 뒤, 그 정리한 내용을 토대로 다시 원래 이미지를 구현해 보라고 부탁한 것이다. 만약 (고양이 얼굴을 인식하는 데 중요한 기준인) 수염의 유무나 모양 대신 하늘 색깔처럼 관련이 없는 데이터를 요약했다면 기계는 원래 이미지와 비슷한 이미지를 다시 그려내지 못할 것이다. 이는 마치 인류의 먼 조상이 검치호랑이(지금은 존재하지 않는 화석 동물)를 잠깐 보고 나서 이 동물은 마음이 편안해지는 쉭쉭 소리를 내며 움직인다는 피상적인 반응을 하는 것과 비슷하다. 평생 검치호랑이를 한 번, 그것도 잠깐 보고 만 그 조상과 달리 레의 인공신경망은 수많은 이미지를 보고 또 보고 반복 훈련을 거듭했다. 매번 신경망은 습득한 수많은 정보에 수학적으로 우선순위를 매겼고, 결과는 훨씬 나아졌다. 하지만 신경망은 사실상 블랙박스였다. 신경망이 패턴을 인식해 정보를 모으긴 하는데, 신경망이 인식하는 패턴이라는 게 사람이 보기에는 직관적으로 아무런 의미가 없는 경우가 허다했다. 인간이 알고 있는 고양이의 특징을 잘 잡아낸 바로 그 신경망이 다음에는 가구와 동물이 함께 있는 패턴을 파악하더니 줄곧 수납형 의자와 염소가 함께 있는 패턴 같은 정보만 분류해내기도 했다.
고양이를 인식하는 능력이 날로 좋아지던 그때까지만 해도 레는 신경망을 자신이 개발한 대화 로봇에 적용해 보겠다는 생각은 했지만, 자신이 언어와 번역에 엄청난 발자취를 남기게 되리라고는 생각지 못했다. 캣 페이퍼를 발표한 뒤 레는 만약 신경망이 스스로 사진을 분석하고 요약할 수 있다면, 문장을 분석하고 요약하는 일도 가능하다는 생각에 이르렀다. 향후 2년간 쿽 레와 구글 브레인의 또 다른 동료 토마스 미콜로프(Tomas Mikolov)는 이 문제와 씨름한다.
그때만 해도 구글 브레인 팀은 변변한 사무실도 없이 일에 매달렸다. 한동안 브레인 팀원들은 구글 임원들과 공간을 같이 썼는데, 한 번은 행정팀으로부터 되도록 구글의 두 창업자인 래리 페이지(Larry Page)와 세르게이 브린(Sergey Brin)의 방에 있는 소파에서는 잠을 자지 말아 달라는 이메일을 받기도 했다. 지나치게 체계가 없어 보이는 모습은 구글을 찾는 중요한 손님들을 당혹하게 하기도 했다. 그래서 구글 브레인 팀은 길 건너 연구동에 있는 공간을 정식으로 얻어 이주했다. 이제 높으신 분들과 나눠야 하는 피상적인 대화에 시간 뺏길 염려 없이 휴게실인 마이크로 키친에서 팀원들끼리 긴요한 이야기를 마음껏 나눌 수 있게 됐다. 한 발짝 앞서 나가려는 구글을 경쟁사들이 온 힘을 다해 쫓아오기 시작한 것도 이즈음부터다. 레는 토마스 미콜로프와 긴밀하게 협력했다는 사실을 말하면서 미콜로프의 이름을 너무 많이 언급했다. 근엄하게 들릴 정도로, 마치 무슨 주문을 외는 것처럼 들릴 정도였다. 레는 정말로 침통한 표정이었다. 결국, 나는 참지 못하고 레에게 물었다.
“그러니까 그 미콜로프 씨가 지금은…”
레는 대답했다.
“맞아요, 페이스북에 있는 그 미콜로프예요.”
그들은 이제 정지된 화면이나 사진을 분류하는 작업에서 한발 더 나아가 시간이 흐르면서 바뀌는 언어나 음악 등 더 복잡한 구조를 분석하고 파악하는 신경망을 개발하는 일에 착수했다. 이론적으로는 이미 1990년대에 토대가 마련된 작업이었다. 레와 동료들은 오랫동안 주목받지 못한 당시의 이론적 작업을 꼼꼼히 검토해 보았다. 기본적인 언어 예측 체계를 만들어내면 이메일에 적절한 맞춤형 자동 응답을 하는 일이나 합리적인 대화를 이어나가는 일도 가능했다. 적어도 외부에서 일반인이 보기에는 생각하는 기계, 사고하는 기계에 훨씬 더 가까워지고 있었다. (뉴욕타임스)
다음은 오늘 소개한 부분의 영어 원문을 구글 번역기가 우리말로 옮긴 것입니다. (맞춤법, 띄어쓰기, 문장의 종결 어미, 고유명사 등은 일부 고쳤습니다)
—–
4. 고양이 종이
첫 해 두의 과정 동안, 두뇌의 노력은 1세의 기술 팀이 X 실험실에서 그리고 폭 넓은 연구 조직으로 졸업 한만큼 길조했다 기계로 육성한다. (구글 X의 머리는 한 번 뇌가 X의 비용 전체를 지불했다고 말했다.) 그들은 여전히 10 개 미만의 사람을 가지고 있었고, 단지 막연한 느낌 궁극적으로 모두의 올 수도 것에 대해. 그러나 심지어 그들은 무슨 일이 다음에 무슨 일이 일어날한다고에 앞서 생각했다. 먼저 인간의 마음은 공을 인정 배우고 잠시 달성 쉽게 달려 있지만, 조만간, 그것은 공을 요청하고자 한다. 그리고 그것은 언어로에서 wades.
그 방향으로 첫 번째 단계였다. 고양이 종이 뇌 유명했다.
그 점에 대한 공개 신경망보다 큰 백 번, 아직 우리의 두뇌보다 작은 크기의 또 많은 주문 – – 원시, 레이블이없는 데이터를 관찰 할 수있는 어떤 고양이 종이 입증하는 것은 이상 억 “시냅스”연결이 신경 네트워크는 것이었다. 자체에 대한 상위 인간의 개념을 선택한다. 뇌 연구원은 YouTube 동영상에서 스틸 프레임의 네트워크 수백만을 표시했고, 순수한 감각 기관의 웰터급에서 네트워크는 유아 나 다람쥐 고양이의 얼굴로 순간의 주저없이 인식 할 것이다 안정적인 패턴을 격리했다. 기계는 고양이의 예지로 프로그래밍되지 않은; 그것은 세계에 직접 도달 자체에 대한 아이디어를 압수. (연구자들은 유령 고양이 얼굴이 가장 큰 집단 열정과 인공 뉴런에 “투표”를 발생하는 것을 그들에게 보여준 MRI, 같은의 신경망에 해당 이것을 발견했다.) 그 시점을 배우는 대부분의 기계에 의해 제한했다 표시된 데이터의 양. 고양이 종이 기계는 원료를 처리 할 수 있음을 보여 주었다. 레이블이 없는 데이터, 인간이 아니 예지를 설립했다 그 중 아마도 데이터입니다. 이 고양이 인식 연구에서뿐만 아니라 전체 인공 지능뿐만 아니라 주요 사전처럼 보였다.
고양이 종이의 리드 저자는 쿽 레였다. 르 빠른, 수수께끼의 미소와 반짝이 블랙 페니 로퍼로, 짧고 버드 나무와 부드러운 음성이다. 그는 색조, 베트남 외부에서 자랐습니다. 그의 부모는 쌀 농부했다, 그는 집에서 전기를하지 않았다. 그의 수학적 능력은 어릴 때부터 분명했다, 그는 과학 자석 학교에서 공부를 보냈습니다. 1990 년대 후반, 여전히 학교에 있는 동안, 그는 얘기하는 chatbot를 구축하기 위해 노력했다. 그는이 어떻게 하드가 될 수 생각?
” 그러나 실제로는, ” 그는은 whispery 무표정한에 나에게 말했다 ” 는 ‘ 매우 어렵다. ”
그는 컴퓨터 비전 등의 AI 작업에 종사 캔버라, 호주의 대학에 장학금에 논을 떠났다. 가장자리와 같은 것들에 대한 시스템 정의를 공급 관련된 시간의 지배적 인 방법은, 부정 행위처럼 그 느꼈다. 레는 알고, 또는 그가했던 것처럼 기계가 처음부터 배울 수 있는지, 상상 도움이 되지 수있는 다른 세계에서 적어도 수십 컴퓨터 과학자가 있다고만 어렴풋이 알고하지 않았다. 2006 년 레 T의의 중세 독일 대학 도시에서 생물 인공 두뇌 학에 대한 막스 플랑크 연구소의 위치를 했다. ü의 빙엔. 이 독서 그룹에서, 그는 발견 이 새로운 논문을 제프리 힌튼에 의해. 모든 변환 이야기가 긴 디아스포라 동안 훈련을 입력하고, 르 그 논문을 읽을 때, 그는 비늘을 느낀 사람들은 그의 눈에서 멀리 떨어진다.
“큰 논쟁이 있었다, ” 그는 나에게 말했다. ” 아주 큰 논쟁. ” 우리는 작은 인테리어 회의실, 단지 작은 테이블과이 화이트 보드로 복 좁은, 높은 천장 공간에 있었다. 그는 곡선을보고 ‘ 그 뒤에 화이트 보드에 그려진 D와 다시 다음 부드럽게 털어 ” 나는 ‘ 같은 큰 논쟁을 본 적이했다. ”
그는 독서 그룹에 서 서 하 고, 말을 기억하고 “이것은 미래입니다.”그것은, 그는 말했다에 “당시 인기없는 결정.”호주의 전직 보좌관, 그는 가까이 머물렀다 누구와 함께였다가 할 수 없었던 아주 레의 결정을 이해한다. “왜 이러는 거야?”그는 이메일에서 레 물었다.
“나는 didn를 ‘를 t은 그때 좋은 대답이, ” 르 말했다. ” 난 그냥 궁금 해서요. 이 성공적인 패러다임은 했지만, 나는 새로운 패러다임에 대한 그냥 궁금해서 정직하게. 2006년, 거의 활동이 있었다. ” 그는 스탠포드에서 잉에 가입 가서 힌튼 추구하기 시작했다 ‘ 의 아이디어를. ” 2010 년 말, 나는 일이 일어날 꽤 확신했다. ”
궁극적으로 고양이 종이가 된의 확장 – 무슨 일이 있었는지, 곧 이후, 르 그는 자신의 논문 작업과에서 실시 최초의 인턴으로 뇌에 갔다이었다. 간단한 수준에서, 레 컴퓨터가 자체에 지정된 이미지에 절대적으로 필수적 정보를 식별하는 훈련을 할 수 있는지보고 싶었다. 그는 아직도 자신이 YouTube에서 촬영했다 신경망 a를 공급. 그 후 그는 그것이 나 버리지 말아야 할 것을 지정하지 않았지만, 이미지에 포함 된 정보의 일부를 버릴 신경망 말했다. 기계는 초기 랜덤, 정보의 일부를 버린. 그리고 그는 말했다 : “그냥 농담! “이미지를 요약”그가 할 수있는 방법을 찾기 위해 컴퓨터를 묻는 것처럼 그것은이었다. “이제. 당신 만이 유지 된 정보를 기반으로 게재 된 초기 이미지를 다시 한 다음 다시 원래로 요약에서 확장한다. 요약이 부적합 데이터에 기초한 경우 – 하늘보다는 수염의 존재의 색상처럼 – 기계 유능한 재구성을 수행 할 수있다. 그 반응은 그의 테이크 아웃 세이버 – 이빨 호랑이 그의 짧은 노출 그들이 움직일 때 그들이 편안한 휙 소리를 한 것으로이었다 먼 조상의 그것과 유사하다. 레의 신경 네트워크는 그 조상과는 달리, 다시 다시 다시 다시 시도 도착한다. 이 수학적으로 “선택”할 때마다 서로 다른 정보의 우선 순위를 더 나은 점진적으로 수행한다. 신경망 그러나 블랙 박스였다. 이 패턴을 점쳐하지만 확인 된 패턴은 항상 인간의 관찰자에게 직관적 인 이해가되지 않았다. 고양이의 우리의 개념에 명중 동일한 네트워크는 또한 오스만과 염소 사이의 십자가처럼, 가구 동물 화합물의 일종처럼 보였다 패턴에 대한 열정이 되었다.
레 언어 사람으로 그 앞뒤를 헤아리지 않는 고양이 년 동안 자신을 보지 않았다, 그러나 그는 그의 초기 chatbot에 점을 연결하는 충동을 느꼈다. 고양이 종이 후, 그는 당신이 사진을 요약하는 네트워크를 요청할 수 있다면, 당신은 아마도 또한 문장을 요약하도록 요청할 수 있다는 것을 깨달았다. 이 문제는 다음 2 년 동안, 토마스 Mikolov라는 이름의 두뇌 동료와 함께 르를 정신.
그 시간에, 뇌 팀은 그의 주위에 여러 사무실을 빨리 성장. 잠시 동안 그들은 경영진과 공유 바닥에 있었다. 그들은 사람들이 래리 페이지 (Larry Page)와 세르게이 브린 (Sergey Brin)의 스위트 룸 앞에 소파에 잠을 할 수 있도록 중지하십시오 것을 요청하는 관리자의 한 지점에서 이메일을 받았다. 그것은 그들은 다음 마이크로 키친에서의 교류가 맞는 정중 한 잡담에 낭비되지 않을 것이다 거리를 가로 질러 연구 건물의 일부를 할당 된 불안 들어오는 VIP를. 즉, 중간도 잡을 구글의 경쟁 업체 측의 전용 시도를 보았다. 레 토마스 Mikolov과의 긴밀한 협력에 대해 이야기로서 (그는 “나는 마침내 자신을 도울 수 없다. 르가 너무 엄숙한 것 같았다 적이 없었다. 통렬한 소리 주술 방법으로, 반복해서 Mikolov의 이름을 반복 유지하고 묻기 시작 그가 …? “르가 고개를 끄덕였다.”페이스 북에 “라고 대답했다.)
그들은 정적이었다 간단한 사진 분류,뿐만 아니라 언어 나 음악처럼, 시간이 지남에 따라 전개 복잡한 구조뿐만 아니라 수용 할 수 신경 네트워크 아키텍처를 마련하려고이 기간을 보냈다. 이들의 대부분은 처음 한 1990 년대에 제안 , 레와 그의 동료들은 이삭 수있는 것을보고 그 긴-무시 기여에 다시 갔다. 예를 들어, 이메일에 적절한 응답을 예측, 또는 재치있는 대화의 흐름을 예측처럼 – 그들은 당신이 기본 언어 적 예측과 설비를 설립 한 번, 그 다음에 다른 지능형 사물의 모든 종류를 할에 갈 수 있다는 것을 알고 있었다. 당신은 외부에서 적어도, 생각처럼 많이 보일 것이다 무용의 종류까지 사이들 수있다.