차원이 다른 구글 번역기의 발전한 한국어 실력
지난해 말 뉴욕타임스는 딥러닝을 통해 언어를 학습한 인공신경망을 탑재한 구글 번역기가 완전히 새로 태어나는 과정을 소개했습니다. 뉴스페퍼민트는 이 글을 올해 초 12편에 걸쳐 번역, 소개했고, 마지막 번외편에는 해당 기사 전체를 구글 번역기에 넣고 나온 한글 번역문을 실었습니다.
신경망 번역의 놀라운 성과를 다룬 기사였지만, 많은 뉴스페퍼민트 독자분들도 확인하셨듯 영어를 한국어로 옮긴 결과는 신통치 않았습니다. 분명 한글은 한글인데, 한국 사람이 보기에 뜻이 전혀 통하지 않는 표현과 비문투성이였고, 문법상 잘못된 부분도 너무 많았습니다. 1월 30일에 구글 번역기는 평가할 것도 없이 수준 미달이었습니다.
며칠 전 우연히 다시 써본 구글 번역기의 한국어는 두 달 전보다 일취월장했습니다. 군데군데 비문이 눈에 띄고, 비유로 표현한 부분의 맥락을 읽지 못한 부분도 여전히 있었으며, 몇 가지 단어는 문장 속에서 쓰인 의미와 다르게 해석하기도 했지만, 전체적으로 더 수월하게 글을 읽어내려갈 수 있었습니다.
예를 들어, 기사 본문의 첫 번째 문단과 마지막 문단은 아래와 같습니다.
1월 30일 결과
11 월 초 금요일 밤 늦게 도쿄 대학에서 인간 – 컴퓨터 상호 작용의 탁월한 교수 인 레 키모토 (Rekimoto)는 소셜 미디어에 등장하는 특이한 소식에 주목하기 시작하면서 온라인으로 강연을 준비했다. 명백하게 회사의 인기있는 기계 번역 서비스 인 Google 번역은 갑자기 거의 상상할 수 없을 정도로 향상되었습니다. Rekimoto는 Transl 자신을 방문하여 실험을 시작했습니다. 그는 놀랐다. 그는 잠들었어야했지만, 번역은 그의 상상력을 되찾기를 거부했습니다.
휴즈는 코라를 통해이라고, 이들은 꿰 서 있었다. 우울한 향수의 마법을 깰, 코라는, 상처를 조금보고, 고개를 말했다 “그래서 때 우리가 그것을 삭제 어떻게해야합니까?”
‘ 돈 ‘ 그것에 대해 t 걱정, ” 휴즈는 말했다. ” 새로운 코드베이스는 증가 할 것입니다. 모든 성장한다. “
…..
3월 26일 결과
11 월 초 금요일 밤 늦게 도쿄 대학에서 인간 – 컴퓨터 상호 작용의 탁월한 교수 인 레 키모토 (Rekimoto)는 소셜 미디어에 등장하는 특이한 소식에 주목하기 시작하면서 온라인으로 강연을 준비했습니다. 명백하게 회사의 인기있는 기계 번역 서비스 인 Google 번역이 갑자기 거의 상상할 수 없을 정도로 향상되었습니다. Rekimoto는 Transl 자신을 방문하여 실험을 시작했습니다. 그는 놀랐다. 그는 잠들기 위해 가야했지만, 번역은 그의 상상력에 대한 그립감을 느슨하게하기를 거부했습니다.
휴즈는 코라를 불렀다, 그리고 그들은 꿰 서 있었다. 우울한 향수의 주문을 깨고, 코라는, 상처를 조금보고, 고개를 말했다 “그럼 언제 우리가 그것을 삭제 어떻게해야합니까?”
“걱정하지 마세요,”휴즈는 말했다. “새로운 코드베이스는 증가 할 것입니다. 모든 성장한다. ”
…..
뉴스페퍼민트 번역
지난 11월 초 어느 금요일 늦은 밤, 도쿄대학의 레키모토 준 교수는 강의에 필요한 자료를 인터넷에서 찾아 정리하던 중 소셜미디어상에서 화제가 된 이야기를 접하게 된다. 인간과 컴퓨터의 상호작용에 관한 연구 분야의 권위자이기도 한 레키모토 교수의 관심을 끈 이야기는 바로 구글의 유명 서비스 가운데 하나인 구글 번역기의 성능이 하루아침에 믿을 수 없을 만큼 좋아졌다는 내용이었다. 레키모토 교수는 얼마나 대단한 발명품이 나온 건지 직접 확인해 보고자 구글 번역기를 한 번 돌려보고는 입을 다물지 못했다. 잠자리에 들어서도 번역기가 내놓은 지금껏 접한 적 없는 차원이 다른 번역문들이 머릿속을 떠나지 않았다.
휴즈는 코라도를 불렀다. 그들은 꼼짝 않고 서서 영상을 바라보았다. 아련한 과거의 기억에서 벗어나기라도 하려는 듯 코라도가 휴즈에게 말했다.
“이 기록은 언제 지우면 될까요?”
그러자 휴즈가 말했다.
“걱정 말아요. 이내 새로운 코드 양식이 발전해 과거를 대체할 테니까요. 정말 금방이더라고요.”
뉴스페퍼민트에 이 기사를 소개할 때 향후 구글 번역이 개선되면 다시 소개해 드리겠다고 약속한 대로, 오늘은 차원이 다른 구글 번역기의 일취월장한 한국어로 옮긴 뉴욕타임스의 기사, “The Great A.I. Awakening”을 소개합니다.
—–
위대한 AI 각성
Google이 인공 지능을 사용하여 인기있는 서비스 중 하나 인 Google 번역을 변형시키는 방법과 컴퓨터 학습을 통해 컴퓨터 자체를 재발견하는 방법
프롤로그 : 당신은 무엇을 읽었습니까?
11 월 초 금요일 밤 늦게 도쿄 대학에서 인간 – 컴퓨터 상호 작용의 탁월한 교수 인 레 키모토 (Rekimoto)는 소셜 미디어에 등장하는 특이한 소식에 주목하기 시작하면서 온라인으로 강연을 준비했습니다. 명백하게 회사의 인기있는 기계 번역 서비스 인 Google 번역이 갑자기 거의 상상할 수 없을 정도로 향상되었습니다. Rekimoto는 Transl 자신을 방문하여 실험을 시작했습니다. 그는 놀랐다. 그는 잠들기 위해 가야했지만, 번역은 그의 상상력에 대한 그립감을 느슨하게하기를 거부했습니다.
Rekimoto는 블로그 게시물에 자신의 초기 연구 결과를 썼습니다. 첫째, 그는이 새로운 Google 번역이 만들 수 있었던 것과 함께, “The Gatsby”의 두 출판 된 버전 인 Nozaki Takashi의 1957 년 번역과 Haruki Murakami의 최근 반복본에서 몇 문장을 비교했습니다. 무라카미 (Murakami)의 번역은 “매우 세련된 일본어”로 쓰여졌습니다. Rekimoto는 이메일을 통해 나에게 나중에 설명했지만 산문은 “Murakami-style”이라고합니다. 대조적으로 Google의 번역은 “약간의 부자연 스러움”에도 불구하고 “더 투명합니다 . “
레키 모토 (Rekimoto) 지위의 후반부는 일본어에서 영어에 이르기까지 다른 방향으로 서비스를 조사했다. 그는 헤밍웨이의 “킬리만자로의 눈”에 대한 개봉에 대한 자신의 일본 해석을 맹렬히 거슬러 올라 갔다. 그는 Hemingway의 원본과 함께이 버전을 출간했으며 독자가 기계의 작업을 추측하도록 유도했습니다.
아니. 1:
킬리만자로는 높이 19,710 피트의 눈 덮인 산으로 아프리카에서 가장 높은 산이라고합니다. 그 서부 정상 회담은 Masai “Ngaje Ngai”라고 불리는 하원이다. 서부 정상 회담에서 가까운 곳에는 표범의 건조하고 얼어 붙은 시체가 있습니다. 표범이 그 고도에서 찾고 있던 것을 아무도 설명하지 못했습니다.
아니. 2 :
킬리만자로는 19,710 피트의 눈으로 덮인 산으로 아프리카에서 가장 높은 산이라고합니다. 서쪽의 정상 회담은 하나님의 집인 마사이에서 “응가에 응가이”라고 불린다. 서쪽의 정상 부근에는 건조하고 얼어 붙은 표범 동물이 있습니다. 아무도 표범이 그 고도에서 원하는 것을 설명하지 못했습니다.
심지어 영어 원어민에게도, 표범에 대한 누락 된 기사는 2 번이 자동 장치의 결과물 인 유일한 실제 선물입니다. 그들의 친밀감은 Rekimoto에게 경이의 원천이었습니다. 그는 Rekimoto에게 이전 서비스의 기능에 대해 잘 알고있었습니다. 겨우 24 시간 만에 구글은 다음과 같은 일본어 통역을 번역했을 것이다.
킬리만자로는 눈으로 뒤덮인 산에서 19,710 피트 떨어져 있으며 아프리카에서 가장 높은 산이라고합니다. 서쪽의 꼭대기 인 마사이족 언어의 “응가에 응가이 (Ngaje Ngai)”는 하나님의 집이라고 불 렸습니다. 서쪽에 가까운 상단에는 건조하고 얼어 붙은 표범 사체가 있습니다. 표범이 그 고도에서의 수요가 있었는지 여부에 관계없이 아무도 설명하지 않았다.
Rekimoto는 Twitter에서 수십만 명의 팔로워에게 그의 발견을 홍보했으며 앞으로 수 시간 동안 수천 명의 사람들이 기계 번역 서비스로 자신의 실험을 방송합니다. 일부는 성공했고, 다른 일부는 주로 만화 효과를 의미했습니다. 도쿄에서 새벽이 다가옴에 따라 구글 트위터는 컬트 애니메이션 시리즈와 소녀 아이돌 슈퍼 그룹에서 오랫동안 기다려온 새로운 싱글 인 일본 트위터에서 1 위를 차지했습니다. 모두들 궁금해했다. 구글 번역은 어떻게 그렇게 대단히 교묘하게 변 했는가?
4 일 후 전 세계의 수백 명의 언론인, 기업가 및 광고주가 Google의 런던 엔지니어링 사무소에 모여 특별한 발표를했습니다. 손님은 번역 브랜드 포춘 쿠키로 인사했습니다. 그들의 논문에는 한쪽에 외국어가 있었는데 – 광산은 노르웨이어에 있었고 다른 쪽은 번역 앱을 다운로드하라는 초대장이었습니다. 테이블에는 도넛과 스무디 쟁반이 달려 있으며, 각 접시에는 독일어 (zitrone), 포르투갈어 (baunilha) 또는 스페인어 (manzana)의 풍미를 선전 한 플래 카드가 붙어 있습니다. 잠시 후 모든 사람들이 봉제되고 어두운 극장으로 안내 받았습니다.
런던 시장 인 Sadiq Khan은 몇 가지 개회사를했습니다. 친구가 시작한 그는 최근에 그에게 구글에 대해 상기시켰다. “왜 내가 모든 대답을 알고 있느냐?”시장은 물었다. “아니,”친구가 대답했다. “너는 항상 내 문장을 끝내려고하기 때문이다.”군중들은 정중하게 책을 썼다. Khan은 Google의 CEO 인 Sundar Pichai를 소개함으로써 결론을 맺었습니다.
피 차이 (Pichai)는 부분적으로는 킹스 크로스 (King ‘s Cross)에 건설중인 새로운 “지식 영역 (knowledge quarter)”의 초석 인 Google의 새 건물을 개설하기 위해 런던에 있었으며 작년에 발표 한 회사 변화의 초기 단계 완성을 공개했습니다. Pichai가 여러 차례 발표 한 미래의 Google은 “AI 우선”이 될 것입니다. 이론에서 의미하는 것은 복잡하고 많은 추측을 환영했습니다. 행운을 가지고 실제로 의미하는 바는, 회사의 제품이 더 이상 전통적인 컴퓨터 프로그래밍의 열매, 정확하게는 “기계 학습”을 대표하지 않을 것이라는 것이 었습니다.
회사 내부의 희귀 한 부서 인 Google Brain은 5 년 전이 원칙에 따라 설립되었습니다. 유아가하는 것처럼 시행 착오를 통해 세계와 친숙한 인공적인 “신경 네트워크”는 인간의 유연성과 같은 것을 개발할 수 있습니다. 이 개념은 새로운 것이 아닙니다. 1940 년대 현대 컴퓨터 시대의 초기 단계에 이르렀습니다. 그러나 대부분의 컴퓨터 과학자들은이 기술을 모호하고 평판이 좋지 않은 것으로 보았습니다. 하지만 2011 년 이래로 Google Brain은 인공 지능에 대한 이러한 접근 방식으로 수십 년의 전통적인 노력을 혼란스럽게 만든 많은 문제를 해결할 수 있음을 입증했습니다. 브레인이 그것을 개조하려는 노력을 할 때까지는 음성 인식이 잘 작동하지 않았습니다. 기계 학습의 응용은 인간의 필사본만큼이나 좋은 Google 모바일 플랫폼 인 Android에서 성능을 발휘했습니다. 이미지 인식에 대해서도 마찬가지였습니다. 1 년 전만해도 처음으로 브레인은 전체 소비자 제품의 용기 개조로 시작되었으며 그 결과는 오늘 밤 축하되었습니다.
2006 년에 데뷔 한 Google 번역은 Google의 가장 신뢰할 수 있고 인기있는 자산 중 하나가되었습니다. 다른 언어로 하루에 1 천 4 십억 단어가 필요한 5 억 명 이상의 월간 사용자에게 서비스를 제공합니다. 자체 독립형 앱으로 존재할뿐만 아니라 Gmail, Chrome 및 기타 Google 제품에 통합 된 기능으로 존재합니다. Google은이를 디지털 방식으로 상상할 수없는 마찰없는 자연스럽고 푸시 버튼으로 간주합니다. Pichai는 난민 위기에 처해있을 때만이 번역사의 지정 학적 중요성에 대해 생각하게되었다고합니다. 그 뒤에있는 화면에는 아랍어와 독일어 간의 번역이 최근 5 배나 증가한 그래프가 나타났습니다. (그것은 Pichai의 마음에 가깝고, 인도에서 자랐으며 수십 개의 언어로 나뉘어졌습니다.) 팀은 꾸준히 새로운 언어와 기능을 추가했지만 지난 4 년 동안의 품질 향상은 상당히 느려졌습니다.
오늘까지. 이전 주말 현재, 번역은 미국뿐만 아니라 유럽과 아시아에서도 트래픽의 상당 부분을 AI 기반 시스템으로 변환되었습니다. 롤아웃에는 영어와 스페인어, 프랑스어, 포르투갈어, 독일어 , 중국어, 일본어, 한국어 및 터키어. 번역의 백 개 언어의 나머지는 내년 말까지 매월 8 개를 목표로 등장했습니다. Google의 자체 기술자가 놀랍도록 놀랐던 새로운 화신은 불과 9 개월 만에 완성되었습니다. 인공 지능 시스템은 오래 전부터 발생했던 전체 이익과 거의 동일한 야간 개량을 보여주었습니다.
Pichai는 애매한 문학적 레퍼런스에 대한 애정을 가지고있다. 그는 캘리포니아의 마운틴 뷰에있는 그의 사무실에서 한 달 전에, 누군가가 물리학 자 Robert Oppenheimer와 같을 수는 없기 때문에 번역이 존재한다고 말했습니다. Robert Oppenheimer는 Bhagavad Gita를 원래 읽기 위해 Sanskrit를 배웠습니다. 런던에서, 그 뒤에있는 모니터의 슬라이드는 보그스 (Borges)의 인용문에 “이따금 씩 울지 않는다.”라고 소리 치며 말했다.
웃어 넘기는 피 차이 (Pichai)는 오래된 번역 시스템에 의해 표현 된 문장의 어색한 영어 버전을 큰 소리로 읽었습니다. “하나는 글을 쓰는 것이 아니라 읽은 것을 읽는 것입니다.”
그 오른쪽에는 새로운 인공 지능 렌더링 버전이있었습니다. “당신은 당신이 쓰는 것이 아니고, 당신이 읽은 것입니다.”
그것은 적절한 언급이었습니다. 새로운 Google 번역은 어떤 의미에서 모든 것을 읽는 것을 배웠던 첫 번째 기계에서 실행되었습니다.
AI를 중심으로 조직을 재편하기로 한 Google의 결정은 업계 전반에 걸친 기계 학습 착오를 일으킨 최초의 주요한 징후였습니다. 지난 4 년 동안 구글, 페이 스북, 애플, 아마존, 마이크로 소프트, 중국 회사 인 바이두 등 6 개 회사가 AI 인재를위한, 특히 대학 내에서의 인종 경쟁을 촉발 시켰습니다. 자원과 자유에 대한 기업의 약속은 최고 학술 부서를 간소화했습니다. 실리콘 밸리에서 페이스 북 (Facebook)의 마크 주커 버그 (Mark Zuckerberg)가 개인적으로 감독하고 전화 통화 및 비디오 채팅을 통해 널리 알리고 있으며, 회사는 가장 바람직한 대학원생으로 선발된다. 7 개의 숫자의 시작 급여는 전례가 아닙니다. 현장에서 가장 중요한 학술회의 참석자는 거의 4 배가되었습니다. 위태로운 것은 단지 단편적인 혁신이 아니라 완전히 새로운 컴퓨팅 플랫폼 인 퍼베이시브 (pervasive), 주변 인공 지능 (ambient artificial intelligence)을 잘 제어 할 수 있습니다.
“인공 지능 (artificial intelligence)”이란 말은 그 의미가 자명 한 것처럼 불려지지만, 항상 혼란과 논쟁의 원천이었습니다. 1970 년대로 돌아가 거리에서 누군가를 중지시키고 스마트 폰을 꺼내어 Google지도를 보여 주었다고 상상해보십시오. 일단 당신이 그녀를 납득 시키면 당신은 이상하게 옷을 입은 마법사가 아니었고 주머니에서 철수 한 것은 검은 예술 부적이 아니라 단지 아폴로 선교를 인도 한 것보다 더 강력한 작은 컴퓨터였습니다. Google지도는 거의 확실히 그녀에게 “인공 지능”에 대한 설득력있는 모범이 될 것입니다. 진정한 의미에서 그렇습니다. 지도를 읽고 쓰는 사람이 관리 할 수있는 모든 일을 호텔에서 공항으로 가져 오는 것과 같은 일을 할 수 있습니다.하지만 훨씬 빠르고 안정적으로 할 수 있습니다. 또한 인간이 간단하고 명백하게 할 수없는 일을 할 수 있습니다. 트래픽을 평가하고, 최적의 경로를 계획하고, 잘못된 출구를 탈 때 방향을 바꿀 수 있습니다.
그러나 실제로 오늘날 아무도 구글 맵스에 경의를 표하는 “인공 지능”을 부여하지 않을 것입니다. 그래서 우리는 감성적이며 절약 된 것이 우리가 “지능”이라는 단어를 사용한다는 것입니다. 인공 지능은 HAL을 그것이 무엇이든간에 구별하는 것이어야합니다. 베틀이나 수레가 할 수 있습니다. 우리가 작업을 자동화 할 수있는 순간, 관련 기술을 단순한 메커니즘 중 하나로 다운 그레이드합니다. 오늘날 Google지도는 로봇이라는 용어를 경멸 적으로 보입니다. 로봇은 명시된 요구 (한 곳에서 다른 곳으로 갈 필요가 있음)를 받아들이고 가능한 한 효율적으로 그 요구를 충족 시키려고합니다. 따라서 “인공 지능”에 대한 목표 게시물은 끊임없이 후퇴합니다.
신중한 구분을 할 기회가있을 때, Pichai는 인공 지능의 현재 적용과 “인공 지능”의 궁극적 인 목표 사이를 구별합니다. 인공 지능은 명시 적 지시에 대한 충실한 준수를 포함하지 않지만 암묵적 , 해석 적. 그것은 일반적인 목적으로 일반 상황에서 설계된 일반적인 도구가 될 것입니다. Pichai는 그의 회사의 미래가 이와 같은 것에 달려 있다고 믿습니다. 구글 맵스에 “공항에 가고 싶지만 조카를 위해 선물을 사는 길에 들러야한다”고 말할 수 있다고 상상해 보라. 좀 더 일반적으로 지능형 버전의 서비스 인 유비쿼터스 조수, 스칼렛 요한슨이 3 년 전에 스파이크 존즈 (Spike Jonze)의 영화 “그녀”에서 기억에 남는 모습을 보인 – 친한 친구 또는 열렬한 인턴이 알 수있는 모든 종류의 것들, 즉 조카의 나이와 평소 얼마나 좋아하는지 아이들을위한 선물에 쓰고, 오픈 스토어를 어디에서 찾을 수 있는지 알려줍니다. 그러나 진정으로 지능적인지도는 조카 학교의 미취학 아동들 사이에서 유행에 불과했던 것 – 또는 더 중요한 – 사용자가 실제로 원하는 것 -과 같은 가까운 친구가 모르는 모든 종류의 것을 알 수 있습니다. 지능형 기계가 우리가 과거에 해 온 일에 대한 데이터의 복잡한 규칙 성을 식별 할 수 있었다면, 우리가 완전히 자신을 알지 못한다 할지라도 우리의 후속 욕구에 대해 추론 할 수있을 것입니다.
인공 지능 강화 조수의 새로운 물결 – Apple의 Siri, Facebook의 M, Amazon의 Echo -는 모두 비슷한 의도로 만들어진 기계 학습의 창조물입니다. 그러나 기계 학습을위한 기업의 꿈은 소비자 투시의 목표에 의해 고갈되지 않습니다. 삼성의 의료 이미징 자회사는 올해 새로운 초음파 장치가 유방암을 발견 할 수 있다고 발표했다. 경영 컨설턴트들은 스스로를 프로그램하는 컴퓨터의 산업 응용 분야를 확대하기 위해 경영진을 배제하기 위해 혼자만의 노력을 기울이고 있습니다. 2014 년에 구글을 인수 한 딥 마인드 (DeepMind)는 고대 보드 게임 인 고 (Go)의 일류 지배인을 격파했다.
유명한 1950 년 에세이에서 앨런 튜링 (Alan Turing)은 5 분간의 텍스트 교환 과정을 통해 실제 인간 대담자를 속일 수있는 컴퓨터 인 인공 지능에 대한 테스트를 제안했습니다. 한 기계가 두 가지 자연어간에 유창하게 번역 할 수있게되면 언젠가 그럴듯한 대화를하기에 충분할 정도로 인간 언어를 “이해할”수있는 기초가 마련되었습니다. 번역 프로젝트를 감독하고 돕는 구글 브레인 (The Brain ‘s)의 회원들은 그러한 기계가 일반적으로 지능적이고 포괄적 인 개인용 정보 단말기로 사용될 수 있다고 믿고있다.
다음은 Google 연구원과 엔지니어 팀이 처음에는 1 ~ 2 번, 3 ~ 4 번, 마지막으로 100 번 이상 진행될 때의 이야기입니다. 그것은 우리가 익숙해 진 많은 실리콘 밸리의 고정 관념을 무시하기 때문에 모든면에서 다재다능한 이야기입니다. 그의 차고에 불안정한 땜장이 때문에 내일이나 그 다음날에 모든 것이 금방 달라질 것이라고 생각하는 사람들은 없습니다. 그것은 기술이 우리의 모든 문제를 해결할 것이라고 생각하는 사람들에 관한 이야기도 아니고, 기술이 묵시적인 새로운 것들을 만들어내는 데 불가능한 것으로 생각하는 사람들에 관한 이야기도 아닙니다. 적어도 단어가 쓰이는 경향이있는 것은 아닙니다.
실제로 Google 번역의 AI에 대한 성공적인 변신 – 기술적 인 이야기, 제도적인 이야기 및 아이디어의 진화에 대한 이야기 -에 수렴되는 세 개의 겹치는 이야기입니다. 이 기술 이야기는 한 회사의 한 제품에 대한 한 팀에 관한 것이 었습니다. 그리고 그 제품을 포함하는 사람이 합당하게 가질 수있는 시간의 약 4 분의 1 만에 새로운 제품을 세련되고 테스트하고 도입 한 프로세스입니다. 예상했다. 이 기관의 이야기는 그 회사 내의 작지만 영향력있는 인공 지능 그룹의 직원과 컴퓨팅에 대한 오래되지 않았고 널리 퍼진 개념에 대한 직관적 인 믿음이 큰 반경 내 다른 모든 회사를 뒤덮었던 과정에 관한 것입니다. 아이디어의 이야기는 오랫동안 애매 모호한인지 과학자, 심리학자 및 변덕스런 기술자, 표면 상으로는 비합리적인 신념으로 궁극적으로는 기술뿐만 아니라 이론적으로는 의식 그 자체에 대한 우리의 이해의 패러다임 변화에 영향을 미쳤습니다. .
첫 번째 이야기 인 Google 번역의 이야기는 Mountain View에서 9 개월 동안 진행되며 기계 번역의 변형을 설명합니다. 두 번째 이야기는 Google Brain과 그 많은 경쟁사의 이야기이며 5 년 동안 실리콘 밸리에서 열렸으며 전체 커뮤니티의 변화를 설명합니다. 세 번째 이야기, 깊은 학습의 이야기는 스코틀랜드, 스위스, 일본, 그리고 대부분의 캐나다 전역의 다양한 멀리 떨어진 실험실에서 70 년이 넘는 시간 동안 진행되며, 우리 자체 연구의 개정에 크게 기여할 것입니다. 생각하는 맨 먼저의 존재로서의 이미지.
세 가지 모두 인공 지능에 관한 이야기입니다. 70 년대 이야기는 우리가 생각하거나 예상 할 수있는 것에 관한 것입니다. 5 년짜리 이야기는 가까운 장래에 어떻게 될지에 관한 이야기입니다. 9 개월짜리 이야기는 지금 당장 할 수있는 일에 관한 이야기입니다. 이 세 가지 이야기는 그저 개념의 증거 일뿐입니다. 이 모든 것은 시작일뿐입니다.
1 부 : 학습 기계
1. 뇌의 탄생
제프 딘 (Jeff Dean)은 자신의 직함이 선임 연구원이긴하지만 사실상 Google Brain의 머리입니다. 딘 (Dean)은 길고 좁은 얼굴, 깊은 눈, 진지하고 비누 상자 같은 열정을 지닌 힘 있고 에너지 효율적인 남성입니다. 의료 인류 학자이자 공중 보건 역학의 아들 인 딘 (Dean)은 미네소타, 하와이, 보스턴, 알칸사스, 제네바, 우간다, 소말리아, 애틀랜타 등 전 세계에서 자랐으며 고등학교와 대학에서는 세계 보건기구. 그는 1999 년부터 25,000 명의 직원으로 Google에 근무했으며 그 이후 거의 모든 중요한 사업 아래 핵심 소프트웨어 시스템에 손을 대었습니다. “Jeff Dean의 PIN은 pi의 마지막 4 자리입니다.”Alexander Graham Bell이 전화를 발명했을 때 그는 전화를받지 못했습니다. Jeff Dean “”제프 딘 (Jeff Dean)은 최대 레벨이 10 인 시스템에서 레벨 11로 승격되었습니다. “(이 마지막 것은 사실입니다.)
2011 년 1 월, 딘 (Dean)은 Google 캠퍼스의 “microkitchens”중 하나 인 Mountain View 복합 건물의 대부분 층에있는 공유 휴게 공간에 대한 “Googley”단어를 사용하여 젊은 스탠포드 컴퓨터 과학 인 Andrew Ng를 만났습니다. 컨설턴트로 회사에서 일하는 교수. Ng는 프로젝트 마빈 (Marvin Minsky)의 이름을 따서 명명 한 내부 노력 인 “마빈 (Marvin)”프로젝트에 대해 “최근 신경 네트워크 (neural networks)”를 실험하는데 도움을주었습니다. Dean은 1990 년 미네소타 대학 (University of Minnesota)에서 학부생으로서 원시적 인 기술 버전을 연구하기 시작했습니다. 이제 지난 5 년 동안 신경 네트워크를 연구하는 학자의 수는 소수에서 수십에 이르기까지 다시 증가하기 시작했습니다. Ng는 Google의 비밀 X 실험실에서 인수 한 프로젝트 마빈 (Marvin)이 이미 유망한 결과를 얻었습니다.
Dean은 Google 직원이 핵심 업무 외의 프로그램에 기여할 것으로 예상되는 근무 시간의 일부인 20 %를 프로젝트에 빌려주기도했습니다. 얼마 지나지 않아 그는 Ng에게 신경 과학 배경을 가진 Greg Corrado와 함께 다른 동료를 데려 오라고 제안했습니다. (대학원에서 Corrado는이 기술에 대해 간략하게 가르쳤지 만 엄격한 역사적 호기심으로 가르쳐졌습니다. “그날 수업에서주의를 기울이는 것이 좋았습니다.”라고 나는 농담을했습니다.) 늦은 봄, 그들은 Ng의 최고 중 하나를 가져 왔습니다. 대학원생, Quoc Le, 프로젝트의 첫 번째 인턴. 그때까지 Google 엔지니어 중 상당수는 Project Marvin을 Google Brain이라는 다른 이름으로 언급했습니다.
“인공 지능 (artificial intelligence)”이라는 용어가 처음 만들어 지자, 1956 년 여름 다트머스 (Dartmouth)에서 일종의 헌법 컨벤션을 통해 많은 연구자들이 오랫동안 인공 지능을 창조하는 가장 좋은 방법은 매우 크고 포괄적 인 논리적 추론의 규칙과 세계에 대한 충분한 지식을 제시 한 프로그램. 예를 들어 영어에서 일본어로 번역하고 싶다면 컴퓨터에 영어의 모든 문법 규칙을 입력 한 다음 옥스포드 영어 사전에 포함 된 전체 정의를 입력 한 다음 일본어, 뿐만 아니라 일본어 사전에있는 모든 단어를 포함하고 모든 단어가 원본 언어로 문장을 제공하고 대상 언어로 해당 문장을 표로 만들어달라고 요청합니다. Borges가 그랬던 것처럼 지역의 크기 인 언어 맵을 기계에 제공하게됩니다. 이 관점은 일반적으로 “상징적 인공 지능”이라고 부릅니다. 왜냐하면 그 인식의 정의는 상징적 논리에 기반을두고 있기 때문에 – 또는 비열하게도 “훌륭한 구식 인공 지능”
구식 방식에는 두 가지 주요 문제점이 있습니다. 첫 번째는 사람이 끝내는 데 시간이 오래 걸린다는 것입니다. 두 번째는 규칙과 정의가 매우 명확한 도메인에서만 작동한다는 것입니다 (예 : 수학 또는 체스). 그러나 번역은 단어가 사전 정의로 축소 될 수 없기 때문에이 접근법이 무시 무시하게 실패하는 분야의 예이며, 언어는 규칙을 지닌 것만큼 많은 예외가있는 경향이 있기 때문에 번역이 예를 들어 있습니다. 종종 이런 식의 시스템은 “농업 장관”을 “농업의 제사장”으로 번역해야 할 의무가 있습니다. 수학과 체스는 위대한 일을했으며 상징적 AI의 지지자들은 ” 일반 정보 “를 수학 및 체스보다 뛰어나다.
그러나이 시스템이 할 수있는 것에는 한계가있었습니다. 1980 년대 카네기 멜론 (Carnegie Mellon)의 로봇 연구원은 컴퓨터를 성인용으로 사용하는 것이 쉽지만 1 살짜리 어린이가 공을 잡거나 고양이를 식별하는 것과 같은 일을하도록하는 것은 거의 불가능하다고 지적했습니다. 1990 년대에 컴퓨터 체스의 진보를 처벌 했음에도 불구하고 우리는 여전히 인공 지능에 멀지 않았습니다.
컴퓨터가 위에서 아래로 (규칙에 따라)보다는 위에서 (데이터에서) 배울 것이라고 반대 의견 인 AI에 대한 또 다른 비전이 항상있었습니다. 이 개념은 유연한 자동화 된 정보를위한 최상의 모델이 뇌 자체라는 연구자에게 일어난 1940 년대 초반에 시작됩니다. 어쨌든 뇌는 뉴런 (neurons)이라 불리는 위젯들로, 이웃들에게 전기 요금을 부과하거나받지 못한다. 중요한 것은 그것들 사이의 다양한 연결보다 개별 뉴런 자체가 덜 중요하다는 것입니다. 이 구조는 단순함으로 인해 뇌에 적응력이 풍부한 장점을 제공합니다. 두뇌는 정보가 부족하거나 빠진 환경에서 작동 할 수 있습니다. 통제력을 완전히 상실하지 않으면 심각한 피해를 견딜 수 있습니다. 엄청난 양의 지식을 매우 효율적으로 저장할 수 있습니다. 그것은 명확한 패턴을 분리 할 수 있지만 모호성을 처리하는 데 필요한 난장음을 유지합니다.
이 구조를 전자 형식으로 모방하려고 할 이유가 없었으며, 1943 년에 단순한 인공 뉴런의 배열이 기본적인 논리적 기능을 수행 할 수 있음이 나타났습니다. 그들은 또한 적어도 이론 상으로는 우리가하는 방식을 배울 수 있습니다. 인생 경험에 따라 특정 사람의 시련과 실수에 따라 뉴런 쌍 사이의 시냅스 연결이 강해지거나 약해진다. 인공 신경 네트워크는 유도 된 시행 착오를 바탕으로 인공 신경 세포 간의 수치 관계를 점차적으로 변경함으로써 비슷한 것을 할 수 있습니다. 고정 된 규칙으로 미리 프로그램 할 필요는 없습니다. 대신에 흡수 된 데이터의 패턴을 반영하기 위해 스스로를 다시 연결합니다.
인공 지능에 대한 이러한 태도는 창조론 자라기보다는 진화론적인 것이었다. 유연한 메커니즘을 원한다면 환경에 적응할 수있는 메커니즘을 원했습니다. 당신이 적응할 수있는 무언가를 원한다면, 당신은 체스 규칙의 가르침으로 시작하고 싶지 않았습니다. 고급 기술이 유기적으로 등장 할 수 있기를 바라면서 아주 기본적인 능력 (감각 지각과 운동 조절)으로 시작하고 싶었습니다. 인간은 사전이나 문법 책을 암기함으로써 언어를 이해하는 것을 배우지 않으므로 컴퓨터가 그렇게 할 것으로 기대해야하는 이유는 무엇입니까?
Google Brain은 AI Dean에 대한 사고 방식으로 구체화 된 가능성에 투자 한 최초의 주요 상업 기관이었으며 Corrado와 Ng는 파트 타임 협업 실험으로 작업을 시작했지만 즉각적인 진전을 보았습니다. 그들은 최근의 이론적 개요와 1980 년대와 1990 년대 이후 선반에 있었던 아이디어를 바탕으로 자신의 모델에 대한 건축 영감을 얻었으며 회사의 독보적 인 데이터 보유량과 거대한 컴퓨팅 인프라를 모두 활용했습니다. 그들은 엄청난 양의 은행에 “분류 된”데이터 (말하자면 예를 들어 정확한 필사본)를 지시했으며 컴퓨터는 현실에 더 잘 부응하기 위해 응답을 향상 시켰습니다.
“동물이 눈을 개발 한 진화의 일부는 커다란 발전이었습니다.”Dean은 언젠가는 관례 적으로 삼가면서 말했습니다. 우리는 화이트 보드 회의실에 평상시처럼 앉아있었습니다. 그 회의실에서 Google Brain의 붐비는 뱀의 타임 라인과 신경 네트워크의 최근 역사에서 변곡점과의 관계를 그렸습니다. “이제 컴퓨터에는 눈이 있습니다. 사진을 이해하기 위해 현재 존재하는 기능을 중심으로 구축 할 수 있습니다. 로봇은 대폭 변형 될 것입니다. 그들은 많은 다른 문제들에 대해 알 수없는 환경에서 작업 할 수있을 것입니다. “그들이 구축하고있는 이러한 능력은 원시적 인 것으로 보일지 모르지만 그 의미는 중대합니다.
2. 가능성이없는 인턴
Dean이 말했듯이 1 년 된 재능을 갖춘 기계를 개발 한 첫 해에 Brain은 실험을 통해 큰 효과를 얻었습니다. 음성 인식 팀은 기존 시스템의 일부를 신경 네트워크로 바꾸어서 거의 20 년 만에 최고 수준의 품질 향상을 얻었습니다. 그들의 시스템의 물체 인식 능력은 어느 정도 향상되었습니다. 이것은 Brain의 인력이 불과 1 년 만에 새로운 아이디어의 장을 창출했기 때문이 아닙니다. Google이 마침내 컴퓨터와 점점 더 많은 인력을 투입하여 오랜 시간 동안 주변에 있었던 윤곽을 채우기 위해 노력했기 때문입니다.
현존하고 무시 된 관념에 대한 큰 우세가 Geoffrey Hinton이라는 peripatetic 영어 polymath에 의해 제안되거나 세련되었다. Brain이 존재하는 2 년차에 Hinton은 Andrew Ng가 떠남에 따라 Brain에 모집되었습니다. (Ng는 현재 Baidu에서 1,300 명의 AI 팀을 이끌고 있습니다.) Hinton은 토론토 대학에서 불과 3 개월 동안 자신의 직책을 맡기를 원했기 때문에 계약상의 이유 때문에 인턴으로 고용되어야했습니다. 인턴 교육을 받으면 오리엔테이션 리더는 “사용자의 LDAP에 입력하십시오. 사용자 로그인”과 같은 말을하고 도우미에게 “LDAP 란 무엇입니까?”라고 묻습니다. 출석 한 25 세의 똑똑한 사람 인공 지능의 사인이 아닌 단지 깊은 학습을 알고 있었다. “누가 그 노인이야? 왜 그걸 얻지 못하니? “
Hinton은 “점심 시간에 대기열에있는 누군가가 소리 쳤다.”Hinton 교수! 나는 네 코스를 들었어! 여기서 뭐하고 있니? ‘ 그 후, 괜찮 았어. “
몇 달 후, Hinton과 그의 두 명의 학생들은 컴퓨터에 원숭이를 식별 할뿐만 아니라 거미 원숭이를 구별하도록 요청하는 ImageNet이라는 오픈 소스 집단이 운영하는 커다란 이미지 인식 경연 대회에서 놀라운 놀라운 성과를 보여주었습니다. 하울 러 원숭이, 신의 사이에서 고양이의 얼마나 많은 다른 유형이 있는지 알고있다. Google은 Hinton과 그의 학생들에게 곧 제안을했습니다. 그들은 받아 들였다. “우리 지적 재산권에 관심이 있다고 생각했습니다.” “그들은 우리에게 관심을 보였다.”
힌튼은 지적인 경관을 가로 지르는 편심한 각도의 다윈 (Darwins)처럼 장식 된 오래된 영국인 가족 중 한 명인 것으로서, 천문학이나 유체 역학에서 사소한 문제에 부적절한 공헌을 할 것으로 예상되는 선입관에 관계없이. 그의 위대한 증조부였던 조지 부울 (George Boole)은 상징적 논리의 기초 작업으로 컴퓨터를 뒷받침했습니다. 또 다른 위대한 증조부는 유명한 외과 의사 였고 그의 아버지는 벤츄라의 곤충 학자였으며 그의 아버지의 사촌은 로스 알 라모스의 연구원이었다. 그 목록은 계속된다. 그는 케임브리지와 에딘버러에서 훈련을 마친 후 토론토에 도착하기 전에 카네기 멜론 (Carnegie Mellon)에서 가르쳤다. 그는 여전히 그의 시간의 절반을 보낸다. (그의 작품은 오랫동안 캐나다 정부의 후원으로지지를 받았다.) 나는 구글의 그의 사무실에서 그를 방문했다. 그는 성숙한 Noel Gallagher 스타일로 빗나간 노랑 – 땜 납발 머리카락을 집어 넣었고, 쭉쭉 뻗은 끈 팬티 드레스 셔츠와 눈에 띄는 코 끝까지 미끄러 져 내려간 타원형 안경을 쓰고있었습니다. 그는 뻔뻔스런 재치가있는 경우 운전으로 말하고, “컴퓨터는 미국인들이하기 전에 풍자를 이해할 것”이라고 말한다.
Hinton은 1960 년대 후반 케임 브리지에서 학부생으로 근무한 이후로 신경 네트워크 작업을 해왔으며 그는 현대 분야의 지적 초 기자로 간주됩니다.그 당시 대부분의 시간 동안 그는 기계 학습에 관해 이야기 할 때마다 프톨레마이오스 구체에 대해 이야기하거나 거머리에 의해 유혈 사태에 대해 이야기하는 것처럼 그를 바라 보았습니다. 신경 회로망은 1950 년대 후반 코넬 심리학자 인 프랭크 로젠 블랏 (Frank Rosenblatt)이 개발 한 인공 신경 네트워크 인 퍼셉트론 (Perceptron)과 같은 과장된 프로젝트를 토대로 대단히 어리 석다. New York Times는 기계의 스폰서 인 미국 해군이 “걸을 수 있고, 말하고,보고, 쓰고, 재현하고, 존재를 의식 할 수있을 것”이라고 예상했다. . 미국의 인공 지능 학과장 인 마빈 민스키 (Marvin Minsky)는 1954 년 프린스턴 논문을 위해 신경망을 연구했지만 이후 브론스 사이언스 (Bronx Science)의 현대인 로젠 블랫 (Rosenblatt)이 신경 패러다임을 만들었다는 주장에 질려 버렸다. 그는 MIT의 동료와 함께 Perceptron이 해결할 수없는 고통스러운 간단한 문제가 있음을 입증 한 책을 출판했습니다.
Minsky의 Perceptron에 대한 비평은 기계에 공급되는 것과 그로부터 기대되는 것 사이의 인공 뉴런의 한 계층 인 “계층”의 네트워크에만 확장되었으며, 나중에 인생에서 그는 현대의 깊은 학습과 매우 유사한 아이디어를 설명했습니다. 그러나 힌튼은 이미 여러 층에 의지가 있다면 복잡한 작업을 수행 할 수있는 시간에 알고 있었다. 신경 네트워크의 간단한 설명은 데이터의 패턴을 발견 할 수있는 능력에 따라 분류 또는 예측을 만드는 기계라는 것이다. 하나 개의 레이어로, 당신은 단순한 패턴을 찾을 수; 더 이상, 당신은 패턴의 패턴을 볼 수 있었다. 불리는 진기한에 의존하는 경향이 영상 인식의 경우 가져 가라 “길쌈 신경 그물을.”(이 누구의 주 저자 정액 1,998 종이에 정교하고, 프랑스 인은 얀 레컨 힌튼에서 토론토에서 자신의 박사 후 연구를하고 지금 페이스 북에서 거대한 AI 노력을 지시합니다.) 네트워크의 첫 번째 층은 “에지의 아주 기본적인 시각적 비유를 식별하기 위해 배운다”그 반대의 경우도 마찬가지 무언가 뒤에 아무것도 (오프 – 픽셀) (온 – 픽셀) 이상을 의미하지 않습니다. 네트워크의 각 연속적인 층이 이전 계층의 패턴을 찾습니다. 가장자리의 패턴은 원형 또는 사각형 수 있습니다. 원 또는 사각형의 패턴은 얼굴을 수 있습니다. 등등. 그것은 다시 최대 시각 피질을 통해 망막의 광 수용체에서 이동할 때이 다소 평행선 방식 정보는 점점 더 추상적 인 방법으로 조립된다. 각 개념 단계, 즉시 관련이 없습니다 세부에서 떨어져 발생합니다. 여러 가장자리와 동그라미가 얼굴을 만들기 위해 함께 온다면, 당신은 얼굴이 시야에서 발견되는 정확한 위치를 걱정하지 않는다; 당신은 얼굴이 있다는 걱정.가장자리의 패턴은 원형 또는 사각형 수 있습니다. 원 또는 사각형의 패턴은 얼굴을 수 있습니다. 등등. 그것은 다시 최대 시각 피질을 통해 망막의 광 수용체에서 이동할 때이 다소 평행선 방식 정보는 점점 더 추상적 인 방법으로 조립된다. 각 개념 단계, 즉시 관련이 없습니다 세부에서 떨어져 발생합니다. 여러 가장자리와 동그라미가 얼굴을 만들기 위해 함께 온다면, 당신은 얼굴이 시야에서 발견되는 정확한 위치를 걱정하지 않는다; 당신은 얼굴이 있다는 걱정.가장자리의 패턴은 원형 또는 사각형 수 있습니다. 원 또는 사각형의 패턴은 얼굴을 수 있습니다. 등등. 그것은 다시 최대 시각 피질을 통해 망막의 광 수용체에서 이동할 때이 다소 평행선 방식 정보는 점점 더 추상적 인 방법으로 조립된다. 각 개념 단계, 즉시 관련이 없습니다 세부에서 떨어져 발생합니다. 여러 가장자리와 동그라미가 얼굴을 만들기 위해 함께 온다면, 당신은 얼굴이 시야에서 발견되는 정확한 위치를 걱정하지 않는다; 당신은 얼굴이 있다는 걱정.즉시 관련 t이 떨어져 발생합니다. 여러 가장자리와 동그라미가 얼굴을 만들기 위해 함께 온다면, 당신은 얼굴이 시야에서 발견되는 정확한 위치를 걱정하지 않는다; 당신은 얼굴이 있다는 걱정.즉시 관련 t이 떨어져 발생합니다. 여러 가장자리와 동그라미가 얼굴을 만들기 위해 함께 온다면, 당신은 얼굴이 시야에서 발견되는 정확한 위치를 걱정하지 않는다; 당신은 얼굴이 있다는 걱정.
다층, “깊은”신경 네트워크와의 문제는 시행 착오 부분은 매우 복잡 얻었다이었다. 단일 층으로, 그것은 간단합니다. 당신이 함께 연주하는 것을 상상해보십시오. 당신은 아이에게 “녹색 공을 들고 상자 A.에 넣어”아이는 녹색 공을 집어 들고 당신은 “상자 A에 녹색 공을 넣어 다시 시도”라고 말할 상자 B.로를 박았 아이는 상자 A. 브라보를 시도합니다.
이제, 아이에게 “녹색 공을 들고, 문을 통해 이동 3을 표시하고 박스 A.으로 녹색 공을 넣어”아이가 빨간 공을 취 상상이 표시된 문을 통해 이동하고 상자에 빨간 공을 넣습니다 B. 당신은 어떻게 아이를 해결하기 시작합니까? 아이가 자신이 잘못되는 시점에서 알 수 없기 때문에 당신은 당신의 초기 지시 사항을 반복 할 수 없습니다. 실제 생활에서, 당신은 빨간 공 및 녹색 공을 잡고, 말에 의해 시작될 수 있습니다 “빨간 공, 녹색 공을.”기계 학습의 요점을하지만, 명시 적 멘토링의 종류를 방지하는 것입니다. 힌튼과 몇 가지 다른 해결책을 발명했다 (또는 오히려, 하나 이전 재발견) 1970 년대 후반과 1980 년대의 정지 과정을 통해,이 계층 오류의 문제를 신경 네트워크의 컴퓨터 과학자들 관심이 간략하게 부활했다. “사람들은 그것에 대해 매우 흥분”고 말했다. “그러나 우리는. 그것을 과매도”컴퓨터 과학자들은 빠르게 힌튼 같은 사람들이 괴물과 신비 주의자라고 생각하고 다시 갔다.
이 아이디어는 그러나 “connectionism”또는 “병렬 분산 처리.” “이 아이디어라고 불렀다 철학자와 심리학자, 중, 횃불 연소를 유지 몇 사람의, 그것은 좋은 신화”힌튼은 나에게 말했다 “, 인기 유지했다. 그것은 인공 지능 내에서 사실이었다. 그러나하지만 접근 방식을 믿는 사람들의 심리를 많이 내에서 그냥. 그렇게하지 “어느 쪽도 없습니다 수 힌튼, 캐나다 정부의 관용에도 불구하고. “충분한 컴퓨터의 전원 또는 충분한 데이터가되지 않았습니다. 우리 쪽 사람들은 말하고 있었다 ‘그래,하지만 난 정말 큰 일이 있다면, 그것은 작동합니다.’ 그것은 매우 설득력이 아니었다. “
깊은 학습 3. 깊은 설명
피 차이 구글이 이제부터는이 될 것이라고 말했을 때 “AI 첫째,”그는 단지 자신의 회사의 사업 전략에 대한 주장을하지 않은; 그는이 긴 쓸모없는 아이디어를 자신의 회사의 많이 던지고. 자원의 피차의 할당은 딘과 같은 사람들이 설득력있는 주장을 긴 마지막으로, 충분한 컴퓨터와 충분한 데이터에서 힌튼 같은 사람들이 가진 것을 확인 할 수 있음을 보장. 평균 뇌는 1000 억 개 뉴런의 순서에 뭔가가있다. 각각의 신경 세포가 시냅스의 수가 100 조 1000 억 사이 즉, 최대 10,000 다른 뉴런에 접속된다. 1940 년대에 제안 된 종류의 간단한 인공 신경 네트워크의 경우, 시도조차이 상상할 수 있었다 복제하려고합니다. 우리는 ‘그 크기의 네트워크의 건설에서 멀리 아직도하지만 구글 브레인의 투자는 쥐의 뇌에 비해 인공 신경 네트워크의 생성을 허용했다.
규모가 중요한 이유, 이해하기하지만, 정확히, 기계 지능 그들이 소비하는 데이터가 무엇을하고 있는지의 기술적 세부 사항의 일부를 이해하기 시작해야합니다. 그들은 단지 도서관에서 반사회적 신동 같은 지식을 진공 청소기로 청소하고 있는지, 그리고 인공 지능 언젠가는 개미 나 상추와 같은 인간을 치료하는 결정할 수 있습니다 종이 클립을 만들기 위해 건설한다는 생각에 AI의 나머지에 대한 우리 주변의 두려움을 많이합니다. 작동 방식이 바로이 아니다. 그들이하고있는 모든 공통점을 찾아 주변 정보를 셔플입니다 – 처음에 기본 패턴, 그리고 더 복잡한 것들 – 순간을 위해, 적어도 가장 큰 위험은 우리가 공급하고있는 정보가 편파적이다 처음.
그 간단한 설명이 충분히 안심 보이는 경우, 안심 비 기술적 독자는 고양이에 관한 다음 섹션을 앞으로 건너 뛰기 초대한다. 그렇지 않으면, 다음에 읽어 보시기 바랍니다. (이 부분은 고양이에 대해, 다행히도 있습니다.)
당신은 오래된 상징적-AI 모델에 고양이 – 인식기를 프로그램 할 상상해보십시오. 당신의 철저한 명시 적 정의와 기계를 사전로드 일 동안 깨어 “고양이.”당신은 고양이 등 4 개 개의 다리와 뾰족한 귀, 수염과 꼬리 등을 가지고 그것을 말한다. 이 모든 정보는 고양이라는 메모리의 특별한 장소에 저장됩니다. 이제 당신은 사진을 보여줍니다. 먼저, 시스템은 이미지의 다양한 별개의 소자들을 분리한다. 그렇다면 이러한 요소를 받아 메모리에 저장되어있는 규칙을 적용한다. 만약 (다리 = 4), 경우 (귀 = 뾰족한)과 경우 (수염 = 예)과 경우 (꼬리 = 예)과 경우 (표현 = 거만한), (고양이 = 예). 그러나이 고양이 인식기에게 스코틀랜드 배, 배 오버 귀를 축 늘어진에 이르게 소중히 유전 적 결함을 가진 마음 박살 품종을 보였다 무슨 경우? 우리의 상징적 인 AI는 (귀 = 뾰족한)에 도착하고 엄숙하게 머리를 흔들”아니 고양이.”그것은 hyperliteral, 또는이다 “취성.”심지어 두꺼운 아이가 훨씬 더 큰 추론 시력을 보여줍니다.
이제 컴퓨터의 메모리의 한 위치에 저장 분류를위한 일련의 규칙과 기계를 하드 배선 대신에, 당신이 신경 네트워크에 같은 일을 시도 상상. 의 정의에 저장할 수있는 특별한 곳이 없다 “고양이.”경로에서 포크와 같은 상호 연결된 스위치의 단지 거대한 덩어리가있다. 블롭의 한 측면에서, 당신은 입력 (사진)를 제시; 다른 측면에서, 해당 출력 (라벨)을 제시한다. 그럼 그냥 데이터가 입력이 올바른 출력에 매핑되도록해야 어떤 경로 이러한 상호 모든 스위치의 개별 교정을 통해, 자체 해결하도록 지시. 훈련은 정교한 터널 미로 시리즈 블롭, 적절한 출력에 주어진 입력에 연결 터널을 굴착하는 과정이다.당신이 더 많은 훈련 데이터, 큰 파고 할 수있는 터널의 수와 복잡함. 교육이 완료되면, 블롭의 중간 그것이 한 번도 본 적이없는 데이터를 처리하는 방법에 대한 신뢰성있는 예측을 할 수있는 충분한 터널이있다. 이것은 “지도 학습”이라고합니다.
네트워크가 많은 뉴런 등 많은 데이터를 요구하는 이유는 거대한 기계 민주주의의 종류와 같은 방식으로, 기능이다. 당신이 다섯 개 가지 항목 중에서 차별화하기 위해 컴퓨터를 훈련 할 상상해보십시오. 고양이 한 개에 하나, 거미 원숭이 하나, 숟가락 하나와 제세 동기에 대해 하나 : 당신의 네트워크는 신경 세포의 수백만로 구성되어 있습니다 “유권자,”누구의 각 다섯 개 가지 카드를 받고있다. 당신은 위에서 아래로, “이 고양이, 개, 거미 원숭이, 숟가락 또는 제세 동기인가?”모두 같은 방식으로이 그룹에 수집 투표 뉴런 및 네트워크 주임 동료를 당신의 유권자 사진과 질문을 표시하고 대부분의 분류를 식별 : “개를?”
당신은 말한다 : “아니, 마에스트로, 그것은 고양이입니다. 다시 시도하십시오. “
이제 네트워크 감독은 유권자들이 “고양이”뒤에 자신의 체중을 던져하지 않았다 식별로 되돌아 간다. . “고양이”- “고양이”를받은 사람은 바로 자신의 투표를 두 번 다음에 시간을 계산 얻을 그들이 개와 제세동을 따기도 좋은 것 여부를 독립적으로 증명해야 그들이 투표하고 적어도 때,하지만 한 가지 그 각 유닛은, 상이한 희망 결과 다르게 기여할 수있는 신경망 너무 유연한다. 중요한 것은 정확히 개별 투표,하지만 투표의 패턴이다. 조, 프랭크와 메리 모두 함께 투표, 그것은 개가 있다면; 조, 케이트와 제시카가 함께 투표를하는 경우, 그것은 고양이입니다; 케이트, 제시카와 프랭크 함께 투표를한다면, 그것은 제세 동기입니다. 신경 네트워크 그냥 어딘가에는 말을 정기적으로 식별 할 수있는 충분한 신호를 등록 할 필요가있다 “확율이다픽셀이 특정 배열은 이러한 인간이 계속 전화 뭔가 나타내는 ‘고양이를.’ 당신이 그들에게 투표 할 “더 많은”유권자 “당신이, 그리고 더 많은 시간, 더 날카롭게 네트워크도 매우 약한 신호를 등록 할 수 있습니다. 당신은 단지 조, 프랭크와 메리가있는 경우, 당신은 어쩌면 고양이, 개 및 제세 동기들 사이에서 차별화하는 데에만 사용할 수 있습니다. 당신이 다른 방법으로 수십억에 연결할 수있는 다른 유권자의 수백만이있는 경우, 당신은 믿을 수 단위로 데이터를 분류 할 수 배울 수 있습니다. 귀하의 훈련을받은 유권자 어셈블리는 레이블이없는 사진을보고 어느 정도 정확하게 식별 할 수있을 것입니다.당신은 단지 조, 프랭크와 메리가있는 경우, 당신은 어쩌면 고양이, 개 및 제세 동기들 사이에서 차별화하는 데에만 사용할 수 있습니다. 당신이 다른 방법으로 수십억에 연결할 수있는 다른 유권자의 수백만이있는 경우, 당신은 믿을 수 단위로 데이터를 분류 할 수 배울 수 있습니다. 귀하의 훈련을받은 유권자 어셈블리는 레이블이없는 사진을보고 어느 정도 정확하게 식별 할 수있을 것입니다.당신은 단지 조, 프랭크와 메리가있는 경우, 당신은 어쩌면 고양이, 개 및 제세 동기들 사이에서 차별화하는 데에만 사용할 수 있습니다. 당신이 다른 방법으로 수십억에 연결할 수있는 다른 유권자의 수백만이있는 경우, 당신은 믿을 수 단위로 데이터를 분류 할 수 배울 수 있습니다. 귀하의 훈련을받은 유권자 어셈블리는 레이블이없는 사진을보고 어느 정도 정확하게 식별 할 수있을 것입니다.
그 이유의 일부는 컴퓨터 과학 부서의 아이디어에 너무 많은 저항이 출력 패턴의 패턴을 기반으로 단지 예측이기 때문에, 완벽 않을거야, 그리고 기계가 당신을 위해 정의 할 수 없을 것입니다 있었다 무엇을, 정확히, 고양이입니다. 그것은 그들을 볼 때 그것은 단지 그들을 알고있다. 이 선명치 못하다는하지만, 지점입니다. 그들은 다양한 고양이 장면의 수백만에 노출 된 것처럼 신경 “유권자들은”한, 태양과 어수선한 쓰레기 상자의 그림자에서 밖으로 눈부신 화가 난 고양이에 졸고 행복한 고양이를 인식합니다. 네트워크의 일부는 예를 들어, 축 늘어진 귀 스코티시 폴드에, 심지어 매우 약한 규칙 성을 집어 들고 있는지 확인하기 위해 – – 당신은 제비와 유권자가 많이 필요하고 충분한 표시된 데이터는 네트워크가 보았다 확인 현상에서 최대한 분산.
신경 네트워크는 본질적으로 확률 적 사실들이 모든 작업에 적합하지 않은 것을 의미하지만,주의하는 것이 중요하다. 그들이 개 같은 고양이 1 퍼센트에서 표기, 또는 경우에 잘못된 영화에 당신을 보내지 만 자기 차를 운전 같은에서 우리 모두가 더 큰 보장을 원하는 경우는 더 큰 비극 없습니다. 이것은 유일한주의가 아닙니다. 지도 학습 레이블 데이터를 바탕으로 시행 착오의 과정입니다. 기계는 학습을하고있을 수도 있지만, 입력의 초기 분류에 강한 인간의 요소가 남아있다. 데이터가 한 남자의 사진 누군가가 표시했다고 정장에 여자가 있다면 “그녀의 상사와 여자가,”그 관계는 이후의 모든 패턴 인식으로 인코딩된다. 레이블 데이터는 인간의 라벨러는 오류를 범할 수있는 방식 때문에 오류를 범할 수있다.기계가 대출 신용 할 후보를 식별하기 위해 요청 된 경우 중범 죄 유죄 판결과 같은 데이터를 사용할 수 있지만 중죄 유죄 판결이 처음부터 불공정 있다면 – 그들이 기반으로한다면, 말, 차별적 약물 법 – 후 대출 권고도 억지로 것 오류를 범할 수.
우리의 고양이 식별자와 같은 이미지 인식 네트워크는 깊은 학습의 많은 종류의 하나이지만, 각 계층은 인간에게 적어도 막연하게 인식 할 무언가를하기 때문에 그들이 불균형 교육 사례로 호출 – 첫째, 다음 원을 가장자리를 골라, 그 다음에 직면 해있다. 이 오류에 대한 보호가 의미합니다. 예를 들어, Google의 이미지 인식 소프트웨어의 초기 이상한은 항상 팀이 운동 종류를 많이 포함 된 이미지 세트에 훈련을했다하더라도, 고립에서 바벨을 식별 할 수있는 것을 의미했다. 시각화 도구는 학습 집합의 모든 아령이 팔에 부착했기 때문에 기계가 “, 아령 + 팔”없습니다 “아령”하지만의 개념의 개념을 배운을 보여 주었다. 그들은 솔로 아가씨의 약간의 사진을 혼합 훈련에 던졌다. 문제는 해결되었다.모든 것이 쉽습니다.
4. 고양이 종이
첫 해 두의 과정 동안, 뇌의 노력은 1 세의 기술 팀이 X 실험실에서 그리고 폭 넓은 연구 조직으로 졸업했다 충분히 길조했다 기계의 육성한다. (구글 X의 머리는 한 번 뇌가 X의 비용 전체를 지불했다고 말했다.) 그들은 여전히 10 개 미만의 사람을했다 단지 막연한 의미 궁극적으로 모든 올 수있는 무엇을. 그러나 심지어 그들은 무슨 일이 다음에 무슨 일이 일어날한다고에 앞서 생각했다. 먼저 인간의 마음은 공을 인식 배우고 잠시 동안 성취 쉽게 달려 있지만, 조만간, 그것은 공을 요청하고자합니다. 그리고 그것은 언어로에서 wades.
그 방향으로 첫 번째 단계는 뇌가 유명해진 고양이 종이했다.
그 시점에 대한 공개 신경망보다 큰 백 번, 아직 우리의 두뇌보다 작은 크기의 여전히 많은 주문 – – 원시, 레이블이없는 데이터를 관찰 할 수있는 어떤 고양이 종이 입증하는 것은 억 개 이상의 “시냅스”연결이 신경 네트워크는 것이 었습니다 자체에 대한 상위 인간의 개념을 선택하십시오. 뇌 연구원은 YouTube 동영상에서 스틸 프레임의 네트워크 수백만 달러를 표시했고, 순수한 감각 기관의 웰터급에서 네트워크는 유아 나 다람쥐 고양이의 얼굴로 순간의 주저없이 인식 할 안정적인 패턴을 격리했다. 기계는 고양이의 예지로 프로그램되지 않은; 그것은 세계에 직접 도달 자체에 대한 아이디어를 압수. (연구진은 MRI와 같은의 신경망에 해당 이것을 발견유령 고양이 얼굴이 인공 뉴런이 표시된 데이터의 양에 의해 제한되었던 그 시점에 가장 큰 집단 열정 “투표”.) 대부분의 기계 학습에 의한 것을 그들에게 보여 주었다있다. 고양이 종이 기계는 원시 레이블이없는 데이터, 인간은 더 예지를 설립했다있는 어쩌면 데이터를 처리 할 수 있음을 보여 주었다. 이 고양이 인식 연구에서뿐만 아니라 전체 인공 지능뿐만 아니라 주요 사전처럼 보였다.이 고양이 인식 연구에서뿐만 아니라 전체 인공 지능뿐만 아니라 주요 사전처럼 보였다.이 고양이 인식 연구에서뿐만 아니라 전체 인공 지능뿐만 아니라 주요 사전처럼 보였다.
고양이 종이의 리드 저자는 쿠크 르였다. 르 빠른, 수수께끼의 미소와 반짝이 블랙 페니 로퍼로, 짧고 버드 나무와 부드러운 말씀입니다. 그는 색조, 베트남 외부에서 자랐습니다. 그의 부모는 쌀 농부했다, 그는 집에서 전기를하지 않았다. 그의 수학적 능력은 어릴 때부터 분명했다, 그는 과학 자석 학교에서 공부를 보냈습니다. 1990 년대 후반, 여전히 학교에있는 동안, 그는 이야기하는 chatbot을 구축했습니다. 그는이 어떻게 하드가 될 수 생각?
“그러나 실제로는,”그는 “매우 어렵다.”는 whispery 무표정한에 나에게 말했다
그는 컴퓨터 비전 등의 AI 작업에 일 호주 캔버라에서 대학에 장학금에 논을 떠났다. 가장자리와 같은 것들에 대한 기계의 정의를 공급 관련된 시간의 지배적 인 방법은, 부정 행위처럼 그에게 느꼈다. 르는 알고, 또는 다른 곳에서 그가했던 것처럼 기계가 처음부터 배울 수 있다는 것을, 상상 도움이되지 수있는 세계에서 적어도 수십 컴퓨터 과학자가 있다고 만 어렴풋이 알고하지 않았다. 2006 년 르 튀빙겐의 중세 독일 대학 도시에서 생물 인공 두뇌 학에 대한 맥스 플랭크 연구소의 위치를했다. 이 독서 그룹에서, 그는 제프리 힌튼에 의해 두 개의 새로운 종이가 발생했습니다. 모든 변환 이야기가 긴 디아스포라 동안 징계를 입력하고, 르 그 논문을 읽을 때, 그는 비늘을 느낀 사람들은 그의 눈에서 멀리 떨어진다.
“큰 논쟁이 있었다”고 나에게 말했다. “아주 큰 논쟁이.”우리는 작은 내부 회의실, 단지 작은 테이블과 두 개의 화이트 보드이 장착 좁고 천장이 높은 공간에 있었다. 그는 곡선 그가 그 뒤에 화이트 보드에 그려진하고 다시 다음 부드럽게 털어했던 보았다 “나는 그런 큰 논쟁을 본 적이 없습니다.”
그는 독서 그룹에 서서, 말을 기억한다 “이것은 미래입니다.”그것은, 그는 말했다에 “당시 인기가없는 결정.”호주의 전직 보좌관, 그가 가까이 머물렀다 누구이었다가 없었던 아주 르의 결정을 이해합니다. “왜 이러는거야?”그는 이메일에서 르 물었다.
“나는 당시 좋은 대답을하지 않았다”르 말했다. “난 그냥 궁금 해서요. 이 성공적인 패러다임은했지만, 나는 새로운 패러다임에 대한 그냥 궁금했다 정직하게. 2006 년, 거의 활동이 있었다. “그는 스탠포드에서 잉에 가입 가서 힌튼의 아이디어를 추구하기 시작했다. “2010 년 말까지, 뭔가 일이 일어날 거라고 꽤 확신했다.”
궁극적으로 고양이 종이가 된의 확장 – 무슨 일이 있었는지, 곧 이후, 르 그는 자신의 논문 작업과에서 수행 최초의 인턴으로 뇌에 갔다이었다. 간단한 수준에서, 르는 컴퓨터가 자체에 지정된 이미지에 절대적으로 필수적 정보를 식별하는 훈련을 할 수 있는지보고 싶었다. 그는 아직도 자신이 YouTube에서 촬영했다 신경망 a를 공급. 그 후 그는 그것이 나 버리지 말아야 할 것을 지정하지 않았지만, 이미지에 포함 된 정보의 일부를 버릴 신경망 말했다. 이 기계는 처음에 무작위로, 정보의 일부를 멀리 던졌다. 그리고 그는 말했다 : “그냥 농담! 이제이 표시 만이 보유하는 정보를 기반으로 한 초기 이미지를 다시. “그것이 그가 할 수있는 방법 찾기 위해 컴퓨터를 묻는 것처럼” “이미지를 요약을,다음 요약에서 원래로 다시 확장합니다. 요약이 무관 한 데이터를 기반으로 한 경우 – 하늘보다는 수염의 존재의 색상처럼 – 기계는 유능한 복원을 수행 할 수 없습니다. 그 반응은 그의 테이크 아웃 세이버 – 이빨 호랑이 그의 짧은 노출 그들이 움직일 때 그들이 편안한 휙 소리를 한 것으로이었다 먼 조상의 그것과 유사하다. 르의 신경 네트워크는 그 조상과는 달리, 다시 다시 다시 다시 시도 도착합니다. 이 수학적으로 “선택”할 때마다 다른 정보의 우선 순위를 더 나은 점진적으로 수행합니다. 신경망 그러나 블랙 박스였다. 이 패턴을 점쳐하지만 확인 된 패턴은 항상 인간의 관찰자에게 직관적으로 이해가되지 않았다.고양이의 우리의 개념에 명중 같은 네트워크는 또한 발판와 염소 사이의 십자가처럼, 가구 동물 화합물의 일종처럼 보였다 패턴에 대한 열정이되었다.
르 언어 사람으로 그 무모한 고양이 년에 자신을 보지 않았다, 그러나 그는 그의 초기 chatbot에 점을 연결하는 충동을 느꼈다. 고양이 용지 후, 그는 당신이 사진을 요약하는 네트워크를 요청할 수 있다면, 당신은 아마도 또한 문장을 요약하도록 요청할 수 있다는 것을 깨달았다. 이 문제는 향후 2 년 동안, 토마스 미콜롭라는 이름의 두뇌 동료와 함께 르 몰두.
그 시간에, 뇌 팀은 그의 주위에 여러 사무실을 빨리 성장. 잠시 동안 그들은 경영진과 공유 바닥에 있었다. 그들은 사람들이 래리 페이지와 세르게이 브린의 제품군의 앞에 소파에 잠을 할 수 있도록 중단하실 것을 요청 관리자에서 한 지점에서 이메일을 받았습니다. 그것은 그들은 다음 마이크로 키친에서의 교류가 정장 정중 한 잡담에 낭비되지 않을 것이다 길 건너 연구 건물의 일부를 할당 된 불안 들어오는 VIP를. 그 중간은 잡을 구글의 경쟁 업체의 부품에 전용 시도를 보았다. 르 토마스 미콜롭과의 긴밀한 협력에 대해 이야기로서 (그는 “나는 마침내 자신을 도울 수 없습니다. 르가 너무 엄숙한 것 같았다 적이 없었다. 통렬한 소리 주술 방법으로 반복 Mikolov의 이름을 반복 유지하고 묻기 시작 그는 …? “르가 고개를 끄덕였다. “페이스 북에서”라고 대답했다.)
그들은 정적이었다 간단한 사진 분류,뿐만 아니라 언어 나 음악처럼, 시간이 지남에 따라 전개 복잡한 구조뿐만 아니라 수용 할 수있는 신경 네트워크 아키텍처를 마련하려고이 기간을 보냈다. 이들의 대부분은 먼저 1990 년대에 제안되었고, 르와 그의 동료들은 이삭 수있는 것을보고 그 긴 무시 기여에 다시 갔다. 예를 들어, 이메일에 적절한 응답을 예측하거나 합리적인 대화의 흐름을 예측처럼 – 그들은 당신이 기본 언어 적 예측과 설비를 설치 한 후에는 다음 다른 지능형 모든 일을 할 갈 수 있다는 것을 알고 있었다. 당신은 외부에서 적어도, 생각처럼 많이 보일 것이다 무용의 종류까지 사이들 수있다.
파트 II : 언어 기계
5. 언어를 켭니다
뇌의 백 개 정도 현재 회원 – 종종 적게는 클럽이나 학력 사회 나 은하계 칸 티나가보다 거대한 기업 계층 구조 내에서 부서 같은 느낌 – 자유롭고 가장 널리 존경 직원들 사이에서 계산 개입 년에왔다 전체 Google 조직한다. 큰 창문이 회사의 주요 마운틴 뷰 캠퍼스의 잎이 북서쪽 외곽에 위협적인 진회색 착색와 함께 그들은 지금, 계층 두 이야기 달걀 껍질 건물에 등분한다. 이들의 마이크로 키친은 내가 사용하는 본 적이 푸스 볼 테이블이 있습니다; 내가 사용하는 본 적이 락 밴드 설정; 나는 보았다 이동 키트는 몇 가지 경우에 사용된다. (I는 한 번 젊은 뇌 연구원이, 잘 익은 잭 푸르트에 그의 동료를 소개 칠면조처럼 거대한 뾰족한 구를 조각 참조했다.)
나는 뇌의 사무실에서 시간을 보내는 시작했을 때 6 월에 빈 책상의 일부 행이 있었다, 그러나 대부분은 표지 된 포스트 – 그것과 같은 것들을 말했다 노트 “제시, 6/27을.”이제 사람들은 모두 점령하고 있습니다. 내가 처음 방문했을 때, 주차는 문제가 아니었다. 가장 가까운 공간은 임산부 또는 테 슬러 예약 사람들을했지만, 부지의 나머지 부분에 충분한 공간이 있었다. 나는 9시 30 분 이후에 나타났다 경우 10 월, 나는 거리에서 자리를 찾아야했다.
뇌의 성장은 회사가 요구를 처리하기 위해가는 방법에 대한 딘은 약간 긴장했다. 이론에있는 회사의 능력이 실제로 제품을 구현하는 능력을 능가하는 상황 – 그는 “성공 재해”로 알려져 구글에서 무엇을 피하기 위해 원했다. 특정 시점에서 그는 두 슬라이드 프레젠테이션에서 일일 임원에 관한 몇 백 – 중 – 봉투 계산을했다.
“미래에 모든 사람이 삼분 하루 동안 자신의 안드로이드 전화로 말을하면”그는 “이것이 우리가해야합니다 얼마나 많은 기계입니다.”그들에게 그들은 두 번이나 글로벌 계산 공간을 배로해야합니다.
“즉,”그가 약간의 연극 꿀꺽 및 확대의 눈으로 관찰, “무서운 소리가났다. 당신은해야 할 것 “- 그 결과를 상상 주저 -“. 새로운 건물을 건설 “
또 다른 옵션은, 그러나,이 있었다 : 단지 대량 생산, 설계 및 분산 된 데이터에 설치 센터들은 빨리 모든 것을 할 수있는 칩의 새로운 종류. 이 칩은 TPU에, 또는 “텐서 처리 장치,”자신의 가치를 호출 할 것 – 직관 – 그들은 의도적으로 일반 칩보다 정확한 있다는 것입니다. 12.246 회 54.392을 계산하는 대신, 그들은 신경 네트워크가 수행 행렬 곱셈의 수천의 수백 또는 수천 또는 수만 단지 구조화 된 일련 오히려 은유 한 것보다, 수학 수준에 당신에게 12 회 (54)에 대한 형식적인 대답을 줄 것이다 연속에서, 그리고 그들이 정확보다 이러한 프로세스가 빠른 것이 훨씬 더 중요합니다. “일반적으로,”딘은 말했다, “특수 목적 하드웨어는 나쁜 생각입니다. 보통 한 가지를 가속화하기 위해 노력하고 있습니다.그러나 때문에 신경 네트워크의 일반성, 당신은 다른 많은 것들이 특수 목적 하드웨어를 활용할 수 있습니다. “
칩 설계 과정이 거의 완료된 것처럼, 르와 두 동료는 마침내 신경 네트워크가 언어의 구조를 처리하도록 구성 될 수 있음을 보여 주었다. 그는 10 년 이상 주변에 있었다라는 생각, “단어 묻어”에 받았다. 당신이 이미지를 요약하면 요약의 각 단계의 모습의 사진 신성 수 – 등은 비슷한 방법으로 언어를 요약하면 가장자리, 원을, 당신은 기본적으로 일반적인 사용에 따라, 거리의 다차원 맵을 생성 하나의 말과 언어로 매일 다른 단어 사이. 기계는 방식으로 데이터를 “분석”되지 않도록 우리 수도, 동사와 같은 명사 등으로 그 중 일부를 식별 언어 규칙. 대신, 이동 및 비틀림 및지도에 주변의 단어를 휘게된다. 두 가지 차원에서, 당신이지도가 유용 할 수 없습니다.당신이 시도하려는 때문에 “밈”당신이 원하는, 예를 들어, “고양이”는 “개”의 거친 근처에있을 수 있습니다하지만 당신은 또한 “고양이”근처 “꼬리”가까운 “얕보는”가까운되고 싶어 다른 모든 관계를 캡처 – 강하고 약한 양 – 단어 “고양이”다른 단어가있다. 그것은이 다른 차원에서 이들 각각에 관련된 경우에만 동시에 모든 즉 관련 될 수있다. 당신은 쉽게 160,000 차원지도를 만들 수는 없지만, 당신이 단순한 천 개 정도 크기에서 꽤 잘 언어를 나타낼 수 있습니다 밝혀 – 즉, 우주가있는 각 단어는 천 번호 목록에 의해 지정 . 르가이지도의 정신 사진에 대한 내 지속적인 요청에 대해 나에게 좋은 성질이 힘든 시간을 주었다. “기드온은,”그는, 바틀비의 무딘 일반 demurral으로 말할 것”나는 일반적으로 3 차원 공간에서 천 차원 벡터를 시각화하려고 좋아하지 않는다.”
그럼에도 불구하고, 공간의 특정 크기, 그것은 성별이나 상대적인 크기와 같은 읽기 쉬운 인간의 범주를 나타낼 것으로 보인다 않았다 밝혀졌다. 말 그대로 “왕”을 의미하고, 천 개 번호를했다 경우 당신이 경우 당신이 숫자에서 “여성”에 대한 숫자를 뺀 것처럼 “남자.”같은 수치 결과를 얻었다 그리고 “여왕”을 의미 천 개 번호를 차감 당신은, 당신은 적어도 이론적으로 하나 개의 공간에서 문장을 다른에 해당하는 제안하는 방법을 배울 수있는 네트워크를 훈련 할 수있는 영어와 프랑스어의 전체 공간의 전체 공간을했다. 당신은 한쪽과 다른 한편으로는 자신의 원하는 프랑스어 출력에서 입력으로 수백만 달러와 영어 문장의 수백만 제공했고, 이미지 분류를 픽셀 단위로 관련 패턴을 인식하는 시간을 통해 그 단어의 관련 패턴에게 방법을 인식 할 것이다.그런 다음 그것을 영어로 문장을주고 최고의 프랑스어 아날로그를 예측하도록 요청할 수 있습니다.
단어와 화소들 사이의 큰 차이는 있지만, 즉 시간에 걸쳐 진행하는 반면에 표시하는 화상의 모든 화소가 동시에 존재한다는 것이다. 전체 경로를 마지막으로 첫 번째 단어에서 – 당신은 네트워크가 연대 기적 순서의 진행 “마음에 개최”할 수있는 방법이 필요했습니다. 일주일 정도의 기간으로, 2014 년 9 월, 세 개의 논문이 나왔다 – 캐나다와 독일의 학자에 의해 르와 두 개의 다른 하나 – 마지막에 이런 종류의 작업을 수행하는 데 필요한 모든 이론적 도구를 제공하는 것이다. 그 연구는 뇌의 마젠타, 기계 예술과 음악을 생성하는 방법에 대한 조사와 같은 개방형 프로젝트를 허용했다. 또한 기계 번역 같은 악기 작업으로 길을 지워. 힌튼은 그가이 후속 작업은 적어도 다섯 년 이상 걸리는 시간에 생각했던 나에게 말했다.
제 매복
르의 논문은 신경 번역 그럴듯한 것으로 나타났다하지만 그는 단지 상대적으로 작은 공공 데이터 세트를 사용했다. (소형 구글, 즉 -.. 실제로 세계에서 가장 큰 공공 데이터 설정 이전 10 년은 더 큰 백 천 번 사이였다 생산 데이터를 수집했다 번역) 더 중요한 것은, 르의 모델은하지 않았다 약 일곱 단어보다 긴 문장을 아주 잘 작동합니다.
다음 뇌에서 직원 연구 과학자였다 마이크 슈스터는 지휘봉을 집어 들었다. 그는 다른 사람이 것, 구글은 생산 수준이 이론적 통찰력을 확장 할 수있는 방법을 발견하지 않은 경우 것을 알고 있었다. 이 프로젝트는 향후 2 년간 그에게했다. “뭔가를 번역, 당신은 단지 데이터를 얻을 실험을 실행하고 완료,하지만 그렇게 작동하지 않습니다.”슈스터는 말한다 “당신은 생각”
슈스터는 팽팽 집중하는 무두질, 피스톤 모양의 머리, 좁은 어깨, 무릎과 네온 녹색 나이키 Flyknits 아래에 묶여 긴 카모 카고 반바지되는 늙지. 그는 자신의 작은 무테, 타원형 안경에 도달 로터스 위치에 일어났다 보존 도토리의 겸손한 부분의 형태로 칼로리를 인정하고 사무실로가는 길에 편안한 사막 종 경기를 완료 것처럼 보인다; 실제로, 그는 만 18 마일의 자전거 편도를 타고있어, 나에게 말했다. 슈스터는 전 서독의 고로 지구에, 뒤스부르크에서 성장, 초기 신경망 일 교토로 이동하기 전에 전기 공학을 공부했다. 1990 년대에 그는 회의실로 큰 신경 네트워킹 기계와 실험을 실행;그것은 수백만 달러의 비용과 당신은 지금 시간 이내에 바탕 화면에 할 수있는 뭔가를 주 동안 훈련을했다. 그는 거의 십 년 반 동안 인용 된 1997 년 논문을 발표; 올해는 그 150 배의 주위에 인용되고있다. 그는 유머 아니지만, 그는 자주 독일 구속과 일본의 구속의 자신의 서명 조합했다 일부 돌기의 식을 착용 않습니다.
이슈 슈스터 얽힌 된 처리했다. 우선, 르의 코드는 사용자 정의 작성하고, 구글이 다음 TensorFlow을 개발하고 새로운 오픈 소스 기계 학습 플랫폼과 호환되지이었다. 딘은이 새로운 시스템에 르의 결과를 복제하는 이개월 단지 그들을했다 2015 년 가을에, 다른 두 엔지니어 용휘 우 및 지펭 첸 슈스터 지시. 르 주위했지만 심지어 그는 항상 그들이 한 일의 머리 또는 꼬리를 만들 수 없습니다.
슈스터가 말했듯이, “물건 중 일부는 전체 의식에서 수행되지 않았습니다. 그들은 일을 왜 그들은 스스로를 몰랐습니다. “
올해 2 월, 구글의 연구 기관 – 기업의 느슨한 부문 모두에서 약 천 명 직원의-기대하고 분류 할 전용 – 웨스틴 세인트 프랜시스에서 오프 사이트의 휴양지에서 소집 자신의 리드, 유니온 스퀘어 (Union Square), A의 구글의 자신의 샌프란시스코보다 약간 덜 화려한 고급 호텔은 동쪽 그래서 마일을 가게. 아침은 연구 해안가를 충당하기 위해 “, 번개 회담”의 라운드 빠른 업데이트를 예약하고, 오후는 부서 간에서 멀리 유휴했다 “촉진 토론.”희망은 후퇴가 예측할 수없는, 사선을위한 기회를 제공 할 수 있다고했다 벨 연구소 틱 성숙한 회사는 다작 유지 교류.
점심 시간, 코라와 딘은 맥더프 휴즈, 구글의 이사 번역을 찾아 짝. 휴즈는 혼자 먹고, 두 뇌 회원 양쪽에 위치했다. 코라가 말했듯이, “우리는 그를 습격.”
“OK”코라 효과에 대한 자신의 숨을의 경계 휴즈에게 말했다. “우리는 당신이 뭔가 할 말이있을 것입니다.”
엔지니어의 수백의 코드를 10 년 동안 – – 신경 네트워크와 그들은 2016 년 구글의 정밀 검사가 번역 고려하는 좋은 시간처럼 듯 휴즈 말했다. 오래된 시스템이 모든 기계 번역 약 30 년 동안 일했다 방법을했다 : 그것은, 각 연속 문장 조각을 압수 큰 통계적으로 파생 된 어휘 표에 그 단어를보고, 다음 적절한 엔딩을 부착하고 재 배열 후 처리 규칙의 배터리를 적용 모든 감각을 확인합니다. 시스템이 다음 구절에 도달하는 시간으로, 그것은 마지막이 무엇인지 모르기 때문에 접근 방식은 “구문 기반의 통계적 기계 번역 ‘이라고합니다. 의 번역 출력이 가끔 냉장고 자석의 동요 가방처럼 보였다 이유입니다. 이 함께 온 경우 뇌의 교체, 읽고 하나 드래프트에서 전체 문장을 렌더링합니다.과 의미에 가깝다 뭔가 -이 상황을 캡처 할 것입니다.
최소한의 수익을 생성 번역, 그것은 아마 항상 것입니다 : 말뚝은 낮은 듯 수 있습니다. 대부분의 영어권 사용자의 경우, 서비스의 성능도 급진적 인 업그레이드가 거의 예상 증가 범프보다 더 아무것도 환영되지 않을 것입니다. 그러나 인간 품질의 기계 번역 단기 필요성뿐만 아니라 장기적으로 가능성이 높다 개발뿐만 아니라이라고 할 수있는 경우는, 변형 증명이 있었다. 가까운 미래에, 회사의 비즈니스 전략에 매우 중요합니다. 구글은 인터넷의 50 %가 세계 인구의 아마 20 %는 말하는 영어에있는 것으로 추정하고있다. 검색 엔진 트래픽 시장 점유율의 대부분은 경쟁 바이에 속한 – – 구글이 중국에서 경쟁하려고 한 경우 또는 인도,괜찮은 기계 번역 인프라의 필수 불가결 한 부분이 될 것입니다. 바이두 자체는 2015 년 7 월 신경 기계 번역의 가능성에 대한 선구 논문을 발표했다.
‘당신은, 당신은 단지 데이터를 얻을 뭔가를 번역하는 생각 실험을 실행하면됩니다,하지만 그런 식으로 작동하지 않습니다.’
그리고 더 멀리, 투기 미래에, 기계 번역은 아마도 인간의 언어와 일반적인 전산 시설을위한 첫 걸음이었다. 이것은 중요한 변곡점을 나타내는 것입니다 – 아마도 주요 변곡점을 – 진정한 인공 지능 같은 느낌이 뭔가의 개발에.
휴즈는 오는이 매복을 보았다 그래서 실리콘 밸리에있는 대부분의 사람들은 빠른 속도로 접근 수평선과 같은 기계 학습의 알고 있었다. 그는 회의에 남아 있었다. 지저분 적갈색 머리가 사원에서 노령화와 초기 중세 시대의 겸손, 튼튼하게 지어 사람은 휴즈는 클래식 라인 엔지니어, 보잉 1970 년대에 제도 테이블에 장소에서하지 않았을 것이다 장인의 일종이다. 그의 청바지 주머니는 종종 그가 주위에 이식 테이프 또는 열전대를 측정하고, 그를 위해 일하는 젊은 사람들의 많은 달리 것처럼, 그는 회사의 장비에 옷장 unreliant을 가지고, 꼴 사나운 차원의 호기심 도구 부담 봐. 하지 실험실에서하지만 생산 규모에서 – – 년 동안 거의 소용 그는 다양한 장소 구글과 다른 곳에서 다양한 사람들이 신경 번역 작업을 만들려고 노력했던 것을 알고 있었다.
휴즈는 말에, 자신의 경우를 듣고, 그들은 3 년 만에 해낼 수 어쩌면 것처럼 그에게 소리 것을 조심스럽게 말했다.
딘은 달리 생각했다. “우리가 우리의 마음을 세우면 우리는 올해 말까지 그것을 할 수 있습니다.”이유 중 하나는 사람들이 좋아하고 많이 딘 그가 성공적으로 자신의 마음을 퍼팅의 긴 기록했다이었다 존경. 또 그는 같은 진심으로 말을 할 전혀 당황하지 않았다이었다 “우리가 우리의 마음을 넣어합니다.”
휴즈는 변환이 조만간 일어날되지 않았다 확신했다, 그러나 그는 개인적 이유가 상관하지 않았다. “의 2016 년을 준비하자”고 다시 가서 그의 팀에게 말했다. “나는 제프 딘 속도를 제공 할 수없는 말을 한 않을거야.”
한 달 후, 그들은 마침내 휴즈의 이전과 슈스터의 새로운 시스템을 비교하는 병렬 실험을 실행 할 수 있었다. 슈스터는 영어 – 프랑스어를 실행 싶었지만, 휴즈는 다른 뭔가를 시도하라고 조언했다. “영어 – 프랑스어,”그는 “개선이 명확하지 않을 것이다 너무 좋다”고 말했다.
그것은 슈스터가 저항 할 수있는 도전이었다. 기계 번역을 평가하는 벤치 마크 메트릭은 많은 신뢰할 수있는 인간의 번역의 평균 기계 번역을 비교하는 BLEU 점수를 호출됩니다. 당시 영어 – 프랑스어에 가장 BLEU 점수가 높은 20 대였다. 한 점의 개선은 아주 좋은되었다; 두 가지의 개선이 뛰어난 것으로 간주되었다.
신경 시스템은 영어 – 프랑스어 언어 쌍에 7 점의 기존 시스템에 비해 개선을 보여 주었다.
휴즈는 지난 4 년 동안 자신의 시스템에 강력한 개선으로 절반도 없었했다 슈스터의 팀 말했다.
이 메트릭의 몇 가지 우연이 아니었다 확실히, 그들은 또한 나란히 비교를 할 인간 계약자의 자신의 수영장으로 향했다. 개발의 전체 수명 기간 동안 기존 시스템의 총 이익이 거의 비슷 – 샘플 문장이 0~6에서 등급 된에 사용자 인식 점수는 0.4의 평균 개선을 보여 주었다.
월 중순에, 휴즈는 그의 팀 이메일을 보냈다. 기존 시스템의 모든 프로젝트는 즉시 정지했다.
7. 이론은 제품이되다
슈스터, 우 첸 – – 그때까지 신경 번역 팀은 삼명 있었다 그러나 휴즈의 지원, 광범위한 팀은 합체하기 시작했다. 그들은 석영 호수라는 뇌 건물의 코너 룸에서 오후 2시 수요일 슈스터의 지휘하에 만났다. 회의는 일반적으로 더 이상 12 명의 회전 캐스트 참석했다. 휴즈 또는 코라가 있었다 때, 그들은 일반적으로 단지 영어를 모국어로했다. 그들은 대부분 자신의 효율적 피진과 수학 이야기하지만 엔지니어들은, 중국어, 베트남어, 폴란드어, 러시아어, 아랍어, 독일어, 일본어 말했다. 이 회의를 실행 구글에서 항상 완전히 명확하지 않다, 그러나 슈스터의 경우에는 모호함이 없었다.
그들은 심지어 다음 걸릴하는 데 필요한 단계는 전적으로 명확하지 않았다. “이 이야기는 불확실성에 대한 많은입니다 – 전 과정에 걸쳐 불확실성,”슈스터는 한 지점에서 나에게 말했다. “소프트웨어, 데이터, 하드웨어, 사람들. “- 그의 좁은 어깨에서 팔꿈치 약간 구부러진 그의 긴, 날씬한 팔을 확장 -“그것은 같았다. 진흙의 큰 바다에서 수영하고, 당신 만이 지금까지 볼 수 있습니다 “그는 여덟 인치 그의 손을 밖으로 개최 가슴 앞에. “이 목표 어딘가에, 그리고 어쩌면이있다.”
구글의 회의실의 대부분은, 모니터 영상 채팅 할이있는 경우 초기 화면 매우 실번의 꿈의 정경 또는 오로라 또는 의회의 고해상도 과포화 공공 Google+ 사진. 슈스터는 밤에 워싱턴 기념비의 결정 여전히 나타났다 패널 중 하나를 가리켰다.
“외부에서보기는 모든 사람이 쌍안경을 가지고 있으며, 지금까지 미리 볼 수 있다는 것입니다.”
학술 과학자들은 “단순한”기술로 해산 할 수있는 부분 – – 덜 어려웠다 이미 근면하고 그려 아웃 있었지만 시도가 가능한 제품으로 바꿀했다 이론적 작업이 시점에 그들을 얻을 수 있습니다. 우선, 그들은 좋은 데이터를 훈련하고 있는지 확인해야했습니다. 교육의 단어를 구글의 수십억 대부분은 헤밍웨이에서 찾을 수있는 물건의 종류와 같은 온건 한 복잡성의 완전한 문장으로 구성했다 “판독”을. 이 중 일부는 공개 도메인에 : 통계적 기계 번역의 원래 로제타 스톤은 캐나다 의회의 전체 이중 언어 기록 페이지의 수백만이었다. 그것의 대부분은, 그러나, 열정적 인 응답자에서 크라우드 소싱 된 인간의 번역을 포함하여 수집 된 데이터, 10 년에서 발췌했다.이 팀은. “즉”자신의 창고에 약 97,000,000 독특한 영어했다 그러나 그들은 이모티콘과 맞춤법 오류, 그리고 중복을 제거하면, 그들은 단지 16 만 주위의 작동 어휘를했다.
그런 다음 사용자가 실제로 자주가 사용되는 합리적 언어와는 거의 상관이 있던, 번역 원한에 다시 집중했다. 많은 사람들은 구글이 발견했다, 전체, 복잡한 문장을 번역하는 서비스에 보이지 않는; 그들은 언어의 이상한 작은 파편을 번역합니다. 당신은 사용자 쿼리의 스트림을 처리 할 수 있도록 네트워크를 원한다면, 당신은 그 방향으로 방향을해야했다. 네트워크는에 훈련 된 데이터에 매우 민감했다. 휴즈는 한 지점에서 나에게 말했듯이 “신경 번역 시스템은 할 수있는 모든 것을 배우고있다. 그것은 유아 같다. ‘그가 화가 때 아, 아빠는 그 단어를 말한다!’ ” 그가 웃었다. “당신은 조심해야한다”고 말했다.
더 무엇보다,하지만 그들은 모든 일이 자신의 사용자가주의하지 않을 것이라고 빠르고 충분히 신뢰할 수있는 것을 확인했습니다. 월에 10 단어 문장의 번역은 10 초 걸렸습니다. 그들은 천천히 그 어떤 것도 소개하지 않을 수 있습니다. 번역 팀은 허용 오차를 식별하기 위해, 가짜 지연의 형태로 사용자의 작은 비율에 대기 시간이 실험을하기 시작했다. 그들은 두 배나 오래 걸려서 번역, 또는 다섯 번만큼, 등록 할 수 없습니다 것을 발견했다. 8 배 둔화는 것. 그들은이 모든 언어를 통해 사실 확인이 필요하지 않았다. 프랑스어, 중국어와 같은 트래픽이 높은 언어의 경우, 그들은 사실상 침체를 묵인 수 없었다. 더 애매한 뭔가를 들어, 그들은 더 나은 품질을 얻는다면 사용자가 그렇게 약간의 지연으로 꺼져 무서워하지 않을 것을 알고 있었다.그들은 단지 포기 및 일부 경쟁사의 서비스로 전환 한 사람을 방지하고 싶었다.
슈스터, 그 부분에 대해, 그들도 충분히 빠르게 만들 수 있다면 그는 단지 몰랐 인정했다. 그는 첸 돌아 서서 말했다 그 동안 마이크로 키친의 대화를 기억 “이 충분히 빨리 만들기 위해 우리가 모르는 뭔가해야하지만 나는 그것을 할 수 있는지 모르겠어요.”
그는 그들이 컴퓨터를 더 필요하다고하지만, 알고 계십니까 – “GPU는,”그래픽 프로세서는 신경 네트워크 재구성 – 훈련.
휴즈는 그가 무슨 생각을 물어 슈스터에 갔다. “우리는 천의 GPU를 요청해야 하는가?”
슈스터는 “2000 왜?”고 말했다
열흘 후, 그들은 추가 2000 프로세서를했다.
두뇌 측면에, 르와 같은 그들 중 일부, 그리고 번역의 많은 – 4 월, 세 가지의 원래 라인업은 30 명 이상이되었다. 월, 휴즈는 각 언어 쌍에 임시 소유자의 종류를 지정, 그들은 모두 성과 평가의 큰 공유 스프레드 시트로 결과를 확인. 주어진 시간에서 최소 20 명이 자신의 독립적 인 일주일 간의 실험을 실행하고 예상치 못한 문제가 와서 어떤 처리. 어느 날 모델은 분명한 이유도없이, 그것이 문장에서 온 모든 숫자를 복용하고이를 폐기하기 시작했다. 이 모든 터치했고 이동 개월이 있었다. “사람들은 거의 고함 있었다”슈스터 고 말했다.
늦은 봄까지, 다양한 조각을 함께오고 있었다. 연구팀은 “단어 조각 모델,”A “범위 처벌”, “길이 정상화라는 것을 도입했다.”각 부분은, 슈스터는 말한다, 어쩌면 몇 % 포인트 만 집계 그들이 상당한 효과를 가지고 결과를 향상시켰다. 모델이 표준화 된 후에는 오히려 현재 사용 번역 (150 개) 다른 모델보다, 시간이 지남에 따라 개선 할 단 하나의 다중 언어 모델이 될 것입니다. 그러나 역설 – 학습 시스템을 통해 더 일반화하기 위해 만들어진 도구, 자동화 프로세스가 공동 인간의 창의력과 노력 등의 특별한 금액을 요구하는 것이이 – 그들에 분실되지 않았습니다. 그들이 무슨 짓을했는지 너무 많은은 장이었다. 당신은 얼마나 많은 신경 레이어 당을 사용 했습니까? 1,024 또는 512? 몇 층? 한 번에 얼마나 많은 문장을 통해 실행 했습니까? 당신은 얼마나 훈련을 했습니까?
우리는 우리가 일주 후 훈련을 중지 할 수 있다는 것을 알고 있었다 때까지 “우리는 실험의 수백했다”슈스터는 “나에게 말했다. 당신은 항상 말을하는지 : 때 우리가 중지합니까? 어떻게 내가 다 했어 알 수 있습니까? 당신은 당신이 완료 절대 모릅니다. 기계 학습 메커니즘을 완벽 결코 없다. 당신은 훈련해야하고, 어떤 시점에서 중지해야합니다. 즉,이 전체 시스템의 매우 고통스러운 성격이다. 그것은 어떤 사람들을위한 어렵다. 당신이 좋은 수 있도록 브러시를 넣어 – 그것은 조금에게 예술입니다. 그것은 단지 그 일을에서 비롯됩니다. 어떤 사람들은 몇 가지 더 낫다. “
월함으로써, 뇌 팀은 유일한 방법은 그들도 그들이 TPU에, 딘이 요구했던 특수 목적 칩에서 실행 할 수 있다면 제품이이었다로 구현 충분히 빠르게 시스템을 만들려고 한 것으로 이해했다. 첸이 말했듯 : 코드가 작동한다면 “우리는 알지도하지 않았다. 그러나 우리는 TPU를하지 않고, 그것을 확실히 작동하지 않을 것을 알지 못했다. 우리를 위해 뭔가를 예약하십시오. “딘을 예약했다”그는 주장 하나에 딘 하나에가는 기억한다 “. TPU를하지만, 상자 밖으로 잘 작동하지 않았다. 우 이유를 파악하기 위해 옆 하드웨어 팀의 누군가에 앉아 두 개월 동안. 그들은 단지 모델을 디버깅되지 않았다; 이들은 칩 디버깅 하였다. 신경 – 번역 프로젝트는 전체 인프라 투자에 대한 개념 증명 될 것이다.
유월 안에 하나 수요일, 석영 호수의 회의는 최근 분야의 최고 온라인 포럼에 출연했던 바이 용지에 대한 들려오 시작했다. 슈스터는 주문 방을 가져왔다. “예, 바이두는 종이로 나왔다. 그것은 우리의 어깨를 통해 찾고 사람 같은 느낌 -. 유사한 아키텍처, 비슷한 결과 “회사의 BLEU 점수 구글이 월과 3 월에 내부 테스트에서 달성 본질적으로 무엇을했다. 르 주름 장식 보이지 않았다; 그의 결론은 구글이 옳았다 징조라고 할 것 같았다. “그것은 우리의 시스템과 매우 유사하다”고 조용한 승인했다.
Google 팀은 이전에 결과를 게시 한 수 있음을 알고 아마도 경쟁을 구타,하지만 슈스터 그것을 넣어 : “시작하는이 게시보다 더 중요하다. 사람들은 ‘아, 내가 먼저 뭔가했다’라고하지만 누가 결국, 관심? “
이것은, 그러나, 그것은 필수적가 처음과 더 나은 자신의 서비스를 얻을 수 있도록했다. 휴즈는 그들은 심지어 스위치의 사용자들에게 알려하지 않을 환상을 가지고 있었다. 그들은 단지 기다릴 소셜 미디어는 광대 한 개선 사항에 대한 의혹에 불을 경우 볼 것입니다.
“우리는 아직 새로운 시스템 말할 싶지 않다”고 노동절 이후 오후 5시 36분 이일 저에게 1 분은 아무도 말하지 않고, 그 사용자의 10 %로 중국에 영어를 출시하기 전에 . “우리는 그것이 작동하는지 확인합니다. 이상적인는 트위터에 폭발하는 것이다 : ‘? 당신은 구글이 가지고 번역하는 방법을 끝내 본 적이’ “
8. 축
한여름의 pluots에서 초가을의 아시아 배와 후유 감에 – – 기술 진보의 지그재그 seasonless 실리콘 밸리에서 시간의 두 신뢰할 수있는 조치는 microkitchens 계절 과일의 회전이다. 9 월 말에 거의 불편 따뜻한 월요일 오후에, 팀의 논문은 마침내 출시되었습니다. 그것은 거의 코믹 (31 명) 작가를했다. 다음 날, 뇌의 회원 및 자체 번역 마이크로 키친에서 조금 축하 리셉션 던져 수집 번역. 아마도 자신의 디아스포라의 긴 겨울에 경의에, 알래스카 로케일의 이름을 따서 명명 된 뇌 건물에 객실; 번역사 건물의 주제는 하와이입니다.
하와이 마이크로 키친 하나의 벽, 종이 등불을 닮은 장착 중심과 천장 비품에 박제 앵무새 작은 레이 – 화환 초가 오두막 서비스 카운터에 약간 거친 해변 사진을 보유하고 있습니다. 대나무의 두 스파 스 히스토그램은 잘못 방어 열대 요새의 글처럼, 측면 라인. 양쪽에 동일한 회색 책상 위에 행 열어 대나무, 유리 벽, 문 너머. 그날 아침 번역 10 년을 존중하는 새로운 후드 스웨터의 도착을 보았다, 많은 팀 구성원들은 새로운 장비에서 자신의 책상에서 파티에 갔다. 그들은 집단 작업의 자신의 십 년간 그 날의 등, 은퇴 도중에, 있다는 사실을 축하 부분에 있었다. 다른 기관에서, 새로운 후드 따라서, 사별의 의상이 될 수도하지만 두 팀의 엔지니어 및 컴퓨터 과학자들은 모두 기뻐 보였다.
구글의 신경 번역은 마지막 작업이었다. 파티의 시간으로,이 회사의 중국 영어 시험은 이미 1800 만 쿼리를 처리했다. 번역사 팀의 한 엔지니어는 바이두의 대안을 사용하여 영어로 중국어에서 전체 문장을 번역하려고, 자신의 휴대 전화 밖으로 돌아 다니고 있었다. 그는 듣지도 않을거야 누구에 기쁨과 함께 울었다. “당신이 한 번에 두 개 이상의 문자를 넣어 경우, 시간 초과!”(바이이 문제는 사용자가보고 된 적이 말한다.)
단어를 구글이 영어로 중국어 신경 번역을 도입했다고, 다음 주에 걸쳐 확산하기 시작했을 때, 어떤 사람들은 그 회사가 괜찮은 결과를 가지고있는 유일한 언어 쌍 이었기 때문에 그것이 것으로 추측. 파티에서 모두가 자신의 성취의 현실은 11 월에 분명히있을 것이라고 알고 있었다. 그때까지, 그러나, 그들 중 많은 사람들이 다른 프로젝트에있을 것입니다.
휴즈는 그의 목을 삭제하고, 티키 바의 앞 계단. 그는 가볍게 속건의 어두운 밴드로 중앙부를 가로 질러 패터닝 구겨진 모습 칼라 바랜 녹색 폴로를 착용했다. 종이에 매우 큰 측정 오차 및 시스템의 이상한 문장 관련 버그를 포함하여 최신 문제, 그리고 마지막 마지막 순간에 문제가 있었다. 그러나 모든 것이 해결되었습니다 – 또는 적어도 충분히 순간 결심했다. 손님은 앉았다. 휴즈는 maundering 또는 측면 대화에 대한 낮은 허용 오차, 효율적이고 생산적인 회의를 실행,하지만 그는 행사의 중력에 의해 일시 정지를 받았다. 그는 그가 은유 스트레칭, 아마도 것을 인정하지만 사실을 강조하기 위해 그에게 중요했다, 그는 시작신경 번역 프로젝트한다는 자체가 “다른 언어를 말 그룹 간의 협력을.”표현
그들의 신경 – 번역 프로젝트, 그는 계속 “앞으로 단계 기능의”대표 – 즉, 불연속 사전, 수직 도약보다는 부드러운 곡선을. 관련 번역은 두 팀 사이에 있지만 이론에서 현실로 단지 있었다. 그는 비싸 보이는 샴페인의 플라스틱 데미 플루트를 올렸다.
“통신에”그는 말했다, “협력!”
조립 엔지니어들은 서로에 주위를 둘러 보았다 거의 신중 야아하는 소리와 박수 자신을 이상했다.
제프 딘은 마이크로 키친의 중심 근처에 서서 자신의 주머니에 자신의 손, 어깨는 코라와 슈스터와 약간 안쪽으로 구부리고. 딘은 그 행사의 준수에 기여 일부 확산 선호도가 있다고보고, 그는 빛, 빠르고 간결 추가와 더불어, 특징적으로 절제된 방식으로 그렇게했다.
그들이 보여 주었다 무엇 딘은 한 번에 두 가지 일을 할 수 있다고했다, 말했다 : “. 연구를 수행하고 내가 반 억 명을 몰라 앞에 그것을 얻을”
모든 사람은 과장이 아니었다 때문에 웃었다 그러나 그것은 아니었다 때문이다.
에필로그 : 유령없이 기계
아마도 인공 지능의 가장 유명한 역사적인 비판, 또는 그 대신의 주장은, 번역의 문제를 연루. 중국 룸 인수는 버클리의 철학자 존 시얼에 의해 1980 년에 제안되었다. Searle은의 사고 실험에서, 단일 언어 영어 스피커는 셀에 혼자 앉아있다. 보이지 않는 간수는 한자로 표시된 종이 전표, 문에있는 슬롯을 통해 그에게 전달합니다. 죄수는 응답의 구성에 대해 영어로 테이블과 규칙을 받고있다. 그는 그의 대답은 곧 이러한 지침의 너무 능숙하게 “중국어 스피커와는 절대적으로 구별.”불운 한 죄수 중국을 “이해”라고해야 하는가? Searle은 대답은 분명 아니 었 생각했다. 컴퓨터에 대한이 은유, Searle은 나중에 썼다,이라는 주장 폭발 “올바른 입력과 출력을 적절하게 프로그램 된 디지털 컴퓨터함으로써 인간의 마음을 가지고 정확하게 의미에서 마음을 가질 것입니다.”
구글 브레인 팀을 위해, 그러나, 또는 실리콘 밸리의 기계 학습에서 작동 다른 거의 모든 사람을위한, 해당 뷰는 완전히 지점 옆에있다. 이것은 그들이 단지 철학적 질문을 무시하고 의미하지 않는다. 그것은 그들이 마음의 근본적으로 다른 뷰를 의미합니다. Searle은 달리, 그들은 “의식이”특별한, numinously 빛나는 정신의 속성이라고 가정하지 않는다 -. “기계의 유령”철학자 길버트 라일라는 것을 그들은 단지 기술의 복잡한 구색은 우리가 “의식”전화 대신 있다고 생각 무작위로 여러 가지 간단한 메커니즘의 조정 활동에서 등장했다. 함축 된 의미는 우리가 생각의 높은 레지스터를 고려할 것을 우리 시설은 우리가 낮은 레지스터로 인식 유혹하는지의 종류에는 차이가 없다는 것이다. 논리적 추론,이 계정에, 행운의 적응으로 볼 수있다; 그래서 던져 공을 잡으려고하는 기능입니다. 인공 지능은 마음을 건물에 관하여이지 않는다; 이 문제를 해결하는 도구의 개선에 관하여이다. 코라가 구글 내 첫 날 나에게 말했듯이, “그것은 ‘않는’기계가 ‘알고있다’또는 ‘이해’하지만 어떤 것에 대해 아니에요 및 – 더 중요한 것은 – 아직하지 않는 것을.”
당신이 “일”대 “알고”무너질 경우 실제 문화적, 사회적 의미를 가지고있다. 파티에서 슈스터는 종이의 미디어 리셉션 자신의 불만을 표현하는 나에게 다가왔다. “첫 번째 눌러 봤어?”그가 나에게 물었다. 그는 그 아침부터 제목을 부연 그가 그것을 항에있어서, 자신의 손으로 말씀으로 그것을 단어 차단 : Google은 AI의 번역은 ‘경우 인체 구별 할 수 있다고 말했습니다. 논문의 구성의 마지막 주 동안 팀이 고생했다; 슈스터는 종종 용지의 메시지는 “그것은이 예전보다 훨씬 더하지만, 인간만큼 좋지 않아.”그는 그들의 노력은 사람을 교체하지만, 그들을 돕는 대해되지 않은 것이 분명 할 것 기대했던 것을 반복했다.
우리가 우리를 위해 특별한 장소를 개척하는 그럼에도 불구하고 기계 학습의 상승은 더 어려워집니다. 당신이 생각하는 경우 Searle은과 인간에 대한 특별한 무언가가 있다고 “통찰력은,”당신은 자동화에서 인간을 구분하는 명확한 선을 그릴 수 있습니다. 당신이 Searle은의 길항제에 동의하는 경우, 당신은 할 수 없습니다. 많은 사람들이 이전보기로 빠른 집착하는 이유는 이해할 수있다. 인공 지능의 뿌리에 대한 2015 MIT 컨퍼런스에서 노암 촘스키 (Noam Chomsky)는 그가 기계 학습의 생각했던 질문을 받았다. 그는 단순한 통계 예측, 영광 일기 예보로 전체 기업을 푸우 – poohed. 신경 번역이 완벽한 기능을 달성하더라도, 그것은 언어의 기본 성격에 대한 깊은 아무것도 공개하지 않을 것이다. 대명사가 여격 또는 대격 사건을했다 경우 그것은 당신을 말하지 않을 수 있습니다.예측의이 종류는 우리의 목적을 달성하기 위해 좋은 도구를 만들지 만, 그것은 일을 그들이 할 방법이 일어날 이유에 대한 우리의 이해를 발전의 기준으로 성공하지 않습니다. 기계는 이미 인간의 방사선보다 더 나은 의료 검사에서 종양을 탐지 할 수 있지만 기계는 암을 일으키는 무엇을 말할 수 없다.
그럼 다시, 방사선과 수 있습니까?
의료 진단은 대부분 즉시 하나 개의 필드, 그리고 아마도 예측할 수, 기계 학습에 의해 위협했다. 방사선은 광범위하게 훈련을 매우 잘 지불, 우리는 전문적인 통찰력의 하나로서 자신의 기술을 생각하는 – 생각의 가장 높은 레지스터. 혼자 지난해 연구자들은 보여 주었다뿐만 아니라 신경 네트워크는 훨씬 이전에 자신의 사람에 비해뿐만 아니라 기계도 병리 보고서의 본문에서와 같은 진단을 할 수있는 의료 영상에서 종양을 찾을 수 있습니다. 무엇 방사선 할 것은 논리적 분석보다는 예측 패턴 매칭에 훨씬 더 가까이 뭔가 것으로 밝혀졌습니다. 그들은 암의 원인을 알려주하지 않는; 그들은 그냥 거기 말하고 있습니다.
당신이 하나 개의 목적을 위해 강력한 패턴 매칭 장치를 구축 한 후에는 다른 사람의 서비스 불통 될 수있다. 하나는 엔지니어가 그 작품을 판단하기 위해 함께 넣어 네트워크를 가져다 자치 무선 조종 자동차를 운전하는 데 사용 번역. 고양이를 인식하기 위해 구축 된 네트워크는 돌아 서서 CT 스캔에 대한 교육을 할 수 있습니다 – 그리고 무한히 더 많은 예제에 심지어 최고의 의사는 지금까지 검토 할 수있는 것보다. 시간의 가장 작은 부분에서 법적 증거 자료의 문서 페이지의 수백만을 통해 일할 수있는 번역 구축 된 신경망은 가장 비싸게 자격을 변호사를 취할 것입니다. 자동 장치에 의해 촬영 작업의 종류는 더 이상 예전 만 반복 작업 수 없습니다 – 부당,이 강조되어야한다 – 교육받지 못한 클래스의 가정 낮은 지능과 관련. 우리’약 세 곧 경력을 결여 수 50 만 트럭 드라이버를 이야기하지 않고 다시. 우리는 재고 관리자, 경제, 금융 자문, 부동산 에이전트에 대해 얘기하고. 무엇 뇌 아홉 달 동안 한 일은 큰 회사에서 작은 그룹 이제까지 기계와 관련된 것입니다 작업 아무도을 자동화 할 수 있습니다 얼마나 빨리의 한 예입니다.
지금 실리콘 밸리에서 일어나는 가장 중요한 것은 중단되지 않습니다. 규모에 모두 인류 역사상 아마도 전례 속도로 – 전력의 통합 – 오히려 기관 건물입니다. 뇌는 인턴이있다; 그것은 주민이있다; 그것은 다른 부서에있는 사람들을 훈련하는 “닌자”클래스가 있습니다. 모든 곳이 무료 자전거 헬멧의 쓰레기통, 무료 녹색 우산 이틀 비가 년간, 그리고 약간의 과일 샐러드, 낮잠 포드, 공유 트레드밀 데스크, 마사지 의자, 하이 엔드 파이의 임의 종이팩이 있고, 아기 옷 기부 장소 및 일정 강사 두 이야기 등반 벽, 독서 단체와의 정책 대화 및 잡색 지원 네트워크. 인간의 재배에서 이러한 대규모 투자의 수혜자 – 그들은 ‘에 대한일부 디지털 소금 광산에서 proles에 대한 특권보다 훨씬 더 재 – 손에 4 개 대륙, 대도시에 불을하기에 충분한 전기를 그릴 데이터 센터에 13 개 데이터 센터에 분산 복잡하게 통합 된 서버의 힘을 가지고있다.
그러나 구글과 같은 심지어 거대한 기관은 자동화의 물결 대상이 될 것입니다; 기계가 인간의 연설에서 배울 수하면, 프로그래머도 편안하게 작업이 위협 받고있다. 티키 바에서 파티가 끝나가 된 바와 같이, 번역 엔지니어는 휴즈 뭔가를 보여주기 위해 자신의 노트북을 통해 가져왔다. 화면이 소용돌이 쳤다 정기적으로 한 번 더 분산하기 전에 성운으로 붕괴 긴 루프 궤도에 밝은 컬러 분야의 생생한, 만화경 애니메이션 펄스.
휴즈는 지금 당장 무엇인지,하지만 난 모든 이름보기 전에 면밀히 지켜 볼 수밖에 없었습니다 – 사람과 파일을. 그것은 모든 마지막 팀 구성원에 의해 번역 코드베이스, 매일 윙윙 및 개화 기여 변화의 10 년 역사의 애니메이션이었다. 휴즈는 일시 중지하고 먼 캠페인, 지금은 다른 곳에서 흡수하는 나 자신에 파열에 의해 서둘러 고대 승리 또는 재앙을 기억 한 동안 모든 중지, 2,008에서 2,006 사이에서 2015 년, 앞으로 건너 뛰기 부드럽게 이상에 도달했습니다. 휴즈는 제프 딘의 이름이 빛나는 구체에 여기 저기 확장 얼마나 자주 지적했다.
휴즈는 코라를 불렀다, 그리고 그들은 꿰 서 있었다. 우울한 향수의 주문을 깨고, 코라는, 상처를 조금보고, 고개를 말했다 “그럼 언제 우리가 그것을 삭제 어떻게해야합니까?”
“걱정하지 마세요,”휴즈는 말했다. “새로운 코드베이스는 증가 할 것입니다. 모든 성장한다. “