차원이 다른 구글 번역기의 도래 (9)
2017년 1월 23일  |  By:   |  IT, 세계  |  No Comment

구글이 인간의 신경망을 본뜬 인공신경망에 딥러닝을 적용해 지금까지 우리가 알던 번역기와는 차원이 다른 인공지능 번역기를 선보였습니다. 지난달 14일 새로운 구글 번역기를 집중적으로 분석한 뉴욕타임스의 기사 “The Great A.I. Awakening”을 소개합니다.

처음부터 보기

8부 보기

 

6. 기습

쿽 레의 논문을 보면 신경망 번역은 곧 세상에 선을 보일 것 같았다. 하지만 그가 논문에서 인용한 데이터는 상대적으로 아주 작은 데이터였다. (구글의 관점에서 보면 작다는 뜻이다. 사실 레가 인용한 데이터는 관련 데이터 가운데 가장 큰 규모였다. 구글 번역기에 지난 10년 동안 쌓인 번역 데이터가 레의 데이터보다 수백 배 더 컸을 뿐이다) 더 큰 문제는 레의 모델이 약 일곱 단어가 넘어가는 긴 문장을 제대로 번역하지 못한다는 데 있었다.

당시 구글 브레인의 연구 과학자였던 마이크 슈스터(Mike Schuster)가 바통을 이어받았다. 그는 구글이 신경망 번역에 관한 이론을 토대로 서비스를 개발하지 못하면, 다른 누군가가 이내 구글을 앞지르리라는 것을 잘 알고 있었다. 슈스터는 2년간 이 프로젝트에만 매달렸다.

“무언가를 번역할 때 흔히 그냥 데이터를 모아서 이렇게 저렇게 번역을 해보고 적합한 번역을 찾아서 정리하면 그만이라고 쉽게 생각하시는 분들 있잖아요. 하지만 실제 일이 그렇게 간단하지 않거든요.”

늘 무언가에 집중해 있고 긴장을 놓지 않는 슈스터는 영원히 나이를 먹지 않을 것 같은 느낌을 준다. 약간 그을린 피부에 두상은 마치 피스톤처럼 생겼다. 좁은 어깨에 편안한 카고 반바지를 입고 신발은 나이키 운동화를 신고 있었다. 그는 마치 가부좌를 틀고 오랜 명상을 막 마친 사람처럼 보이기도 했다. 작은 타원형 무테안경을 고쳐 쓸 때도, 절인 도토리를 몇 개 집어 먹을 때도 차분했다. 매일 철인 3종 경기하듯 출퇴근하는데, 그것도 아주 여유롭게 다닌다고 했다. 그는 대수롭지 않다는 듯 편도 30km도 되지 않는 거리라고 내게 말했다. 슈스터는 과거 서독의 대표적인 철강산업 지대였던 독일 뒤스부르크 출신이다. 전기 공학을 공부한 그는 일본 교토로 가서 초기 신경망 연구에 참여했다. 1990년대에 그는 지금의 웬만한 회의실 크기에 맞먹는 신경망 기계로 실험을 진행했다. 당시만 해도 이런 기계를 돌리는 데만 수백만 달러가 들었지만, 지금은 그때 하던 실험을 일반 데스크톱 컴퓨터에서 한 시간이면 누구나 할 수 있다. 그는 1997년 논문을 한 편 펴냈는데, 지난 15년간 사실상 아무런 주목도 받지 못했다. 거의 인용된 적 없던 그 논문은 지난해 무려 150여 차례나 인용됐다. 재미없는 성격은 절대 아니었지만, 슈스터는 종종 다소 까칠한 모습을 드러내곤 했다. 나중에 나는 이런 까칠함 혹은 무뚝뚝함이 독일식 절제와 일본식 절제가 섞여서 나타난 것이라는 결론을 내렸다.

슈스터가 풀어야 할 문제는 무척 복잡했다. 우선 레가 논문에 쓴 코드와 구글이 당시 개발 중이던 개방형 머신러닝 플랫폼, 텐서플로우(TensorFlow)에 쓸 수 있는 코드 양식이 맞지 않았다. 2015년 가을, 제프 딘은 슈스터에게 엔지니어 용휘 우(Yonghui Wu)와 지펭 첸(Zhifeng Chen)을 붙여줬다. 이들은 두 달간의 작업 끝에 레의 논문에 나온 결과를 재현하는 데 성공했다. 레도 곁에서 이들을 도왔지만, 문제를 어떻게 풀어야 할지 정작 레 본인도 갈피를 못 잡기 일쑤였다. 슈스터는 당시를 회상하며 이렇게 말했다.

“모든 작업을 철저히 계획한 대로 하지는 않았어요. 예기치 못했던 곳에서 실마리가 풀리기도 했죠.”

지난해 2월 구글은 사내 연구 부서 임직원을 샌프란시스코 시내의 한 고급 호텔에 모았다. 구글의 연구 부서가 명확히 분리된 건 아니지만, 쉽게 말해 회사의 미래 성장동력을 찾아 연구하는 직원들이 흩어져 일하는 부서나 팀을 총칭하는 것으로 다 합하면 해당 직원 수는 1천 명 정도 된다. 오전에는 자신이 맡은 프로젝트나 자기 부서가 하는 연구가 어느 정도까지 왔는지를 여러 사람이 번갈아가며 가볍게 소개했고, 오후에는 정해진 프로그램 없이 다 같이 좀 쉬면서 다른 팀 사람들과 어울려 여러 가지 이야기를 나누는 시간이 마련됐다. 서로 다른 연구와 프로젝트를 참신한 시각에서 바라보고 아이디어를 나누다 보면 예기치 못한 돌파구, 뜻밖의 묘수가 나올지 모른다는 것이 회사 차원에서 이런 자리를 마련한 이유였다. 이미 대기업이 된 구글이 회사 안에 여기저기 흩어진 자원과 아이디어를 나누고 섞어 생산성을 높이고 혁신을 이어가는 방법의 일환이기도 했다.

그렉 코라도와 제프 딘은 점심시간에 구글 번역팀장인 맥더프 휴즈(Macduff Hughes)를 찾았다. 휴즈는 혼자 밥을 먹고 있었다. 코라도와 딘은 휴즈 옆으로 가서 서로 마주 보고 앉았다. 코라도는 나중에 이렇게 말했다. “기습 작전이었죠.” 두 사람의 갑작스러운 등장에 조금은 경계심을 보이던 휴즈에게 코라도가 숨을 한 번 고르고 조심스레 말을 걸었다.

“저기, 드릴 말씀이 있습니다.”

그들은 휴즈에게 구글 번역기 탄생 10주년을 맞는 2016년이 그간의 성과를 돌아보는 동시에 신경망 기술을 접목해 재도약의 발판을 마련하기에 더없이 좋은 시점이라고 말했다. 기존 방식은 기계 번역이 지난 30년간 해오던 방식, 즉 문장을 단어나 숙어로 나눈 다음 각 단어의 뜻을 방대한 어휘 데이터베이스에서 찾아 나열하고, 미리 정해진 문법 규칙에 따라 어미를 고치는 등 뜻이 통하도록 손질해 결과를 내놓는 방식을 답습하는 것이었다. 이를 “구(句) 기반 통계 기계번역”이라고 하는데, 기계가 다음 구를 분석할 때 앞 문장이나 앞서 분석한 구의 내용을 전혀 모르고 따로따로 작업하기 때문이다. 기존 구글 번역기의 번역이 어떤 부분은 뜻이 통하지만, 어떤 부분은 맥락에서 터무니없이 벗어나는 이유가 여기에 있다. 마치 냉장고에 붙여놓는 자석 장식품을 다 떼어낸 뒤 비닐봉지에 넣고 마구 흔들어 섞어놓은 것처럼 질서없는 문장은 뜻이 통하지 않는다. 구글 브레인이 개발하는 신경망 번역은 전체 문장을 한꺼번에 읽고 분석해 작업한다. 맥락을 읽어가며 하는 번역이 가능해지고, 결과적으로 의미를 이해한 번역에 더 가까운 결과물이 나올 수 있었다.

혁신적인 번역기를 내놓는다고 해도 얻을 수 있는 이익은 많지 않아 보였다. 구글이 번역기를 통해 얻는 수익은 얼마 되지 않았고, 앞으로도 그럴 것 같았다. 특히 영어를 모국어로 사용하는 대부분 소비자, 즉 번역 서비스에 대한 수요가 상대적으로 낮은 소비자들에게 구글 번역기의 혁신적인 발전은 기껏해야 구글이 언젠가는 이뤄낼 기술 진보를 이뤘다는 것 이상의 감흥은 없을 소식이었다. 다만 사람이 한 번역에 버금가는 수준의 기계 번역이 가능하다는 사실은 당장 쓸모는 별로 없을지 몰라도 장기적으로는 수많은 분야에서 근본적인 변화를 추동할 수 있는 기술 발전을 의미하는 것이었다. 당장 새로운 번역기의 등장에 회사들은 사업 전략을 전면 수정해야 하게 됐다. 구글의 분석에 따르면 영어를 모국어로 쓰는 사람들은 전 세계 인구의 20%에 불과하지만, 전체 인터넷 콘텐츠의 절반가량이 영어다. 구글이 철수했던 중국 시장에 다시 진출해 경쟁사인 바이두(百度)의 검색시장 점유율을 빼앗아오려면, 혹은 수십 가지 방언이 존재하는 인도에 본격적으로 진출하려면 훌륭한 기계 번역은 구글 서비스 전체의 품질을 높이는 데 꼭 필요한 요소다. 지난 2015년 7월 바이두가 발표한 논문을 보면, 바이두 역시 기계 번역 기술에서 상당한 진전을 이룩했다.

더 먼 미래에 기계 번역은 아마도 인간의 언어를 정확히 이해하는 기계를 설계하는 데 중요한 첫걸음이 될 것이었다. 이는 사람과 소통이 가능한, 진짜 인공지능다운 시스템을 개발하는 데 결정적인 계기로 기록될 것이다.

실리콘밸리 사람들은 대부분 곧 머신러닝이 모든 걸 바꾸리라는 걸 알고 있다. 휴즈도 이런 식의 제안이 어딘가에서 어떤 식으로든 올 것을 직감하고 있었다. 다만 헝클어진 적갈색 머리를 하고 구레나룻 주변에는 희끗희끗한 머리가 보이기 시작한 이 건장한 체구의 중년 남성은 아직 확신이 서지 않았다. 휴즈는 전형적인 엔지니어로 1970년대 보잉에서 볼 수 있던 이전 세대의 소위 기술 엘리트 출신이었다. 그의 청바지 주머니는 줄자나 열전대처럼 뭔가 생뚱맞은 도구가 들어있기라도 한 듯 불룩했다. 회사에서 지급한 옷을 시도 때도 없이 입고 다니는 젊은 직원들과 달리 휴즈의 옷장에는 다른 옷도 많았다. 그는 구글 안에서도 여러 부서에서 신경망 연구를 계속해왔다는 소식을 알고 있었다. 실험실에서 아이디어를 점검하는 차원이 아니라 곧 실제 서비스에 적용할 수준이라는 것도. 하지만 별 기대를 하지는 않았었다.

코라도와 딘의 이야기를 가만히 듣고 있던 휴즈는 조심스럽게 한 3년은 열심히 달려들어야 성과가 나올까 말까 하지 않겠느냐고 자기 생각을 말했다.

딘의 생각은 달랐다.

“마음먹고 달려들면 올해 안까지 마무리할 수 있는 일입니다.”

딘은 경력 내내 맡은 임무에 진심으로 매진해 일을 처리하고 사람들을 이끌었다. 사람들은 바로 딘의 이런 뚝심을 좋아하고 존경해 마지않았다. 또한, 딘은 “마음먹고 달려들면 할 수 있다”는 말처럼 진지한 이야기를 할 때도 전혀 어색해하지 않았다.

휴즈는 이내 이 문제에 관해 조만간 다시 이야기할 일은 없으리라 확신하면서도 자기가 이 도전에 걸림돌이 되는 건 원치 않았다. 그는 팀원들에게 계획을 전달했다. “2016년에는 신경망 번역을 접목하는 작업이 우리 팀의 중요 과제가 될 겁니다. 제프 딘의 능력과 비전에 토를 달지 않겠어요.”

바로 다음 달, 이들은 기존 구글 번역기와 슈스터가 개발한 새로운 번역기를 나란히 놓고 비교 실험을 진행했다. 슈스터는 영어-프랑스어로 실험을 해보려 했지만, 휴즈는 다른 조합을 찾아보라고 권했다. “영어-프랑스어 번역은 이미 상당히 정확하고 정교한 수준이라, 새로운 번역기가 뭐가 어떻게 더 좋은지 잘 드러나지 않을 겁니다.”

하지만 슈스터는 신경망 번역이 기존 번역기보다 훨씬 더 정확한 결과를 도출하리라는 것을 확신했다. 기계 번역의 정확도를 평가하는 기준으로 블루 스코어(BLEU score)라는 것이 있었는데, 기계 번역과 사람이 한 평균적인 번역을 비교해 평가하는 것이다. 당시 (기존 번역기의) 가장 높은 블루 스코어는 영어-프랑스어 기준 20점대 후반이었다. 구글 번역팀은 블루 스코어가 1점만 올라도 ‘아주 좋음(very good)’, 2점이 오르면 ‘뛰어남(outstanding)’이란 내부 평가를 해 왔다.

신경망 번역은 영어-프랑스어 번역에 있어서 기존 번역기보다 무려 7점 높은 점수를 받았다.

휴즈는 슈스터와 슈스터의 팀원들에게 지난 4년간 기존 구글 번역팀이 온 힘을 다해 올린 점수가 약 3점이었다는 사실을 털어놨다.

평가 체계에는 문제가 없었다. 구글은 언어학자와 번역 전문가들에게도 자세한 비교, 평가를 부탁했다. 0~6점 사이로 예문을 평가해 매기는 이용자 평점(user-perception scores)은 순식간에 0.4점 높아졌다. 구글 번역기가 처음 선보인 이래 10년 가까이 개선을 거듭해 높인 점수가 그 정도였는데, 신경망 번역은 단번에 그만한 발전을 이룩한 것이다.

3월 중순, 휴즈는 구글 번역팀원들에게 전체 메일을 보냈다.

“기존 번역 시스템과 관련해 진행하던 모든 프로젝트는 오늘부로 잠정 중단합니다.” (뉴욕타임스)

원문보기

10부 보기

 

다음은 오늘 소개한 부분의 영어 원문을 구글 번역기가 우리말로 옮긴 것입니다. (맞춤법, 띄어쓰기, 문장의 종결 어미, 고유명사 등은 일부 고쳤습니다)

—–

 

6. 매복

레의 논문은 신경 번역 그럴듯한였다, 하지만 그는 단지 상대적으로 작은 공공 데이터 세트를 사용했다. (소형 구글, 즉 -.. 실제로 세계에서 가장 큰 공공 데이터 세트였다 이전 10 년은 더 큰 백 천 번 사이였다 생산 데이터를 수집했다 번역) 더 중요한 레의 모델은 하지 않았다 일곱 단어보다 긴 문장 매우 잘 작동한다.

다음 뇌에서 직원 연구 과학자였다 마이크 슈스터는 지휘봉을 집어 들었다. 그는 다른 사람이 것, 구글은 생산 수준이 이론적 통찰력을 확장 할 수있는 방법을 발견하지 않은 경우 것을 알고 있었다. 이 프로젝트는 향후 2 년간 그에게 했다. “뭔가를 번역, 당신은 단지 데이터를 얻는 실험을 실행하고 완료,하지만 그렇게 작동하지 않습니다.”슈스터는 말한다 “당신은 생각”

슈스터는 인 긴장, 집중하는 무두질, 피스톤 모양의 머리, 좁은 어깨, 무릎과 네온 녹색 나이키 Flyknits 아래에 묶여 긴 카모 카고 반바지에있는 영원한. 그는 그의 작은, 무테, 타원형 안경에 도달 로터스 위치에 일어났다. 보존 도토리의 겸손한 부분의 형태로 칼로리를 허용하고 사무실로가는 길에 편안한 사막 종 경기를 완료 것처럼 보인다; 실제로, 그는 만 18 마일 자전거 편도를 타고있어, 나에게 말했다. 슈스터는 전 서독의 고로 지구에, 뒤스부르크에서 성장, 조기 신경 네트워크에서 작동하는 교토로 이동하기 전에 전기 공학을 공부했다. 1990년대에 그는 회의실로 큰 신경 네트워킹 시스템과 실험을 실행; 그것은 수백만 달러의 비용과 지금 시간 이내에 바탕 화면에 할 수있는 뭔가를 주 동안 훈련을 했다. 그는 게시 된 1997 년 종이 거의 십 년 반 동안 인용되었다; 올해는 그 150 배의 주위에 인용되고 있다. 그는 유머가 아니다, 그러나 그는 자주 독일어 구속과 일본의 구속의 자신의 서명을 조합했다 약간의 요철 (凹凸)의 식을 착용 않는다.

문제 슈스터는 얽힌 된 처리했다. 우선, 레의 코드는 사용자 작성하고, 구글이 다음 TensorFlow 개발 된 새로운 오픈 소스 기계 학습 플랫폼과 호환되지이었다. 딘은 이 새로운 시스템에 레의 결과를 복제 이개월 단지 그들을 했다 2015 년 가을에, 다른 두 엔지니어의 Yonghui 우 및 Zhifeng 첸 슈스터 지시. 레 주위했지만 심지어 그는 항상 그들이 한 일의 머리 또는 꼬리를 만들 수 없다.

슈스터가 말했듯이, “물건 중 일부는 전체 의식에서 수행되지 않았습니다. 그들은 일을 왜 그들은 자신을 몰랐어요. ”

올해 2 월, 구글의 연구 기관 – 기업의 느슨한 부문 모두에서 약 천 직원의-기대하고 분류 할 전용 – 웨스틴 세인트 프랜시스에서 오프 사이트 후퇴에 소집 그들의 리드, 유니온 스퀘어 (Union Square), A의 구글의 자신의 샌프란시스코보다 약간 덜 화려한 고급 호텔은 동쪽으로 그렇게 마일이나 가게. 아침은 연구 해안가를 덮 “, 번개 회담”의 라운드 빠른 업데이트를 예약하고, 오후는 부서 간에서 멀리 유휴했다 “용이 토론.”희망은 후퇴가 예측할 수없는, 경사에 대한 기회를 제공 할 수있는 것이 었습니다 , 벨 연구소 틱 성숙한 회사는 다작의 유지 교환.

점심 시간에, 코라와 딘은 맥더프 휴즈, 구글의 이사 번역을 찾아 짝. 휴즈 단독 섭취시키고, 두 뇌 부재 양쪽에 위치했다. 코라가 말했듯이, “우리는 그를 습격.”

“OK, ” 코라 효과에 대한 자신의 숨을 들고 조심 휴즈에게 말했다. “우리는 당신에 게 뭔가.”

엔지니어의 수백의 코드를 10 년 동안 – – 신경 네트워크와 그들은 2016 년 구글의 정밀 검사가 번역 고려하는 좋은 시간처럼 듯 휴즈 말했다. 기존 시스템은 모든 기계 번역 약 30 년 동안 일했다 방법을했다 : 그것은, 각각의 연속적인 문장 조각을 압수 큰 통계적으로 파생 된 어휘 표에 그 단어를 조회 한 후 적절한 엔딩을 부착하고 재 배열하는 후 처리 규칙의 배터리를 적용 모든 감각을 확인한다. 시스템이 다음 구절에 도달하는 시간으로, 이 마지막이 무엇인지 모르기 때문에 접근 방식은 “구문 기반의 통계적 기계 번역 ‘이라고 한다. 의 번역 출력이 가끔 냉장고 자석의 동요 가방처럼 보였다 이유다. 이 함께 온 경우 뇌의 교체, 읽고 한 드래프트에서 전체 문장을 렌더링한다. 과 의미에 가깝다 뭔가 – 그것은 문맥을 캡처한다.

최소한의 수익을 창출 번역, 그것은 아마 항상 것이다 : 말뚝은 낮은 듯 수 있다. 대부분의 영어권 사용자의 경우, 서비스의 성능에도 급진적 인 업그레이드가 거의 예상 증가 범프보다 더 아무것도 환영되지 않을 것이다. 그러나 인간의 품질 기계 번역 단기적인 필요성뿐만 아니라, 장기적으로 매우 높다 개발뿐만 아니라 것으로 판정되는 경우에는, 변형 증명 있었다. 가까운 미래에, 회사의 비즈니스 전략에 매우 중요하다. Google은 인터넷 50 %의 세계 인구의 20 %가 아마도 말한다 영어는 것을 추정한다. 검색 엔진 트래픽 시장 점유율의 대부분은 경쟁 바이 지배 – – 구글이 중국에서 경쟁하려고 한 경우 또는 인도, 괜찮은 기계 번역 인프라의 필수 불가결 한 부분이 될 것입니다. 바이두 자체가 게시한 선구 종이 2015 년 7 월 신경 기계 번역의 가능성에 대해합니다.

‘당신은 단지 데이터를 얻을 실험을 실행 뭔가를 번역하는 생각이 ‘ 다 다시,하지만 아무튼 ‘같은 t 작업.’

그리고 더 먼, 투기 미래에, 기계 번역은 아마도 인간의 언어와 일반적인 전산 시설을위한 첫 걸음이었다. 이 중요한 변곡점을 나타내는 것이다 – 아마도 주요 변곡점을 – 진정한 인공 지능 같은 느낌이 뭔가의 개발.

휴즈는 오는 이 매복을 보았다 그래서 실리콘 밸리에있는 대부분의 사람들은 빠른 속도로 접근 수평선과 같은 기계 학습 알고 있었다. 그는 의심의 여지가 남아 있었다. 지저분 적갈색 머리가 사원에서 어지는 이른 중년의 겸손, 튼튼 내장 사람, 휴즈는 클래식 라인 엔지니어, 보잉 1970년대에 제도 테이블에 장소에서하지 않았을 것이다 장인의 일종이다. 그의 청바지 주머니는 종종 그 주위에 이식 테이프 또는 열전대를 측정하고, 그를 위해 일하는 젊은 사람들의 많은 달리 것처럼, 그는 회사의 기어에 옷장 unreliant가, 꼴 사나운 차원의 호기심 도구 부담을 찾는다. 하지 실험실에서하지만 생산 규모에서 – – 년 동안 거의 소용 그는 다양한 장소 구글과 다른 곳에서 다양한 사람들이 신경 번역 작업을 만들려고 노력했던 것을 알고 있었다.

휴즈는 말에, 자신의 경우를 듣고, 그들은 3년을 해낼 수 어쩌면 것처럼 그에게 소리 것을 조심스럽게 말했다.

딘은 달리 생각했다. “우리가 우리의 마음을 세우면 우리는 올해 말까지 그것을 할 수 있습니다.” 이유 중 하나는 사람들이 좋아 너무 딘 그가 성공적으로 자신의 마음을 퍼팅의 긴 기록했다이었다 존경. 또 그는 같은 진심으로 말을하는 것이 전혀 당황하지 않았다이었다 “우리가 우리의 마음을 넣어합니다.”

휴즈는 변환이 조만간 일어날 수 없습니다 확신했다, 그러나 그는 개인적 이유가 상관하지 않았다. “의 2016 년을 준비하자”고 되돌아가게 되었고, 그의 팀에게 말했다. “나는 제프 딘은 속도를 제공 할 수없는 말을 하나가 될 않을 거야.”

한 달 후, 그들은 마침내 휴즈의 이전과 슈스터의 새로운 시스템을 비교하는 병렬 실험을 실행 할 수 있었다. 슈스터는 영어 – 프랑스어를 실행하고 싶었다, 그러나 휴즈는 다른 무언가를 시도하라고 조언했다. “영어 – 프랑스어,”그는 “개선이 명확하지 않을 것이다 너무 좋다”고 말했다.

그것은 슈스터가 저항 할 수있는 도전이었다. 기계 번역을 평가하기 위한 벤치 마크 메트릭 많은 신뢰성 인간 번역 평균 기계 번역을 비교하는 BLEU 점수 불린다. 당시 영어 – 프랑스어에 가장 BLEU 점수가 높은 20 대에 있었다. 한 점의 개선은 아주 좋은 하였다 두개의 개선이 뛰어난 여겨졌다.

신경 시스템은 영어 – 프랑스어 언어 쌍에 7 점의 기존 시스템에 비해 개선을 보여 주었다.

휴즈는 지난 4 년 동안 자신의 시스템에 강력한 개선으로 절반도 없었했다 슈스터의 팀 말했다.

이 메트릭에 약간의 우연이 아니었다 확실히, 그들은 또한 나란히 비교를 할 인간 계약자의 자신의 수영장으로 향했다. 개발의 전체 수명 기간 동안 기존 시스템의 총 이익이 거의 비슷 – 샘플 문장이 0~6에서 등급 된에 사용자 인식 점수는 0.4의 평균 개선을 보여 주었다.

3월 중순에, 휴즈는 그의 팀 이메일을 보냈습니다. 기존 시스템의 모든 프로젝트는 즉시 정지했다.