Глава "Яндекс.Переводчика" — о том, как искусственный интеллект меняет мир
Обрабатывая данные, нейросеть не просто следует некоему алгоритму, а ищет пути решения задачи, фактически учится её решать. И чем больше задач она выполняет, тем лучше с ними справляется. Именно за это сходство с принципом работы человеческого мозга нейросети стали называть искусственным интеллектом.
Последнее время всё больше и больше IT-компаний применяют нейросети: так, в сервисах поиска и перевода их уже используют Google и Facebook.
Технология, разработанная командой "Яндекса", объединяет два подхода в переводе: статистический и нейросетевой. У статистического переводчика "хорошая память": он запоминает перевод красивых и сложных оборотов и "не фантазирует", но при этом разбивает предложения на куски и плохо связывает их между собой.
Нейросеть же, в свою очередь, переводит не кусками, а целыми предложениями, поэтому перевод получается куда более похожим на речь человека, говорят в компании.
"Текст переводят обе модели, а затем алгоритм на основе метода машинного обучения CatBoost сравнивает результаты и предлагает лучший. Преимущество гибридной системы в том, что она позволяет взять лучшее от каждого метода и повысить качество перевода", - говорится в заявлении компании.
Русская служба Би-би-си поговорила о будущем искусственного интеллекта с Дэвидом Талботом, недавно возглавившем "Яндекс.Переводчик".
До этого Талбот работал в Google, где руководил группой специалистов, чьей задачей было "объяснить" машинам принципы функционирования естественных языков (тех языков общения людей, которые не были созданы искусственно, как, например, эсперанто).
Би-би-си: Может показаться, что с таким бурным развитием технологий, которое мы наблюдаем последние годы, гуманитарная наука и специалисты этой области будут всё менее и менее востребованы. Вы работаете долгое время в сфере IT, но также имеете диплом Оксфорда по лингвистике и литературе. Что скажете: гуманитарии и правда скоро будут никому не нужны?
Дэвид Талбот: Нет никакой угрозы для человека из гуманитарной среды со стороны сферы IT. Она и, в особенности, сфера искусственного интеллекта определенно сделает революцию в гуманитарных науках. Она станет для них инструментом, дополнением к человеческим возможностям. Приведу такой пример. У меня есть друг, который работает в сфере социальных наук. Он занимается историческими исследованиями. Как-то ему нужно было изучить археологические раскопки. Он должен был просмотреть тысячи статей и в итоге попросил своих несчастных аспирантов прочитать их за него. То есть он мог бы заменить аспирантов… И позволить им заняться чем-то более интересным.
Он мог бы [вместо них] использовать автоматические системы, построенные на искусственном интеллекте, чтобы вникнуть в суть текстов и вычленить из них информацию, которая была ему необходима. И по-прежнему он будет влиять на науку, это он будет делать гипотезы, это он будет привносить в рабочий процесс дух креативности и новые идеи. Я не говорю, что ИИ не может быть креативным в некоторой степени. Но в большинстве случаев он не станет заменой людям, которые работают в сферах, требующих квалификации. Этого не стоит ожидать хотя бы в ближайшее время.
Би-би-си: А будут ли IT-компании нуждаться в гуманитариях в будущем?
Д.Т.: В нашей области, а мы работаем над переводом и обработкой естественного языка, действительно есть нужда в лингвистах. Нам правда важно их умение понимать языки. Компьютеры очень хорошо определяют принципы [устройства языка], но увидеть расклад возможностей… Другими словами, если мы запускаем эксперимент и у нас нет определенных границ, которыми мы могли бы руководствоваться, даже пускай они были бы очень примитивными (а эти границы идут именно из области лингвистики), если у нас нет этих границ, то мы просто потеряемся в нашем исследовании. И поэтому в области машинного перевода, обработке естественного языка, лингвисты действительно нужны.
Однако, я думаю, мы увидим это [взаимодействие] скорее в обратном направлении: увидим, как ученые-гуманитарии используют ИИ. У меня есть друг, который, кажется, профессор философии в Англии, он изучал историю идей. Он взял где-то с десяток разных концепций и хотел проследить их развитие во времени. Он сделал простой анализ на основе искусственного интеллекта и корпусной лингвистики.
То есть он проанализировал то, как определенные слова использовались в разное время. И увидел, как менялось их значение, насколько разные точки зрения об одной и той же концепции были в текстах разных эпох. Он никогда бы не провел это исследование без даже простейшего ИИ.
Мы лишь в начале пути! В таких компаниях, как "Яндекс" или Google, люди много работают над передовыми нюансами ИИ, учат его выполнять очень узкие задачи: например, [осуществлять] машинный перевод, поиск, исправление опечаток. Но все эти "навыки" ИИ в итоге будут использоваться в совершенно разных областях. То есть, возможно, студенты… Я не знаю, как давно вы учились в университете. Вы писали свои доклады от руки или на компьютере?
Би-би-си: На компьютере.
Д.Т.: Ага, на компьютере. А когда я учился, их писали от руки. Видите, кое-что уже изменилось. Возможно, последующие поколения будут писать как-то совершенно по-другому. Вы, может быть, видели в "Яндекс.Переводчике", что пока вы набираете слово, он предлагает вам продолжение фразы. То есть если вы напишете "how", он может предложить "are" и далее - "you" ["How are you?" - в переводе с англ. "Как вы поживаете?"]
И вам в итоге даже не нужно ничего писать. Вот такая функция - не в ее нынешней форме, а в будущем - могла бы сослужить хорошую службу гуманитариям, помочь им строить свои тексты. Это не конфликт.
Би-би-си: То есть вы считаете, что гуманитарии и технари будут нуждаться друг в друге?
Д.Т.: Да, я думаю, это будет работать в обе стороны.
Би-би-си: А что же будет с переводчиками-синхронистами? Станут ли сервисы вроде "Яндекс.Переводчика" им заменой?
Д.Т.: Если честно, я на это надеюсь. Потому что синхронный перевод - это очень нервная работа. Посмотрите на синхронистов высшего уровня, тех, кто работает в ООН, - они не переводят дольше двадцати минут подряд. Но всегда существует вероятность того, что ситуация потребует от человека дополнительных навыков, которые делают его незаменимым.
Например, можно легко представить ситуацию, когда переводчик на деловой встрече не просто переводит речь, а помогает преодолевать культурный барьер. То есть понимает и может предложить что-то обеим сторонам, понимает разницу между манерой их общения и культурой. И вот это, конечно, никуда не уйдет. Но, возможно, самая стрессовая и требующая максимальной аккуратности часть этой работы просто перейдет в руки компьютерам.
Би-би-си: Не получится ли так в будущем, что технологии с использованием нейросетей станут доступными даже для небольших сайтов и они будут справляться с переводом своими силами, а в "Яндекс.Переводчике" не будет нужды?
Д.Т.: Прямо сейчас в мире около пяти, я бы сказал, компаний, которые развили серьезную мощность в машинном переводе. Это Google, Facebook, Baidu, Yandex… Пятая вылетела из головы, но тем не менее. Мы сейчас проходим через период значительных изменений в машинном переводе. Я работал над ним в Google, а изначально занимался этим еще в аспирантуре в 2003 году или даже раньше. В Google, где я работал пять лет, проект был очень вдохновляющим, особенно в тот момент, когда я к нему присоединился в 2007-2008 годах.
Но постепенно он стал входить в плато: качество перестало расти, и это очень расстраивало. Стало очень сложно делать какие-то принципиально новые вещи. То есть мы проводили эксперименты, но они давали только совсем небольшое улучшение, и это было не то, что стоило бы внедрять в производство. Это, кстати, была одна из причин, по которой я покинул проект.
Оказалось, что примерно в то же время, но в другом месте люди работали над совершенно иным подходом к машинному переводу - так называемым нейронным переводом. И это был прорыв. У него был ошеломительный эффект. Кардинально новое качество. И это давало огромную мотивацию там работать. Нейронный перевод гораздо свободнее "чувствует" язык. Он анализирует целое предложение или даже, потенциально, большие отрывки. Таким образом, мы можем успешнее согласовывать слова между собой. Особенно это важно в русском языке, в котором столько правил морфологии, я сам в них постоянно путаюсь. Я не говорю, что такой перевод совершенен, но нейронные сети делают его в целом значительно качественнее.
И с одной стороны, нейросети демократизировали область перевода. Ведь сейчас небольшой команде - в университете или стартапе - гораздо проще создать довольно хорошую систему. Но у больших компаний - таких, как "Яндекс" - все равно остаются преимущества. И я думаю, что именно поэтому мы здесь пока не очень нервничаем, хотя и продолжаем фокусироваться на качестве.
Небольшая команда действительно может построить хорошую систему, на уровне тех, что делал "Яндекс" несколькими годами ранее, легко и с минимальными затратами. И если бы наша компания не развивалась с того времени, то нам пришлось бы трудно.
Вот сейчас мы внедряем нейронный перевод. Мы на самом деле презентуем инновационный подход: нейронный перевод более гладкий, он больше заточен на грамматику, и он рассматривает контекст. Есть и другой подход, статистический, его называют фразовым машинным переводом. В этом случае предложения разбиваются на куски. И тут недостаток в том, что, бывает, эти куски друг с другом не сходятся. Но обычно они сами по себе очень хорошо переведены. Это как огромный словарь, в котором не просто слова, а целые фразы.
Мы заметили очень хороший результат у гибридного подхода: когда мы используем технологию, разработанную в "Яндексе", CatBoost. Это классификатор машинного обучения, который просто выбирает то, каким методом лучше в данный момент перевести текст - нейронным или фразовым.
Би-би-си: Учитывая то, как сейчас быстро развивается разговорный язык, во многом благодаря интернету, хочется задать вопрос: как программы-переводчики справляются с наплывом новых слов?
Д.Т.: Это хороший вопрос. И это то, с чем "Яндексу", как поисковику, уже приходилось сталкиваться. Самая главная здесь проблема в том, что, когда возникает новое слово, имя или название продукта, новое сленговое словечко, и люди ищут его в "Яндексе", а мы его не знаем, то мы рассматриваем его как опечатку. И делаем нечто ужасное - мы пытаемся его исправить! Но пользователь-то знает, что он прав. И поэтому в "Яндексе" у нас есть такой механизм - он называется "свежий подход" - и им, кстати, занимается как раз наша команда: разработчики сервиса машинного перевода и служба исправления опечаток.
Например, есть запрос, которого мы раньше не встречали, который при этом часто используется в потоке запросов. Мы включаем его в нашу модель, мы можем вычислить его и уже не станем исправлять. Так происходит в системе нейронного перевода. Мы замечаем слова, которые не имеют логичного перевода или вообще никак не переводятся. Особенно отмечаем те, которые не занесены в словари.
Хотя мы и используем фидбек от наших пользователей, чтобы улучшить перевод, мы также и обращаемся к нашим лингвистам, которые проверяют определенные статьи. Мы также можем, вполне естественным образом сканируя информацию в интернете и изучая данные, с большой вероятностью понять, что незнакомые слова значат.
И это одна из тех причин, почему кажется, что нейронный и статистический переводы превосходят тот, что основывается на правилах языка. Потому что в случае перевода, который основывается на правилах, нужно было бы постоянно вручную добавлять новые слова.
Би-би-си: Расскажите о своем переходе в "Яндекс". Вы пришли сюда прямиком из Google?
Д.Т.: В мои планы совсем не входило предавать Google и уходить в "Яндекс", что вы! Я уже давно был связан с "Яндексом" - через Школу анализа данных (ШАД). Это замечательная программа, на которую отбираются самые талантливые студенты факультетов информатики и математики в московских вузах и других городах.
В ее рамках проходят такие курсы, которые не всегда доступны даже в самых лучших вузах страны: машинное обучение, обработка естественного языка, машинный перевод. Я работал в московском офисе Google почти два года, в 2013-2014 годах, и примерно в это время попал в ШАД, где встретился с потрясающими студентами. Стандартный математический базис, который вы получаете в старшей школе и на первых курсах университета, просто выдающийся.
Би-би-си: В России, вы имеете в виду?
Д.Т.: Да, в России. Я был крайне впечатлен. И мне было очень приятно стать частью этого проекта. Потом я вернулся в Лондон, инженеры московского офиса Google должны были вернуться(Google закрыла свой инженерный отдел в России в 2014 году - Би-би-си). В итоге мы оказались в Лондоне, но я все равно возвращался в Москву по нескольку раз за год, чтобы преподавать в ШАДе. А после ухода из Google я вообще собирался основать стартап.
Таков был мой план. Однажды я в очередной раз приехал в Москву, чтобы провести курс. И как-то разговаривал с Мишей Биленко, который незадолго до этого возглавил в "Яндексе" управление машинного интеллекта и исследований. Он меня заразил, увлекательно рассказывая про все это. Благодаря ШАДу я имел представление о том, какая сильная команда инженеров-разработчиков в "Яндексе". Ну, и я пришел. И это восторг. Я в "Яндексе" уже около трех месяцев.
Би-би-си: Вы ощущаете какую-то разницу в работе компаний?
Д.Т.: Есть пара моментов. "Яндекс", как и Google, обладает эдаким инженерным мышлением. То есть решения принимаются, основываясь на данных, а не на чьих-то субъективных решениях. Действия должны быть чем-то оправданы. И это очень демократично. Люди должны все подкреплять фактами. То же самое вы увидите и в Google. Большое отличие же в том, что "Яндекс" сильно меньше. И у каждого отдельного разработчика здесь огромное количество ответственности. А в Google у меня иногда возникало ощущение, что там большое количество людей делают одно и то же. У вас есть множество инженеров и очень интересная задача - и они как бы делят этот пирог между собой.
В "Яндексе", я думаю, такой проблемы нет. Здесь каждый сотрудник занят чем-то увлекательным. И мне это очень нравится. А учитывая, что это российская компания… Ну, понятно, что все говорят на русском [смеется]. И мой русский тоже стал лучше! Я изучал его много лет назад и не использовал лет 15. Я надеялся, что теперь мне удастся восстановить эти знания, и они действительно ко мне возвращаются. Я, конечно, вам свои успехи демонстрировать не буду [смеется].
Что еще? Ну, конечно, есть какие-то административные моменты. Нужно подписывать гораздо больше бумаг, например. Но это не выбор "Яндекса" [смеется]. Вот это ощущается, да.
Би-би-си: Насчет вашего перехода в "Яндекс": со стороны может показаться подозрительной история, когда Google внедряет технологии с использованием нейросетей в свой переводчик, а потом один из разработчиков Google Translate приходит в "Яндекс", после чего уже и "Яндекс" объявляет, что тоже начинает использовать нейросетевые алгоритмы в сервисе перевода…
Д.Т.: Ой, что вы, нет-нет-нет! Начнем с того, что мы не используем ничего подобного тому, что использует Google. Я не знаю, что они на самом деле там у себя сделали, но по результатам они опубликовали статью, в которой описали свою технологию. Я им доверяю, я знаю этих людей.
Мы тоже экспериментировали с подобной архитектурой сети, получили хорошие результаты в некоторых языках, но мы хотели сфокусироваться пока именно на переводе с английского на русский. И для этой пары языков мы вдруг нашли совсем другую архитектуру, организация нейронов в ней совершенно другая. Вообще, что меня действительно радует в мире технологий глубокого обучения, нейронных сетей и машинного перевода, так это то, что большинство людей открыто публикуют свои разработки в этой сфере.
Конечно, нет открытого источника, из которого можно было бы узнать, как именно Google внедрял нейросети, но есть множество инструментов, открытых и доступных, и некоторые из них разработаны как раз людьми из Google. И с ними можно свободно экспериментировать. Это, вероятно, новая такая - терпеть это слово не могу - парадигма!
Люди уже заметили, что обнародование разработок несет лишь преимущества. И это развивает всё сообщество: ведь, чем больше людей экспериментирует с вашей технологией, тем больше они найдут в ней ошибок или изобретут для нее обновления. Так что, я помогал "Яндексу" в последние месяцы, но я не могу заявлять, что… В общем, они еще до меня уже много чего сделали для создания такой гибридной модели. Они уже над этим давно работали.
Би-би-си: "Яндекс" заявляет, что теперь качество его перевода - лучшее в мире...
Д.Т.: В данный момент мы оцениваем его с помощью стандартной внутренней метрики, автоматизированной. И согласно ей, мы действительно лучше наших конкурентов. Но это только в переводе с английского на русский, и это пока только начало. У русского языка настолько сложная конструкция, что нейросети могут значительно повысить эффективность его перевода.
Би-би-си: А нужно ли вообще будет учить языки в мире, где есть совершенные онлайн-переводчики?
Д.Т.: Понимаете, довольно большая часть наших пользователей - это школьники, которые учат языки. Возможно, есть разница между тем, сколько они нас используют для изучения языка, и тем, сколько они используют наш сервис, выполняя домашнее задание. Они, таким образом, вовлекаются, и я думаю, что в итоге это оказывает на них позитивное влияние. Учить язык - это далеко не только заучивать слова и уметь переводить тексты. Учить язык - это про то, что ты начинаешь понимать некоторые идеи, которые в твоем языке не отражены, но отражены в чужом. Ты также начинаешь вникать в иную культуру.
Я думаю, что мы конечно достигнем того уровня, когда будем сидеть рядом, говорить на разных языках и параллельно переводить речь через сервис перевода. Но я думаю, что даже в таком случае люди будут продолжать учить языки. Ведь так много людей в мире это делает, это очень популярно. Даже когда на то нет явной причины. Просто это увлекательно и развивает мозги. Поводов может быть море и помимо расширения границ общения.
Би-би-си: Вы упомянули синхронный перевод. В онлайн-переводчиках сейчас есть функции распознавания текста на загруженном изображении, то есть перевод текста с картинок. Получается, однажды мы сможем сделать что-то типа перевода в дополненной реальности: например, сможем наводить на уличные вывески камеру смартфона и "в прямом эфире" видеть их перевод. Вы не планируете ничего подобного в "Яндексе"?
Д.Т.: О, конечно, это очевидный вариант развития событий. Просто это такая функция, которая требует некоторого улучшения существующих технологий. Сейчас можно снять фотографию, потом можно будет снять видео. Это лишь вопрос времени и качества видеопотока, а последнее - довольно сложная задача в вычислительном отношении. Сейчас, возможно, сложно себе это представить, но это проблема, которую мы сможем решить, просто, очень-очень медленно. Я даже не знаю... Может быть, года через два? Обычно, очень сложно предугадать такие вещи, но выглядит так, будто это вполне в наших силах.
И у нас, кстати, уже кое-что есть по теме дополненной реальности. Так как мы хотим, чтобы все больше людей стремилось использовать "Яндекс.Переводчик" для изучения языков, мы думали, может быть, сделать что-то в духе дополненной реальности, где… Ну, вы, наверное, знаете, это традиционное упражнение, когда вы учите новый язык, вы прилепляете стикеры на окружающие вас предметы - на стулья, столы и тому подобное. А что, если вы просто будете направлять камеру своего телефона на предметы, а он будет вам показывать, что это? И мы на это способны - мы умеем распознавать изображения и можем переводить названия на них. Да, это немного сложно сейчас, с точки зрения вычислительных мощностей, но это абсолютно реально.
Би-би-си: Хотите ли вы, возглавляя "Яндекс.Переводчик", вывести его на международный уровень, сделать конкурентом тому же Google Translator вне России?
Д.Т.: Пока не очень понятно, но что мы с уверенностью можем утверждать - это то, что мы больше всего сейчас сфокусированы на том, чтобы улучшать наш сервис для пользователей "Яндекса". А они в большинстве своем русскоговорящие. Это для нас первоочередная цель. С другой стороны, у нас уже есть API, с помощью которого компьютер может соединяться с нашим сервисом напрямую, не через веб-интерфейс. И пользователей API (набор функций, доступных для использования другими разработчиками - Би-би-си) за пределами России у нас достаточно. Цена разумная, и они видят, что качество на высоком уровне. Таких клиентов у нас полно из абсолютно разных областей: даже, например, из сферы медиа, где необходимо обрабатывать огромное количество информации на разных языках.
Би-би-си: А каким вы видите следующий шаг? Какие у "Яндекс.Переводчика" сейчас главные приоритеты?
Д.Т.: Мы просто обязаны сделать так, чтобы процесс перевода стал совершенно незаметным и гораздо более простым.
Би-би-си: А разве им сейчас сложно пользоваться?
Д.Т.: Им сложно пользоваться в том смысле, что вам надо пойти и начать им пользоваться. Перевод должен происходить просто и автоматически. Когда вы читаете что-то в интернете, это должно автоматически переводиться. Хочется, конечно, чтобы перевод стал супербыстрым. Люди не переводят для того, чтобы перевести слова. Они переводят потому, что хотят с кем-то общаться, стремятся что-то понять.
И мы должны сделать так, чтобы у них была эта возможность. Перевод должен происходить по дефолту. Тогда коммуникация станет абсолютно безграничной, а нам не нужно будет думать об использовании какого-то приложения.
