— Профессор, вы не специалист по лингвистике. Язык — это игра правил, а вероятность — это ненадёжно, — Пол Гарвин попытался возразить.
Он и правда не верил, что перевод может быть связан со статистикой. Слова соотносятся один к одному. Английские слова — русские слова, прямой перевод, расширение словаря. В то время это считалось правильным подходом. Так называемый метод перебора: если сопоставить все слова, машинный перевод станет реальностью.
Статистика, вероятностный подход — даже если не считать того, что Линь Жань был прав и их некомпетентность вскрылась бы, сама идея казалась интуитивно неверной.
Проще говоря, противоречащей здравому смыслу.
Как до появления больших языковых моделей все считали, что главное — алгоритмы. После GPT все бросились наращивать вычислительные мощности. А с DeepSeek оказалось, что алгоритмы всё-таки имеют значение. Даже ведущие исследователи могут слепо следовать трендам, терять направление и заходить в тупик. В ту эпоху компьютерного хаоса это было вполне естественно.
— Точность? Точность означает ошибки. Современные компьютеры далеки от точности. Вы же знаете, что ваша демонстрация в 1954 году была успешной только потому, что вы специально отобрали те русские предложения. Реальная сложность естественного языка намного превосходит ваши ожидания. Вы только расширили корпус, но не охватили правила и не обработали контекстную зависимость. Вы думаете, что разбираетесь в машинном переводе лучше меня?
Линь Жань закричал:
— Вы работаете уже девять лет безрезультатно! Немедленно делайте так, как я сказал!
Его статус, сила и власть не оставляли им выбора. Уотсон верил Линь Жаню после проекта Deep Blue, а Макнамара из Пентагона соглашался с ним во всём. Кто вы, компьютерщики, чтобы спорить с математическим гением о компьютерах?
Макнамара ещё не забыл блестящих выступлений Линь Жаня в теории игр и статистике. Генеральный директор IBM поддерживал Линь Жаня, министр обороны поддерживал Линь Жаня, и исследовательской группе Джорджтаунского университета оставалось только смириться.
— Нам нужно сделать пять вещей: оптимизировать алгоритмы и правила, расширить корпус и словарь, улучшить эффективность обработки данных, внедрить статистические методы и максимально использовать аппаратное обеспечение. Две последние задачи берёт на себя IBM. Остальные три — команда Джорджтаунского университета.
Начнём с оптимизации алгоритмов и правил. Ваша главная проблема в том, что при расширении правил вы не вводили более детальных синтаксических правил. Из-за ограниченной памяти вы решили, что достаточно расширить словарь. На самом деле синтаксические правила гораздо важнее. Вам нужно ввести часто встречающиеся шаблоны предложений и обрабатывать контекстную зависимость, чтобы при переводе слова учитывались соседние слова через ограниченное контекстное окно и уменьшалась неоднозначность. Например, слово «свет» может означать и «свет», и «мир» — это легко определить по предыдущему слову.
Уотсон робко заметил:
— Профессор, вы ещё и русский знаете?
— Конечно, — ответил Линь Жань как само собой разумеющееся. — Я встречался с Королёвым дважды, как бы я общался с ним без русского? Я владею русским, немецким, английским и китайским.
Статус полиглота придавал его теории больше убедительности. В ту эпоху учёные, знающие несколько языков, не были редкостью. Конечно, некоторые спецслужбы могли относиться к этому с подозрением. Например, Джон Маккарти, упомянутый ранее, свободно владел русским, так как с детства воспитывался на русском языке, хотя родился в Америке.
— Процесс перевода должен быть модульным, а не простым отображением. Он должен состоять из трёх частей: предобработка, перевод и постобработка. Предобработка включает токенизацию и нормализацию словоформ; перевод — это отображение по словарю; постобработка — корректировка порядка слов. Это снизит вычислительную сложность и повысит эффективность использования правил!
Слова Линь Жаня вдохновили членов исследовательской группы. Будто они блуждали в джунглях Вьетнама, и вдруг в небе появился луч света, указывающий путь из лабиринта. Все с нетерпением ждали, когда смогут попробовать. Исследователи лихорадочно записывали слова Линь Жаня в блокноты. Хотя они не были уверены, сработает ли метод профессора, но иметь направление лучше, чем ничего. К тому же, если плохо запомнить, профессор мог уволить их одним словом.
— Итак, мы обсудили простые вещи. Теперь самое сложное. Поскольку компьютеры IBM не такие мощные, мы можем использовать только простые статистические методы, чтобы повысить точность перевода. Я называю это частотным выравниванием слов. Это ядро нашей статистической модели.
Сначала мы вручную анализируем параллельные предложения и размечаем соответствия между русскими словами или фразами и их английскими переводами.
Русское предложение: «Мы говорим о мире». Английский перевод: «We speak about peace». Выравнивание: «мы» — «we», «говорим» — «speak», «о» — «about», «мире» — «peace».
Затем мы подсчитываем частоту таких соответствий. Частоту появления каждого русского слова или фразы в английском переводе. Например, в корпусе слово «говорим» в 80% случаев переводится как «speak», а в 20% — как «talk». Так мы можем построить таблицу вероятностей. Собрав эти вероятности в таблицу, мы можем использовать её для поиска. Из-за ограниченной памяти мы пока храним только высокочастотные пары, например, 1000 самых частотных, игнорируя низкочастотные. Когда при переводе слова возникает несколько вариантов, машина выбирает наиболее вероятный, сверяясь с таблицей вероятностей.
Кроме того, мы подсчитываем частоту совместного появления соседних слов. «Мы» часто встречается с «говорим», что соответствует «We speak». При переводе машина будет отдавать приоритет этой комбинации. Используя правила для стандартных случаев и статистику для неоднозначных, мы компенсируем недостатки правил!
Линь Жань дал им хороший урок статистики. Но это было только начало. Исследовательской группе предстояло ещё много работать над деталями, настройками и оптимизацией. Однако одно лишь внедрение вероятностного подхода уже вызвало у ветеранов Джорджтаунского проекта чувство озарения. Оптимизация алгоритмов и правил казалась им логичной, но они не были уверены, сработает ли она на практике. А внедрение статистических методов, судя по всему, должно было значительно улучшить работу Джорджтаунского переводчика.
В конце дня в маленьком ресторанчике недалеко от базы «Редстоун» Гарвин и Достерт сидели в углу с двумя кружками местного пива.
Гарвин отложил блокнот и вздохнул:
— Леон, мы что, идиоты?
После сегодняшнего дня Гарвин усомнился в себе. Линь Жань представил целостное решение, и многие его пункты они сами обдумывали, но не знали, как реализовать, а некоторые даже не приходили им в голову. Почти десять лет работы целой группы оказались менее плодотворными, чем одна лекция Линь Жаня.
— Идеи профессора не просто опережают время — они слишком практичны. Кажутся фантастическими, но если подумать, они невероятно реалистичны. Даже ещё не начав, я уже вижу, насколько лучше будет работать Джорджтаунский переводчик после внедрения этой системы, — продолжал Гарвин.
Теперь он понимал, почему исследователи и инженеры NASA терпели резкость Линь Жаня: разрыв был слишком велик, и они были благодарны ему. Особенно метод подсчёта частоты совместного появления соседних слов — казалось бы, простой, но они до него не додумались. А использование статистики для разрешения неоднозначностей было для них вообще за гранью.
Достерт повернулся и горько улыбнулся:
— Я тоже всё обдумываю. Его статистические методы звучат как научная фантастика, но результат налицо. Я оцениваю, что под руководством профессора качество Джорджтаунской системы перевода значительно возрастёт. Нам не придётся подбирать короткие предложения, система сможет работать в более широком спектре, а не только в военной сфере.
Гарвин кивнул:
— Да, сначала я не верил. Язык ведь управляется правилами, как он может зависеть от статистики? Но он заставил меня замолчать фактами. Не зря он профессор — его проницательность выходит за рамки отдельных дисциплин.
Достерт задумался:
— Ты прав, он словно видит суть машинного перевода. Возможно, это результат математической подготовки. Боюсь, что после долгого общения с профессором я тоже захочу получить степень по математике.
Гарвин удивлённо посмотрел на него:
— Докторскую по математике? Не шути.
— Я серьёзно, — ответил Достерт. — Если математика помогает лучше понимать суть вещей, я бы не отказался от степени по статистике.
Гарвин помолчал и улыбнулся:
— Если ты пойдёшь, я тоже.
Достерт поднял кружку, пиво почти переливалось через край:
— За профессора! Профессор принесёт нам победу!
Гарвин улыбнулся в ответ:
— За него! Жаль только, что у профессора такой крутой нрав.
Тем временем два инженера IBM, Касберт Херд и Питер Шеридан, тоже были глубоко впечатлены.
Касберт потер виски и спросил:
— Питер, как думаешь, статистическая модель профессора сработает?
Питер отложил ручку и улыбнулся:
— Касберт, признаюсь, сначала я был настроен скептически, но теперь я полностью убеждён. Профессор не только заставил IBM 7090 работать на полную мощность, но и дал переводчику хотя бы вероятностную опору вместо хаоса.
Касберт кивнул:
— Похоже, ребята из Джорджтауна тоже так считают. Ты видел, как изменилось отношение Гарвина — от скептицизма к внимательному слушанию. Профессор оптимизировал алгоритмы безупречно.
Питер горько усмехнулся:
— Магия? Как один из величайших математиков современности, возможно, даже без «одного из», профессору статистика кажется просто игрой в судоку. Я и не думал, что он так искусно соединит теорию вероятностей и лингвистику. Раньше мне такое и в голову не приходило.
Касберт с любопытством спросил:
— Профессор отлично говорит по-русски, сегодняшние фразы были просто безупречны. Он работает в нескольких областях сразу. Вряд ли в США найдётся кто-то ещё, способный предложить такое решение. Как думаешь, у профессора нет связей с Советским Союзом?
Питер возразил:
— Если бы профессор был связан с Советами, разве он был бы в Америке? Если бы я был Хрущёвым, я бы ни за что не позволил такому таланту работать в Белом доме. Даже если он мог бы добывать технические секреты NASA, они не стоят его самого. А ты представляешь, если бы профессор был в Москве и работал с Королёвым? Смогла бы Америка выиграть космическую гонку?
Касберт покачал головой:
— Нет, никогда.
— Значит, если бы у профессора были связи с Советами, он бы уже давно был в Москве и руководил бы высадкой на Луну, — улыбнулся Питер.
Учёный может симпатизировать Советам, но учёный, способный изменить баланс сил, — вряд ли.
Если они были впечатлены академическими достижениями Линь Жаня, то Уотсон был впечатлён им во всех аспектах. Как и Джон Морган, но по-своему.
— Профессор, как вам пришла в голову идея использовать выставочный центр для создания корпоративного имиджа? — спросил Уотсон, поднимая бокал с красным вином.
Выставочный центр Deep Blue рядом с Таймс-сквер принёс IBM огромную известность. Таймс-сквер всегда была достопримечательностью Нью-Йорка, и каждый турист хотел её посетить. А выставочный центр Deep Blue, оформленный в стиле, не свойственном той эпохе, привлекал всеобщее внимание. В сочетании с единственным в своём роде шахматным ИИ, который мог играть с человеком, это производило на людей того времени ошеломляющее впечатление.
Традиция американских компаний демонстрировать свои технологические достижения и рекламировать продукцию через публичные выставки уходит корнями в английскую эпоху. От первых поездов Стефенсона до пароходов — англичане собирали публику и широко освещали это в газетах. Самым успешным американским примером были лампочки Эдисона, а затем телефон Белла. Но они давали лишь мгновенный эффект. Только когда продукт входил в повседневную жизнь, у людей складывалось более глубокое впечатление о компании и бренде.
А выставочный центр Deep Blue оставлял неизгладимое впечатление у каждого посетителя. В их сознании IBM = искусственный интеллект = высокие технологии. Это было не просто связывание бренда с ИИ — это закладывало основу для того, что когда Белый дом решит конкурировать с СССР в области ИИ, у них не будет другого выбора, кроме IBM.
Таким образом, совет Линь Жаня обеспечил IBM самого крупного клиента в мире, причём с долгосрочным контрактом на десятилетия. Джон Морган из General Space, получая контракты от NASA, хотя бы давал Линь Жаню акции. А Уотсон не дал ничего. Даже если бы Линь Жань назвал его дураком в лицо, Уотсон только бы согласился.
— Я считаю, что такой искусственный интеллект, как Deep Blue, должен произвести на публику неизгладимое впечатление, а не демонстрироваться только внутри IBM. А почему для оформления был приглашён художник? Обычный театр не достоин Deep Blue.
Уотсон улыбнулся и кивнул:
— Очень разумно. Когда я впервые увидел «Ковчег технологий», у меня было ощущение, что он не из нашего времени. Именно благодаря вам появились Deep Blue и «Ковчег технологий». Я должен выпить за вас, профессор.
Даже Хокинг пришёл бы чокнуться. Перед Линь Жанем и Уотсон должен был поднять бокал.
Уотсон продолжил:
— Профессор, от имени IBM я выражаю вам глубочайшую благодарность. Не только за Deep Blue, но и за ваш неоценимый вклад в проект Джорджтаун-IBM. Ваши новаторские методы приведут к прорыву в нашей системе машинного перевода.
Хотя прорыв ещё не был достигнут, Уотсон уже был полон уверенности.
Линь Жань кивнул:
— Это моя обязанность. Кроме того, Уотсон, я считаю, что мой вклад в IBM — как в Deep Blue, так и в Джорджтаунский переводчик — невозможно измерить деньгами.
Линь Жань нисколько не скромничал. Улыбка Уотсона застыла:
— Профессор, мы предложим вам достойное денежное вознаграждение.
— Мне не нужны деньги, — покачал головой Линь Жань.
Уотсон подумал и согласился: действительно, он никогда не слышал, чтобы профессор интересовался деньгами. Но просить акции было слишком.
— Профессор... — начал Уотсон.
— Мне нужно, чтобы вы выполнили одно небольшое условие, — перебил его Линь Жань. — Если вы не сможете его выполнить, возможно, мне придётся серьёзно рассмотреть сотрудничество с General Electric.
General Electric — знакомое имя. Уотсон прекрасно знал о связях Линь Жаня с семьёй Морганов. GE тоже производила компьютеры. Хотя они не делали мэйнфреймы, их серия GE-225, транзисторный компьютер, использовалась для расчёта зарплат, управления запасами и бухгалтерского учёта. У GE были возможности и капитал. Если бы к ним присоединился Линь Жань, обладающий авторитетом и притягательностью, это действительно могло бы стать серьёзной угрозой для IBM.
Голос Уотсона смягчился:
— Профессор, чего вы хотите?
— «Серии лабораторий излучения Массачусетского технологического института».

Комментарии

Загрузка...