Размышляя об этом, Чэнь Линь открыл Вичат на компьютере, нашёл контакт Бай Цяня и отправил ему документ, который только что привёл в порядок.
Чэнь Линь: «Доктор Бай, я закончил составлять полное математическое обоснование и алгоритмическое предложение для новой архитектуры. Только что отправил вам документ. Пожалуйста, взгляните».
Спустя всего несколько секунд он получил ответ.
Бай Цянь: «Принял! Президент Чэнь, я сейчас же ознакомлюсь!»
Чэнь Линь улыбнулся. Отвечать он не стал, вместо этого поднялся и направился в комнату отдыха, чтобы приготовить себе чашку кофе.
Вернувшись к рабочему столу с кофе, он открыл браузер и принялся просматривать новости.
Мир технологий, как внутри страны, так и за рубежом, в последнее время буквально бурлил из-за опубликованной им статьи о ДЖЕМЫ.
Бесчисленные ИИ-компании и исследовательские институты лихорадочно пытались внедрить предложенный им алгоритм в свои рабочие процессы обучения моделей.
И, судя по многочисленным техническим дискуссиям и отчётам об экспериментах в сети, результаты были поистине выдающимися.
Уровень «галлюцинаций» моделей в среднем снизился на 60–80%.
Без сомнения, это был революционный шаг вперёд для всей индустрии искусственного интеллекта.
Тем временем оценки и рыночные позиции ИИ-гигантов, которые прежде полагались на свои технологические «рвы» для получения прибыли — таких как «Клоуз Эй Ай» и «Икс Эй Ай», — начали быстро падать.
И наоборот: технологические гиганты, которые ранее немного отставали в плане технологий, но обладали глубокими карманами и обширной пользовательской базой — например, «Джайант Хард», «Амазон» и «Эппл», — увидели, как производительность их моделей быстро догнала, а то и превзошла «Клоуз Эй Ай» после внедрения алгоритма Чэнь Линя. В результате их акции взлетели в цене.
Весь ландшафт индустрии ИИ перекраивался с небывалой скоростью.
И катализатором всего этого стала статья Чэнь Линя с открытым исходным кодом.
Чэнь Линь наблюдал за жаркими дискуссиями в сети, сохраняя полное спокойствие.
«Именно таким и должен быть технический прогресс».
«Открытость, обмен знаниями и итерации».
«Если бы каждый прятал свои исследования, боясь, что другие чему-то научатся, как бы человеческая цивилизация вообще могла двигаться вперёд?»
С этой мыслью Чэнь Линь закрыл браузер и снова сосредоточился на работе.
«Проект по ИИ только начался. Пришло время вложить в него все силы».
Чэнь Линь взглянул на финансовые отчёты компании, которые прислала ему Хуан Ии.
На счету оставалось более трёх миллионов — этого хватило бы на покрытие расходов компании на ближайшие несколько месяцев.
К тому же, в прошлом месяце «Маленький финансовый планировщик» принёс ему более тридцати миллионов дохода.
О деньгах можно было не беспокоиться.
Чэнь Линь с удовлетворением закрыл финансовые отчёты. Только он собрался заняться чем-то другим, как из офисной зоны вдруг раздался громкий, возбуждённый крик.
— ОХРЕНЕТЬ!!!
Вздрогнув, Чэнь Линь посмотрел в сторону источника звука.
Бай Цянь вскочил со стула, его лицо раскраснелось, а глаза горели диким, фанатичным блеском.
Он держал в руках планшет, выглядя так, будто стал свидетелем чего-то невероятного, и пребывал в состоянии крайнего возбуждения.
— Президент Чэнь! Президент Чэнь!
Бай Цянь сделал несколько быстрых шагов к Чэнь Линю, его голос слегка дрожал.
— Этот ваш алгоритм... Эта архитектура... Это... Это просто чертовски гениально!
Чэнь Линя позабавила такая реакция. — Что такое? Неужели всё настолько драматично?
— Драматично? Это не просто драматично, это нечто большее!
Бай Цянь глубоко вздохнул, пытаясь успокоиться, но не смог скрыть глубокое, искреннее потрясение в голосе.
— Президент Чэнь, я только что прочитал документ, который вы прислали, от корки до корки.
— Должен сказать, с математической точки зрения эта ваша новая архитектура куда изящнее существующего механизма внимания!
Говоря это, Бай Цянь протянул планшет Чэнь Линю и указал на формулу на экране.
— Смотрите сюда: эта «функция адаптивного распределения весов», которую вы ввели, позволяет динамически регулировать соотношение весов между локальным вниманием и глобальной линейной рекурсией, основываясь на фактических характеристиках входной последовательности.
Глаза Бай Цяня сияли всё ярче.
— Это значит, что модель может автоматически находить оптимальную вычислительную стратегию для разных сценариев задач!
— При обработке коротких текстов она может больше полагаться на локальное внимание, чтобы обеспечить точность, а для длинных — использовать больше линейной рекурсии, чтобы снизить сложность!
— И этот переход плавный и непрерывный! Нет никакой неуклюжести и ощущения «сшитых на живую нитку» частей, как в традиционных гибридных архитектурах!
К этому моменту Бай Цянь был настолько взволнован, что говорил почти бессвязно.
— А здесь! В выводе формул вы ввели «член регуляризации информационной энтропии». Теоретически он гарантирует, что модель не потеряет критически важную информацию, даже при снижении вычислительной сложности!
— Это... Это настоящий акт гениальности!
Чэнь Линь почувствовал радость, слушая страстный, непрекращающийся анализ Бай Цяня.
«Хотя для него всё это было лишь процессом решения, автоматически сгенерированным «Маленьким математиком»».
«И всё же одобрение со стороны эксперта уровня Бай Цяня доказывало, что его упорный труд в течение последнего месяца не прошёл даром».
— Доктор Бай, раз уж вы закончили с документом, может, начнём обсуждать процесс проверки? — с улыбкой спросил Чэнь Линь.
— Да, конечно! — Бай Цянь тут же закивал. — Президент Чэнь, я уже начал набрасывать план проверки в голове, пока читал.
Он достал блокнот и быстро перелистнул на страницу, которая уже была исписана плотными рядами планов.
— Вот что я думаю.
Бай Цянь указал на записи и начал подробно объяснять.
— Во-первых, мы не можем просто так взять и броситься обучать огромную модель с десятками миллиардов параметров. Если что-то пойдёт не так, отлаживать её будет невероятно сложно, а стоимость потраченных впустую вычислительных мощностей окажется запредельной.
— Поэтому я предлагаю начать с проверки на модели поменьше.
— А именно: мы построим мини-модель с 1,5 миллиарда параметров и используем её, чтобы прогнать весь цикл обучения.
Бай Цянь на мгновение замолчал, прежде чем продолжить.
— В процессе обучения мы сможем сравнить модель, обученную на новой архитектуре, с некоторыми современными популярными моделями с открытым исходным кодом.
— Например, как базы можно использовать серию Лама от «Меты» или серию Квен с открытым кодом от «Алибаба».
— Это сравнительное тестирование даст нам чёткое представление о том, насколько новая архитектура повышает производительность, а также поможет выявить потенциальные проблемы с обучением и развёртыванием.
— Как только мы устраним все недочёты и отладим рабочий процесс, мы сможем перейти к модели среднего размера на 30 миллиардов параметров.
— Вот тогда мы по-настоящему проверим реальную производительность новой архитектуры на крупномасштабной модели.
Чэнь Линь выслушал предложение Бай Цяня и удовлетворённо кивнул.
— Это очень здравый подход. Я согласен.
В этот момент Пань Сы, сидевший неподалёку и случайно услышавший их разговор, подошёл к ним.
— Доктор Бай, президент Чэнь, — сказал Пань Сы, поправляя очки с улыбкой. — У меня для вас хорошие новости.

Комментарии

Загрузка...