Время летело незаметно, и вскоре наступил понедельник.
В два часа дня в приёмной компании «Яньхай».
Чэнь Линь сидел на диване. Напротив него расположился молодой человек на вид лет двадцати пяти, худощавого телосложения, в очках в чёрной оправе.
Это был Бай Цянь, постдокторант Института автоматизации при Китайской академии наук.
В этот момент на Бай Цяне была слегка мешковатая клетчатая рубашка, джинсы и кроссовки, которые, казалось, носили уже не один год.
Весь его облик идеально соответствовал всем стереотипам Чэнь Линя о «ботанике-учёном».
При встрече Бай Цянь показался довольно тихим и сдержанным.
Чэнь Линь первым протянул руку и с улыбкой сказал: — Доктор Бай, здравствуйте. Я Чэнь Линь.
Бай Цянь на мгновение замялся, а затем поспешно протянул руку в ответ. Его голос прозвучал тихо: — Здравствуйте, президент Чэнь.
Пожимая руку, Чэнь Линь отчетливо почувствовал, что ладонь Бай Цяня слегка влажная — очевидно, от нервного пота.
Чэнь Линь улыбнулся и жестом пригласил Бай Цяня присесть на диван.
Юньцин подошла с двумя чашками чая. Сияя, она протянула одну Бай Цяню: — Доктор Бай, пожалуйста, угощайтесь.
В тот момент, когда Бай Цянь взял чашку, его щеки слегка покраснели, а голос стал ещё тише: — Спасибо.
Увидев это, Юньцин не удержалась от мягкого смешка, прежде чем развернуться и выйти из приёмной.
Чэнь Линь не придал этим деталям значения.
Он перешёл сразу к делу: — Доктор Бай, давайте не будем ходить вокруг да около. Перейдем к сути.
— Старейшина Сян, вероятно, уже в общих чертах обрисовал вам моё положение, не так ли?
Бай Цянь кивнул и поправил очки: — Да, помощник старейшины Сяна мне всё передал. Вы планируете самостоятельно разработать совсем новую большую языковую модель ИИ, верно?
— Всё верно, — подтвердил кивком Чэнь Линь. — И не просто путем дообучения существующей модели с открытым исходным кодом. Мы собираемся обучить совсем новую модель с нуля.
— Наша цель — всесторонне превзойти все существующие на рынке популярные большие модели по качеству генерации контента, логическим способностям и контролю над уровнем «галлюцинаций».
Чэнь Линь сделал паузу и добавил.
— Разумеется, я понимаю, что эта цель звучит амбициозно и очень сложно достижима. Но я верю, что если мы выберем верное направление, обеспечим должное финансирование и привлечем нужные таланты, то всё обязательно получится.
Услышав это, сдержанное лицо Бай Цяня постепенно стало серьёзным.
Он задумался на мгновение, прежде чем медленно произнести.
— Президент Чэнь, позвольте спросить, есть ли у вас конкретные идеи относительно архитектуры модели?
— Например, планируете ли вы использовать «Трансформер», модель «МО» (смесь экспертов) или у вас на примете другой подход?
Услышав этот вопрос, Чэнь Линь откровенно покачал головой.
— Честно говоря, доктор Бай, мои познания в таких областях, как информатика, программирование и искусственный интеллект, всё ещё находятся на довольно элементарном уровне.
— Единственное, в чём я эксперт, — это математика.
— Поэтому в вопросе выбора архитектуры модели я бы хотел услышать ваше профессиональное мнение.
При этих словах глаза Бай Цяня мгновенно загорелись.
Эти глаза, которые прежде казались несколько бегающими, теперь словно искрились светом.
Весь его облик изменился в одно мгновение.
— Президент Чэнь, раз уж вы спросили, я буду прям.
Бай Цянь поправил очки, и его речь заметно ускорилась.
— Лично я считаю, что две современные популярные архитектуры для больших моделей — «Трансформер» и «МО» — всё ещё далеки от идеала.
— Хотя у «Трансформеров» есть преимущества в параллельных вычислениях и улавливании долгосрочных зависимостей, эффективность использования параметров у них на самом деле очень низка.
— А «МО», хоть и увеличивает ёмкость модели за счёт внедрения нескольких экспертных модулей, требует колоссальных затрат на обучение и вывод.
— И что ещё важнее, — голос Бай Цяня становился всё более взволнованным, — я думаю, что базовая парадигма обучения «предобучение плюс дообучение», обычно используемая в индустрии, также имеет значительный потенциал для улучшения.
— На этапе предобучения модель осваивает общую способность к представлению языка через самообучение на огромных массивах неразмеченных этих.
— На этапе дообучения она проходит обучение с учителем на размеченных этих для конкретной задачи, что позволяет модели адаптироваться к определённым сценариям применения.
— Однако, — Бай Цянь сделал паузу, глядя на Чэнь Линя горящим взором, — у этой парадигмы есть одна главная проблема.
— Она предполагает, что знания, полученные на этапе предобучения, можно бесшовно перенести на этап дообучения.
— Но на самом деле между предобучением и дообучением часто существует разрыв.
— Это приводит к ситуациям, когда, даже если вы вкладываете астрономические объёмы вычислительных мощностей и этих в предобучение, производительность модели в определённых специфических задачах всё равно оставляет желать лучшего.
Услышав это, Чэнь Линь, хоть и не до конца понимал многие технические термины, понял, что Бай Цянь обладает глубочайшими познаниями в этой области.
Он слегка кивнул, жестом предлагая Бай Цяню продолжать.
Увидев, что Чэнь Линь не перебивает его, а слушает с большим вниманием, Бай Цянь воодушевился ещё сильнее.
Его речь становилась всё быстрее, а жесты — всё оживлённее.
— И вот уже несколько лет я думаю над одним вопросом.
— Возможно ли разработать совсем новую архитектуру модели и принципиально новую парадигму обучения, которые могли бы в корне решить эти проблемы?
— Я провёл предварительные исследования и получил некоторые результаты.
— Однако, — тон Бай Цяня вдруг окрасился беспомощностью, — в Институте автоматизации моё направление исследований не считается мейнстримом.
— Большинство ресурсов института выделяется на проекты, которые следуют проторенным индустрией путями.
— Я не могу получить ни вычислительные мощности, ни эти, которые мне необходимы.
— Поэтому многие мои идеи остаются лишь на теоретической стадии, без возможности их проверить на практике.
В этот момент Бай Цянь вдруг поднял голову, и в его глазах вспыхнул почти фанатичный свет.
— Но, президент Чэнь, Когда я увидел вашу демонстрацию на математической конференции...
— Я вдруг почувствовал, что с вами у меня может появиться шанс воплотить свою мечту в жизнь.
— Найти лучшую архитектуру для большой модели!
Чэнь Линь был тронут этими словами.
Он чувствовал, что Бай Цянь одержим страстью к сфере искусственного интеллекта.
У таких людей чаще всего есть потенциал для совершения прорывных достижений.
Чэнь Линь задумался на мгновение, прежде чем медленно сказать.
— Доктор Бай, не могли бы вы вкратце рассказать о результатах исследований, о которых только что упомянули?
Услышав это, Бай Цянь немедленно кивнул, и свет в его глазах засиял ещё ярче.
— Конечно!
Он достал из рюкзака планшет и быстро открыл папку.
— Президент Чэнь, взгляните...
Следующие полчаса Бай Цянь говорил без умолку, представляя Чэнь Линю свои находки.
«Механизмы редкой активации», «передача знаний по слоям», «согласование разных видов этих»...
Целый поток технических терминов хлынул из уст Бай Цяня, оставив Чэнь Линя в полном недоумении.
Хотя Чэнь Линь не понимал многих деталей, он чувствовал, что то, о чём говорит Бай Цянь, обладает невероятной глубиной.
Поэтому Чэнь Линь всё это время сохранял внимательную позу, периодически одаривая Бай Цяня одобрительным взглядом и часто кивая, чтобы поддержать его эмоционально.
Наконец Бай Цянь закончил.
Он, по-видимому, осознал, что сказал немного лишнего, и почесал затылок, выглядя несколько смущённым.
— Простите, президент Чэнь. Стоит мне начать говорить на эту тему, как я с трудом могу остановиться...

Комментарии

Загрузка...