17 декабря, среда, 9:00.
Атмосфера в офисе компании «Яньхай» стояла несколько необычная.
Обычно в это время все занимались своими делами, изредка обсуждая рабочие вопросы.
Но сегодня было иначе.
Все столпились вокруг рабочего места Бай Цяня, уставившись на стоявший перед ним ноутбук, подключенный к облачному серверу.
На экране красовалась панель мониторинга, отображающая в реальном времени состояние шестнадцати видеокарт A100.
Температура, энергопотребление, использование видеопамяти, загрузка вычислений...
Цифры скакали и мигали совсем как показатели приборов в больничной палате, следящих за жизнедеятельностью пациента.
— Сейчас девять двадцать восемь.
Бай Цянь бросил взгляд на часы, глубоко вздохнул и занес пальцы над клавиатурой.
— Путь к датасету настроен, скрипт обучения проверен, тест распределенной связи пройден.
Он повернул голову и посмотрел на стоявшего позади него Чэнь Линя.
— Генеральный директор Чэнь, всё готово к запуску. Начинать?
Чэнь Линь кивнул, и голос его звучал спокойно.
— Начинай.
Бай Цянь решительно нажал клавишу Энтер.
Черное окно терминала на мониторе мгновенно запестрило потоком плотных логов.
[ИНФО] Распределенное обучение инициализировано. Размер мира: 16.
[ИНФО] Загрузка токенизированного датасета...
[ИНФО] Датасет загружен. Всего токенов: 1,02B.
[ИНФО] Архитектура модели: Адаптивный Гибридный Трансформер-1.5B.
[ИНФО] Конфигурация обучения: 20B токенов, размер батча 2048, скорость обучения 1e-4.
[ИНФО] Запуск обучения...
[Шаг 1/9765625] Потери: 8.2341, скорость обучения: 1.0000e-05, Токенов/сек: 524288.
[Шаг 2/9765625] Потери: 8.1987, скорость обучения: 2.0000e-05, Токенов/сек: 531456.
Чэнь Линь стоял посреди толпы, наблюдая за мелькающими на экране цифрами, и чувствовал, как внутри нарастает тревога.
Хотя проведенные пару дней назад тесты уже доказали, что код новой архитектуры рабочий, это был лишь простейший тест прямого распространения.
Настоящий процесс обучения станет истинной проверкой жизнеспособности этой архитектуры.
В этот миг Бай Цянь внезапно нахмурился.
— Мм?
Он уставился на кривую потерь на экране, и его лицо стало серьезным.
Стоявший рядом Пань Сы тоже заметил это. Он поправил очки и подался вперед.
— Скорость снижения потерь... кажется, маловата.
Бай Цянь кивнул.
— Именно. По идее, на начальном этапе обучения потери должны падать быстрее всего. Но посмотрите на эту кривую — она почти плоская.
Услышав это, Чэнь Линь почувствовал, как сердце ухватило ледяной тоской.
Пусть он и потратил полгода на самостоятельное изучение искусственного интеллекта, всё это оставалось лишь теорией. У него не было ни малейшего опыта борьбы с подводными камнями, подстерегающими во время обучения моделей.
— Доктор Бай, в чем проблема? — спросил Чэнь Линь.
Бай Цянь не ответил сразу. Вместо этого он быстро застучал по клавишам, выводя на экран более подробный лог обучения.
Долго вглядываясь в монитор, он наконец заговорил.
— Генеральный директор Чэнь, подойдите взглянуть.
Чэнь Линь подошел к Бай Цяню и проследил за его пальцем, указывающим на экран.
— Взгляни сюда, — Бай Цянь указал на строчку с данными. — Начальная скорость обучения составляет 1e-4, то есть 0.0001. Это значение... слегка консервативно.
— Консервативно? — опешил Чэнь Линь.
— Именно, — кивнул Бай Цянь. — Скорость обучения — всё равно что педаль газа в машине. Если жать недостаточно сильно, машина быстро не поедет.
На раннем этапе обучения параметры модели инициализируются случайным образом, поэтому они далеки от оптимального решения. В этот момент нужно использовать более высокую скорость обучения, чтобы модель быстрее нащупала общее направление.
С этими словами Бай Цянь открыл другой график.
— Видишь? Текущая норма градиента очень стабильна, а значит, процесс обучения идет безопасно и взрыва градиентов мы не дождемся.
В таких условиях мы смело можем поднять скорость обучения до 5e-4, то есть до 0.0005.
— И... — Бай Цянь замолк на секунду. — Я предлагаю добавить стратегию разгона.
— Разгона? — переспросил Чэнь Линь.
— Да, — пояснил Бай Цянь. — Разгон означает «разогрев». Суть метода в том, чтобы запустить обучение с совсем крошечной скоростью вроде 1e-7, а затем линейно довести её до целевого значения в 5e-4.
У этого подхода два преимущества.
Бай Цянь поднял два пальца.
Во-первых, это защитит модель от краша прямо на старте из-за огромных градиентов, вызванных неудачной инициализацией параметров.
Во-вторых, это даст модели небольшой период адаптации в самом начале, чтобы она нашла относительно стабильную траекторию оптимизации, что сделает дальнейшее обучение более плавным.
Выслушав его, Чэнь Линь задумчиво кивнул.
Пусть он и не понимал всех тонкостей обучения, объяснение Бай Цяня звучало четко, а логика была безупречна.
И что еще важнее, Чэнь Линь всецело доверял профессионализму Бай Цяня.
— Тогда делай так, как говоришь, — решительно сказал Чэнь Линь. — Измени скорость на 5e-4 и добавь разгон.
— Сделано!
Бай Цянь тут же принялся править скрипт обучения.
Его пальцы затанцевали по клавиатуре, и спустя пару минут новый файл конфигурации был готов.
— Генеральный директор Чэнь, я перезапускаю обучение, можно?
— Давай.
Бай Цянь нажал Энтер. Процесс обучения прервался и тут же возобновился с новыми настройками.
На этот раз кривая потерь на экране мгновенно изменилась.
[Шаг 1/9765625] Функция потерь: 8.2341, Скорость обучения: 1.0000e-07, Токенов/сек: 524288.
[Шаг 100/9765625] Функция потерь: 7.8234, Скорость обучения: 5.0000e-06, Токенов/сек: 528192.
[Шаг 500/9765625] Функция потерь: 6.4521, Скорость обучения: 5.0000e-05, Токенов/сек: 534528.
[Шаг 1000/9765625] Функция потерь: 5.2347, Скорость обучения: 2.5000e-04, Токенов/сек: 537856.
— Смотри! — возбужденно тыча в экран, воскликнул Бай Цянь. — Теперь потери падают гораздо быстрее!
Пан Сы тоже кивнул.
— Ага, эта кривая выглядит намного естественнее.
Глядя на уверенно ползущую вниз линию на мониторе, Чэнь Линь почувствовал, как камень свалился с души.
Он хлопнул Бай Цяня по плечу.
— Отличная работа.
Бай Цянь усмехнулся.
— Обычное дело. Обучение большой модели — это бесконечный процесс настройки параметров, наблюдений и повторной подгонки.
— А теперь просто последим за кривой и посмотрим, какими сюрпризами она нас порадует.
В последующие два дня в офисе компании «Яньхай» появилась забавная достопримечательность.
Рабочее место Бай Цяня превратилось в центр всеобщего внимания.
Подключенный к облачному серверу ноутбук работал круглые сутки, а мониторинговая панель стала предметом неусыпной заботы для всего коллектива.
Первым делом по приходе в офис Сунь Юй подходил к экрану, чтобы проверить, насколько уменьшились убытки.
Хотя Шэнь Янь держалась внешне невозмутимо, каждый раз проходя мимо рабочего места Бай Цяня, она бросала на монитор украдкой взгляды.
Даже Юнь Цин, совсем далекая от ИТ-сферы, уже начала разбираться в графике падения потерь.
— Эй, сегодня кривая идет вниз круче, чем вчера!
— Верно? Видишь! Я же говорил, что наша новая архитектура творит чудеса!
«18 декабря, четверг, 15:00.»
Обучение модели перешагнуло отметку в 5 миллиардов токенов.
Бай Цянь неотрывно смотрел на экран, и в какой-то момент его глаза ярко вспыхнули.
— Директор Чэнь!
Он резко развернулся, а в его голосе звучало нескрываемое воодушевление.
— Мы можем запустить промежуточную оценку!
Чэнь Линь, обсуждавший очистку данных с Пань Си, тут же подошел, услышав окрик Бай Цяня.
— Какого рода оценку?
— Тест на генерацию текста, — пояснил Бай Цянь. — Пусть обучение еще не завершено, мы уже можем использовать текущую контрольную точку для инференса.
— Мне не терпится увидеть, какой текст модель способна выдать прямо сейчас.
— Тогда давай попробуем, — кивнул Чэнь Линь.
Бай Цянь тотчас принялся за работу.
Он скачал с облачного сервера файл весов текущей модели, после чего запустил локальный скрипт для генерации.
— Задай мне промпт, — обратился к коллегам Бай Цянь.
Чэнь Линь на мгновение задумался, а затем непринужденно сказал.
— Напиши просто: «Будущее направление развития искусственного интеллекта — это»...
Бай Цянь вбил фразу в командную строку и нажал Энтер.
Спустя несколько секунд на экране слово за словом начал появляться сгенерированный моделью текст.
Будущее направление развития искусственного интеллекта — это слияние мультимодальности и повышение способности к генерализации.
Существующие ИИ-системы в основном сосредоточены на какой-то одной задаче, будь то обработка естественного языка, компьютерное зрение или распознавание речи.
Однако для создания истинного общего искусственного интеллекта (ОИИ) необходим навык понимания и рассуждения на стыке разных модальностей.
Будущие исследования будут направлены на то, чтобы научить модели одновременно обрабатывать несколько форм данных — текст, изображения и аудио, а также выполнять перенос знаний между различными задачами.
Более того, важнейшим направлением исследований остается вопрос обучения более умелых и устойчивых моделей в условиях ограниченности данных и вычислительных мощностей...
Стоило плавному, связному и логически выверенному тексту занять экран, как в офисе воцарилась тишины.
Все присутствующие смотрели на монитор во все глаза.
— Охренеть...
Даже Сунь Юй, не будучи экспертом в области искусственного интеллекта, сразу понял, что произошло нечто из ряда вон выходящее.
— Это... это выдала крошечная модель на 1.5B?
Руки Бай Цяня слегка подрагивали.
Он тут же ввел другой запрос для сравнительного теста.
— Сейчас я задам тот же промпт базовой модели — Ллама-1.5B, чтобы она сгенерировала текст. Сами увидите разницу.
Пару мгновений спустя на экранах появился результат работы Ллама-1.5B.
Будущее направление развития искусственного интеллекта очень хорошее, я думаю, что ИИ станет еще более удивительным, он сможет делать много вещей, например помогать людям в работе и в жизни и так далее.
Будущий ИИ должен быть более умным, способным понимать потребности человека и предоставлять лучшие услуги. Короче говоря, перспективы развития ИИ очень широкие...
Хотя этот текст тоже выглядел связным, ему откровенно не хватало глубины; казалось, будто он просто создан для набора символов, при этом в нем бросались в глаза явные повторы и банальщина.
По сравнению с ним творение новой модели казалось ударом из высшего измерения.
— Разница... — Пань Си поправил очки и бормотал: — Просто огромная.

Комментарии

Загрузка...