Бай Цянь глубоко вздохнул и продолжил.
— А дальше всё становится ещё интереснее.
Он переключился на другой тестовый скрипт.
— Теперь я проверю её способность создавать длинные тексты.
Бай Цянь задал более длинный промпт примерно на 500 токенов, а затем заставил модель выдать ещё 2000 токенов контента.
Результат работы новой модели по-прежнему оставался гладким, связным и логичным, не проявляя почти никаких признаков «коллапса внимания».
А вот когда такую же задачу поставили Ламе-1.5Б...
— Взгляни сюда. — Бай Цянь указал на экран. — Где-то на отметке в 1500 токенов она начинает нести чушь.
Текст на экране, сгенерированный Ламой-1.5Б, с определенного момента внезапно стал бессвязным. Оно было наполнено повторяющимися фразами и даже какой-то бессмысленной тарабарщиной.
Это был классический случай «коллапса внимания».
Когда входная последовательность становится слишком длинной, механизм внимания традиционной архитектуры Трансформер дает сбой. Из-за этого модель «забывает» предыдущий контент и зацикливается.
Но новая архитектура...
...была полностью лишена подобных проблем!
Глядя на результаты этих сравнительных тестов, Чэнь Линь был вне себя от восторга.
Он не удержался и выпалил.
— Черт побери! Не думал, что эта архитектура окажется настолько охуенно крутой!
Сказав это, он взволнованно повернул голову и посмотрел на Бай Цяня.
— Доктор Бай, когда обучится модель на 30B, разве она не сможет просто растоптать все открытые модели на рынке?
Услышав это, Бай Цянь не разделял его воодушевления.
Он поправил очки и спокойно сказал.
— Президент Чэнь, давайте не будем забегать вперед.
— Мы набрали всего 5B токенов. Еще слишком рано делать выводы.
— Нужно дождаться отметки хотя бы в 15B токенов, получить стабильные бенчмарк-данные и только потом о чем-то говорить.
Чэнь Линь на мгновение замер, а затем улыбнулся.
— Ладно, как скажешь. Будем наблюдать дальше.
Хотя он так и сказал, Чэнь Линь не мог сдержать рвавшееся наружу волнение.
Он прекрасно понимал, что это значит.
Если эта новая архитектура действительно так сильна, как показали тесты...
...тогда компания «Яньхай» получит абсолютное, сокрушительное технологическое преимущество в гонке больших языковых моделей!
19 декабря, пятница, 10:00 утра.
Прогресс обучения: 10B токенов.
Бай Цянь и Чэнь Линь сидели перед компьютером, изучая свежий отчет об оценке.
Этот отчет был создан автоматическим тестовым скриптом, который Бай Цянь настроил накануне вечером.
В него вошли несколько стандартных для индустрии бенчмарков.
ММЛУ (массовое многозадачное понимание языка): проверяет возможности модели при работе со знаниями из различных академических дисциплин.
ГСМ8К: тест на текстовые задачи по математике за курс начальной школы, оценивающий навыки математического рассуждения модели.
ХьюманЭвал: тест на генерацию кода, в котором по описанию функции требуется создать исполняемый код.
Бай Цянь открыл отчет, и на экране появилась подробная сравнительная таблица.
текст.
| Бенчмарк | Яньхай-1,5B (токены 10B)| Лама-1,5Б | Лама-7Б |.
| ММЛУ | 58,3%| 42,1%| 62,5%|.
| ГСМ8К | 34.7% | 11.2% | 47.3% |.
| ХьюманЭвал | 23.5% | 8.1% | 29.8% |.
Увидев эту таблицу, Чэнь Линь полностью онемел.
— Это...
Он протер глаза, подозревая, что ему мерещится.
— Доктор Бай, эти цифры... реальны?
Бай Цянь кивнул, а на его лице застыла довольная улыбка.
— Разумеется. Вчера вечером я прогнал тест трижды, и результаты плюс-минус одинаковые.
Чэнь Линь глубоко вздохнул, пытаясь взять себя в руки.
Но скрыть охватившее его потрясение было невозможно.
Результат ММЛУ — 58,3 процента!
Имейте в виду, Лама-1.5Б набрал всего 42,1!
А Лама-7Б была всего на 62,5!
Что это значило?
Это значило, что модель с 1,5 миллиарда параметров, обученная компанией «Яньхай», уже подбиралась к показателям семимиллиардной Лама в многозадачном понимании естественного языка!
Имея всего пятую часть параметров, она не уступала ей в производительности!
Это было сродни чуду!
Взгляд Чэнь Линя скользнул дальше по таблице.
ГСМ8К, точность — 34,7 процента!
У Ламы-1,5Б было всего 11,2%!
Разница почти в три раза!
ХьюманЭвал, доля успешных решений — 23,5 процента!
У Ламы-1,5Б было всего 8,1%!
И здесь почти тройное превосходство!
Чэнь Линь откинулся на спинку кресла, в голове у него звенела абсолютная пустота.
Он и представить себе не мог, что выведенная им новая архитектура окажется настолько мощной.
В этот миг Пань Си, сидевший сбоку, внезапно подал голос.
Он поправил очки, а в его голосе звучала сложная смесь самых разных эмоций.
— Доктор Бай, поздравляю.
— Потенциал этой новой архитектуры и правда превзошел мои ожидания.
Бай Цянь обернулся на Пань Си и улыбнулся.
— Доктор Пань, в ваших словах чувствуется легкая горечь, не находите?
Пань Си горько усмехнулся.
— Есть немного.
Он замолчал на секунду, а затем продолжил.
— Мою тридцатимиллиардную модель уже прогнали на ста миллиардах токенов.
— И хотя ее производительность достигла среднерыночных показателей, по сравнению с вашим полуторамиллиардным маленьким монстром...
Пань Си покачал головой, не договорив.
Сунь Юй, стоявшая неподалеку, услышав это, помрачнела.
— Доктор Пань, выходит, весь наш труд за последнее время... пошел прахом?
— Ничего подобного.
Тотчас вмешался Бай Цянь.
Он посмотрел на Сунь Юй и серьезно сказал.
— Сунь, нельзя рассуждать в таком ключе.
— То, что тридцатимиллиардная модель доктора Паня дотянула до среднего уровня по индустрии, — уже огромное достижение.
— Сами поймите, технологические гиганты используют куда больше вычислительных ресурсов для обучения моделей, чем мы.
— У нас всего шестнадцать видеокарт А100, в то время как они играючи задействуют кластеры из тысяч графических процессоров.
— К тому же обучение большой модели упирается не только в мощности для тренировки — вам еще нужны ресурсы для инференса.
— Тестовая оценка для проекта доктора Паня тоже проводилась на наших шестнадцати А100. Часть этих видеокарт задействована под инференс, пока остальные продолжают обучение, так что с ресурсами и так туго.
— Так что вполне вероятно, что истинный потенциал тридцатимиллиардной модели пока даже не раскрыли полностью.
— Добиться среднерыночных показателей в таких условиях — лучшее доказательство эффективности методов очистки и выравнивания данных, которые применил доктор Пань.
Услышав слова Бай Цяня, Сунь Юй снова обрел краски на лице.
Пань Си тоже кивнул.
— Спасибо вам, доктор Бай.
Он замолчал, и во взгляде его проступила твердая решимость.
— И всё же я должен признать: мое прежнее сопротивление новой архитектуре алгоритмов было несколько опрометчивым.
— Мне казалось, что безопаснее всего улучшать уже существующую архитектуру и наращивать производительность за счет работы с данными и инженерной оптимизации.
— Но я упустил из виду одну вещь...
Пань Си посмотрел на Чэнь Линя, и в его голосе зазвучало искреннее восхищение.
— Математический талант президента Чэнивших способен сыграть огромную роль в выводе новой концепции на нужный уровень.
— Раньше я об этом даже не задумывался.
С этими словами Пань Си глубоко вздохнул, поднялся с места и направился к Чэнь Линю.
— Президент Чэнь, у меня есть предложение.
— Слушаю, — отозвался Чэнь Линь, глядя на него.
Голос Пань Си прозвучал предельно серьезно.
— Что, если нам временно приостановить работу над моим проектом?
— Я бы хотел забрать Сунь Юя и Шэнь Яня и перейти в команду доктора Бая, чтобы помочь ему ускорить обучение модели на полтора миллиарда параметров.
— А затем мы сможем как можно скорее приступить к обучению тридцатимиллиардной модели.
Чэнь Линь опешил.
Он никак не ожидал, что Пань Си сам выступит с такой инициативой.
Подумать только: проект тридцатимиллиардной модели был для Паня Си собственным «ребенком».
Добровольно отказаться от него сейчас... Какая невероятная решимость и широта взглядов за этим стояли?
Чэнь Линь на мгновение умолк.
Он перевел взгляд с Паня Си на Бай Цяня, а напоследок посмотрел на Сунь Юя и Шэнь Яня.
— Доктор Пань, вы уверены?
— Уверен, — кивнул Пань Си. — В условиях ограниченных ресурсов концентрация всех сил на достижении главной цели — самая лучшая стратегия.
— К тому же...
Пань Си взглянул на Бай Цяня, и уголки его губ тронула легкая улыбка.
— Мне и самому хочется лично поучаствовать в обучении этой новой архитектуры и воочию увидеть, на что она способна.
Услышав это, Бай Цянь просиял.
— Доктор Пань, если вы готовы подключиться, о лучшем помощнике нельзя и мечтать!
— Я как раз ломал голову над тем, что людей катастрофически не хватает!
Глядя на их полное взаимопонимание, Чэнь Линь почувствовал глубокое волнение.
«Вот что такое настоящая команда».
Пусть у них и расходились взгляды на технический подход, перед лицом общей цели каждый сумел отбросить предрассудки и взяться за дело сообща.
— Хорошо.
Чэнь Линь глубоко вздохнул и решил.
— Доктор Пань, ваш проект тридцатимиллиардной модели ставим на паузу.
— Вы, Сунь Юй и Шэнь Янь переходите в команду доктора Бая, чтобы помочь ему завершить обучение и оценку модели на полтора миллиарда параметров.
— А после...
Взгляд Чэня Линя стал стальным.
— Мы бросим в бой все силы и начнем обучение тридцатимиллиардной модели!

Комментарии

Загрузка...