ноября, вторник.
Когда основные СМИ подхватили и распространили содержание вчерашнего интервью Чэнь Линя, оно быстро взорвало интернет.
Вэйбо, Чжиху, Доуинь...
Новости о Чэнь Лине можно было увидеть почти на каждой платформе социальных сетей.
И самой примечательной новостью стала информация, которую раскрыл Чэнь Линь.
Компания «Яньхай» намерен создать большую языковую модель ИИ!
Как только эта новость появилась, она вызвала огромный резонанс в технологическом мире.
На Чжиху кто-то создал специальную ветку для обсуждения.
[Что вы думаете о заявлении Чэнь Линя о том, что компания «Яньхай» выходит в сферу обучения больших моделей ИИ?]
Всего за один день в теме появилось более тысячи ответов.
Некоторые были настроены оптимистично.
[Сила Чэнь Линя в алгоритмах очевидна всем. Если он лично займется обучением большой модели, думаю, вероятность успеха очень высока.]
[«Яньхай», может, и небольшая компания, но нельзя отрицать, насколько крут Чэнь Линь! Другие компании соревнуются в финансировании и вычислительных мощностях, но Чэнь Линь может нанести удар по уровню алгоритмов, словно понизив размерность пространства!]
Другие отнеслись скептически.
[Обучение большой модели — это не шутки. Только на очистку и разметку этих требуются огромные человеческие и финансовые ресурсы. Неужели такая маленькая компания, как «Яньхай», действительно справится с этим?]
[Мне кажется, Чэнь Линь стал слишком самоуверенным. Он, безусловно, силен в математике, но создание большой модели ИИ — это не просто математическая задача. Она включает в себя целый ряд проблем, таких как инженерная реализация, распределение вычислительных мощностей, обработка этих и так далее. Это не то, что может решить один математический гений.]
А некоторые просто шутили.
[Чэнь Линь: «Я тут кое-что на коленке набросаю». ЗакрытьАИ:???]
[«Ультрамэн» и «Джаск», наверное, потеряют сон от этой новости, ха-ха!]
[Жду не дождусь, когда Чэнь Линь поднимет планку так высоко, что уничтожит остальную индустрию ИИ!]
Обсуждения в сети бушевали, но сам Чэнь Линь уже не обращал на них внимания.
В этот момент он сидел в офисе компании «Яньхай», пристально глядя в экран компьютера.
Экран был плотно заполнен техническими документами о нейронных сетях и архитектуре Трансформер.
Чэнь Линь уже потратил большую часть полугода на самостоятельное изучение больших моделей ИИ.
И теперь он с приятным удивлением обнаружил, что эти знания можно объединить с его способностью [Маленький математик]!
Раньше, когда Чэнь Линь решал задачи клиентов, ему часто требовались такие люди, как Шэнь Янь или Хуан Ии, изучавшие прикладную математику, чтобы сначала «перевести» инженерные задачи на язык чистой математики, прежде чем он мог применить свою способность [Маленький математик] для их решения.
Но теперь, в области искусственных нейронных сетей, Чэнь Линь обнаружил, что ему больше не нужен «переводчик».
Он мог напрямую понимать структуру и принципы работы этих нейросетей и сразу же размышлять о том, как оптимизировать их архитектуру с математической точки зрения.
И как только он начинал думать, его способность [Маленький математик] автоматически активировалась, выстраивая в уме полный процесс решения.
«Это просто невероятно!»
Чем больше Чэнь Линь думал об этом, тем больше воодушевлялся, настолько, что ему хотелось немедленно приступить к исследованиям.
Однако, он заставил себя успокоиться и дочитать оставшиеся технические документы.
Текущая мейнстримная архитектура Трансформер — это структура сети извлечения признаков, основанная на механизме самовнимания, которая в основном используется в области обработки естественного языка.
Механизм самовнимания может выполнять вычисления внимания для каждой позиции во входной последовательности, тем самым получая глобальную контекстную информацию.
Ядром Трансформера является механизм самовнимания.
Он способен обрабатывать целые предложения на естественном языке сразу, что приводит к более высокой эффективности обучения и позволяет выполнять параллельную обработку.
Но у Трансформера есть и очевидные недостатки.
Он обладает высокой вычислительной сложностью, со временем выполнения О(N2—d), где N — длина последовательности, а d — размерность векторного представления токена.
Эта временная сложность очень неблагоприятна для длинных последовательностей.
Например, для обработки статьи из 10000 символов количество вычислений составит 10000 в квадрате, то есть 100 миллионов операций.
А как насчет обработки длинного текста в 100000 символов?
Это потребовало бы десяти миллиардов вычислений.
Расход вычислительной мощности для этого просто астрономический.
Поэтому индустрия постоянно ищет методы снижения вычислительной сложности Трансформера.
Исследовательская цель Чэнь Линя заключалась в том, чтобы объединить преимущества линейных моделей и механизмов внимания, позволив модели выполнять параллельные вычисления и улучшить вычислительную сложность, достигая при этом результатов, сравнимых с Трансформером.
Эта цель звучала просто, но её реализация была чрезвычайно сложной.
Ведь это было равносильно проектированию совсем новой архитектуры нейронной сети.
Однако Чэнь Линь был уверен в себе.
Потому что у него был [Маленький математик].
Пока он мог четко обдумать задачу и поставить определенную цель, остальные математические выкладки не были проблемой.
Подумав об этом, Чэнь Линь глубоко вздохнул и скорректировал свой рабочий график.
С сегодняшнего дня он будет каждое утро продолжать изучать знания, связанные с большими моделями ИИ, а также обсуждать прогресс работы с Пань Сы и Бай Цянем.
Во второй половине дня он будет проводить два часа сорок минут за математическими исследованиями.
Этот график был таким же, как и во время подготовки к выступлению на математической конференции.
Опыт показал, что этот ритм наиболее подходит для Чэнь Линя.
Это не только обеспечивало эффективность его обучения и исследований, но и предотвращало чрезмерное использование способности [Маленький математик], которое могло привести к тому, что он впал бы в глубокий сон.
Чэнь Линь взглянул на время: десять утра.
Пань Сы и Бай Цянь уже должны быть в компании.
Он встал и подошел к столам Пань Сы и Бай Цяня.
Пань Сы сидел перед своим компьютером, уставившись на плотный код на экране.
Бай Цянь сидел с другой стороны, перед ним лежала стопка черновиков, исписанных математическими формулами.
— Президент Чэнь. — Пань Сы поднял голову и кивнул Чэнь Линю.
Бай Цянь тоже перестал писать и поправил очки: — Президент Чэнь, что случилось?
— Я просто зашел проверить ваш прогресс, — Чэнь Линь придвинул стул и сел. — Доктор Пань, как у вас дела?
Услышав это, на лице Пань Сы появилось выражение воодушевления.
— Президент Чэнь, мой прогресс довольно хорош!
Он развернул экран своего компьютера так, чтобы Чэнь Линь видел содержимое.
— Я уже настроил конвейер очистки этих, и сейчас Шэнь Янь и Сунь Юй помогают с разметкой этих.
— Сейчас мы очистили около двадцати миллионов высококачественных китайских и английских записей корпуса.
— С такой скоростью через две недели мы сможем накопить около пятидесяти миллионов записей.
— К тому времени мы сможем начать первый раунд предварительного обучения.
Чэнь Линь удовлетворенно кивнул, услышав это.
— Отлично. А как насчет серверов? Вы придумали план?
— Да, — с улыбкой сказал Пань Сы. — Доктор Бай и я обсудили это и решили выбрать план аренды облачных серверов.
— На начальных этапах проекта мы будем обучать и проверять модели с небольшим количеством параметров, сохраняя их количество менее 30 миллиардов.
— В таком случае аренды облачных серверов будет достаточно. Ежемесячная стоимость составит около 100000 долларов США.
— Хотя цена недешевая, это довольно выгодно, потому что доктор Бай и я можем делить вычислительные ресурсы.
Чэнь Линь кивнул.
долларов США в месяц — это около 700000 юаней.
Для текущего финансового положения компании «Яньхай» это было вполне доступно.
— Тогда давайте действовать по этому плану, — сказал Чэнь Линь. — Подсчитайте необходимые расходы и доложите помощнице Хуан. Она организует оплату.
— Понял, президент Чэнь, — ответил Пань Сы.

Комментарии

Загрузка...