Чэнь Линь повернулся к Бай Цяню. Хотя тот ничего не сказал, Чэнь Линь понимал, что мужчина наверняка испытывает лёгкое беспокойство.
На прошлой неделе Чэнь Линь пообещал, что разработает новый алгоритм в течение месяца. Однако Бай Цянь был знаком с ним совсем недолго, а его познания о Чэнь Лине ограничивались лишь новостными заголовками. Вполне понятно, почему ему не хватало уверенности.
Чэнь Линь постарался успокоить Бай Цяня.
— Доктор Бай, можете начать с проектирования рабочего процесса для внедрения нового алгоритма и проверки его осуществимости.
Чэнь Линь на мгновение замолчал, а затем продолжил.
— Я уже говорил вам, что разработаю совсем новый алгоритм ИИ в течение месяца.
— Когда придет время, вы сможете использовать мой алгоритм как основу для разработки архитектуры новой модели и приступить к обучению.
— Шэнь Янь также придет из группы доктора Паня, чтобы помочь вам с этим.
При этих словах глаза Бай Цяня загорелись.
— Президент Чэнь, вы хотите сказать... Вы уже начали исследовать новый алгоритм?
— Именно так, — кивнул Чэнь Линь. — Начиная с сегодняшнего дня, я буду посвящать свои послеобеденные часы математическим исследованиям.
— Цель состоит в том, чтобы найти математическое выражение для архитектуры нейронной сети, которая превзойдет Трансформер.
Услышав это, Бай Цянь заметно воодушевился.
— Это просто замечательно, президент Чэнь!
— Если вам действительно удастся разработать новый алгоритм, то моя работа наконец обретет четкое направление!
Чэнь Линь улыбнулся, но больше ничего не добавил.
Он поднялся и похлопал Бай Цяня по плечу.
— Так держать. Мне тоже пора возвращаться к делам.
С этими словами Чэнь Линь покинул конференц-зал и вернулся за свой рабочий стол.
Он взглянул на время: 11:00.
До полудня оставался еще час.
Чэнь Линь решил потратить остаток утра на изучение некоторых технических деталей.
А уже после обеда он приступит к своим полноценным математическим изысканиям.
...
«13:00».
Сначала Чэнь Линь разобрался с мелкими текущими задачами.
Он включил компьютер, зашел в электронную почту и просмотрел последние сообщения.
Большинство из них были письмами от потенциальных клиентов. Сунь Юй уже отсеял их, отфильтровав заведомо несерьезные предложения.
Оставшиеся письма были в основном от людей, у которых действительно была потребность в услугах.
Чэнь Линь заметил письмо от профессора Тана Сюэбина из Университета науки и технологий.
В письме говорилось, что с тех пор, как Чэнь Линь помог совместной исследовательской группе из Яньнаня и Университета науки и технологий решить математическую проблему в их разработках твердотельных аккумуляторов, работа пошла гораздо быстрее. Прототип твердотельной батареи нового поколения уже перешел в стадию тестирования.
Тестирование аккумулятора — процесс довольно утомительный и долгий.
От электрических испытаний, таких как перезаряд, переразряд, внешнее короткое замыкание и принудительный разряд, до механических тестов — раздавливание, прокол иглой, удар, вибрация и падение... Всё это требовало огромного количества времени.
Причиной обращения в компанию «Яньхай» стало то, что в ходе этих испытаний проектная группа параллельно вела другие исследования. Возникла новая проблема в области химии материалов, для решения которой потребовались математические способности Чэнь Линя.
В письме содержалась просьба: если у Чэнь Линя найдется время, он должен ответить на него. Тогда руководители проекта свяжутся с ним через Вичат, чтобы назначить личную встречу и обсудить детали.
Чэнь Линь немного подумал и ответил на письмо. Он объяснил, что сейчас занят важным математическим исследованием, но постарается завершить его как можно скорее и свяжется с профессором Таном Сюэбином позже.
Разобравшись с почтой, Чэнь Линь взглянул на финансовые отчеты компании.
Хуан Ии каждую неделю готовила подробный финансовый отчет и присылала его ему.
В нем были четко расписаны доходы, расходы и текущий баланс компании.
Чэнь Линь бегло просмотрел его и увидел, что на счету компании чуть более четырех миллионов юаней.
Этой суммы вполне хватило бы на покрытие расходов компании в ближайшие несколько месяцев.
К тому же у самого Чэнь Линя оставался ежемесячный доход от «Маленького финансового планировщика».
Так что о деньгах можно было вовсе не беспокоиться.
Чэнь Линь закрыл финансовый отчет и снова взглянул на время.
[1:50 ПМ.] 13:50.
«Пора начинать».
Он достал из ящика стола стопку бумаги формата А4 и несколько черных гелевых ручек.
Глубоко вздохнув, Чэнь Линь закрыл глаза и начал приводить свои мысли в порядок.
Его цель была ясна.
спроектировать совсем новую архитектуру нейронной сети, которая могла бы сохранить возможности параллельных вычислений и глобального моделирования «Трансформера», при этом радикально снизив вычислительную сложность.
В особенности, ему нужно было уменьшить сложность «Трансформера» с O(N2—d) до O(N—d—бревно N) или даже ниже.
Для этого требовалось в основе переработать механизм самовнимания.
Традиционное самовнимание вычисляет веса внимания между каждым отдельным токеном в последовательности и всеми остальными токенами.
Именно это и приводит к сложности N2.
«Так возможно ли вычислять внимание только для части токенов, а не для всех сразу?»
«Или существует более умелый способ аппроксимировать эффект самовнимания?»
В голове Чэнь Линя начали возникать самые разные идеи.
Линейное внимание, локальное внимание, разреженное внимание...
Все эти решения уже были предложены в индустрии.
Но либо они были недостаточно эффективны, либо слишком сложны в реализации.
Чэнь Линю нужно было найти более изящный и результативный метод.
При этой мысли он открыл глаза, взял ручку и начал писать и делать наброски на бумаге.
Способность [Маленький математик] тихо активировалась.
Разум Чэнь Линя словно погрузился в удивительное состояние.
Он чувствовал, как идеи возникают в уме с невиданной скоростью.
Различные математические инструменты и теоретические основы, казалось, сами собой комбинировались, выстраивались и оптимизировались...
Ручка Чэнь Линя летала по бумаге.
Строка за строкой, формулы вытекали из-под ее кончика.
Сначала он пересмотрел механизм самовнимания с точки зрения преобразования Фурье.
Преобразование Фурье позволяет перевести сигнал из временной области в частотную, что дает возможность заменить свертку во временной области на обычное умножение в частотной.
«Значит, можно ли ускорить самовнимание с помощью похожего метода?»
Чэнь Линь продолжил вычисления.
Он обнаружил, что если процесс вычисления самовнимания выразить в матричной форме, а затем подвергнуть спектральному разложению...
«Эй, это может сработать!»
Глаза Чэнь Линя сияли всё ярче.
Он понял, что, введя особую функцию ядра, вычисление самовнимания можно преобразовать в линейную форму.
А эту линейную форму можно вычислять рекурсивно, тем самым снизив сложность до O(N—d)!
Однако у этого метода была своя цена.
он терял часть своих способностей к глобальному моделированию.
«Что же делать?»
Чэнь Линь продолжал размышлять.
Вдруг его осенило: можно внедрить иерархический механизм внимания.
Использовать традиционное самовнимание в локальных пределах для обеспечения точности.
Использовать линейное внимание в глобальном масштабе для снижения сложности.
А затем объединить их с помощью хитрого механизма слияния информации...
Ручка Чэнь Линя двигалась всё быстрее.
Формулы становились всё сложнее.
Он полностью погрузился в мир математических выводов, совсем потеряв счет времени.
Сам того не заметив, он просидел более двух часов.
Когда Чэнь Линь наконец отложил ручку, листы бумаги перед ним были исписаны плотными рядами формул.
Добрый десяток страниц.
Чэнь Линь откинулся на спинку стула и облегченно выдохнул.
Он чувствовал, что голова немного тяжелая, а дух слегка утомлен.
Однако эта усталость была далека от того состояния, когда валишься с ног.
Чэнь Линь посмотрел на формулы на исписанных страницах, и довольная улыбка коснулась уголков его губ.
Хотя это был лишь предварительный набросок, он уже нашел верное направление.

Комментарии

Загрузка...