Линь Жань, разумеется, отсутствовал.
Наконец-то выдалась возможность отдохнуть — официально он находился на Гавайях, но на самом деле он уже был в реальности 2020 года.
Присутствовать на инаугурации Никсона? Всего лишь поставить галочку в исторической хронике.
Если бы это был Линь Жань, только что попавший в 1960-й, он бы ни за что не пропустил такое историческое событие.
Но теперь исторические моменты создавал он сам: Хантсвиллский план, секретный совет по союзу с Китаем против СССР, убийство Гувера — всё это были события, которые в будущем назовут историческими, и все они были созданы его руками.
Если я захочу, я смогу создать исторический момент в любое время, — был уверен Линь Жань. Теперь у него не было ни малейшего интереса присутствовать на инаугурации Никсона.
Разве что собственная инаугурация или визит Никсона в Пекин — вот что могло бы заставить его отказаться от возвращения в 2020-й.
Смена президента, очередной переход власти от демократов к республиканцам в Белом доме. Джейн, как главный редактор New York Times, в это время не имела ни минуты отдыха. Линь Жань даже помог ей договориться об эксклюзивных интервью с Линдоном Джонсоном и Ричардом Никсоном.
У Джейн не было времени искать его на Гавайях.
Это означало, что он мог провести этот отпуск почти целиком в 2020-м, уделяя 1960-му лишь минимум времени.
Да, ему нужно было подготовиться к президентству Никсона.
Хотя срок Никсона был недолгим, он сыграл крайне важную роль.
В этот период СССР в холодной войне достиг пика могущества и перешёл в наступление, Никсон собственноручно разрушил Бреттон-Вудскую систему, по всему миру бушевали движения, Китай вернулся в ООН.
Этот период был настолько важен, что связывал прошлое и будущее: с одной стороны, Никсон заложил основу для победы США в холодной войне, с другой — отмена Бреттон-Вудской системы и возвращение Китая на международную арену положили начало многополярному миру.
Линь Жаню, конечно, нужно было хорошо подготовиться к этой эпохе в реальности 2020 года.
С другой стороны, ему нужно было провести техническую подготовку для Starlink и «Кибер-Бога» в 2020-м.
На этот раз он планировал пробыть на гавайском острове полтора месяца, что в пересчёте на время в 2020-м составляло 90 месяцев.
Конечно, 90 месяцев — это в идеале, на практике получится около семи лет.
Семь лет, по мнению Линя Жаня, было более чем достаточно.
Глядя на выступление Никсона по телевизору, Линь Жань думал: «С этого момента Америка окончательно переходит от идеализма к реализму».
Отныне идеализма больше не будет. Политики шаг за шагом будут превращаться в инструменты финансовых кланов, пока сами не станут ими.
В ноябре 2022 года OpenAI выпустила ChatGPT. К январю 2023 года число пользователей ChatGPT выросло до 100 миллионов, и он стал первым приложением в истории, преодолевшим отметку в 100 миллионов пользователей всего за 60 дней.
Несомненно, если 2016 год можно назвать первым годом ИИ, когда появление AlphaGo направило огромные капиталы в эту сферу и породило в Китае «шесть маленьких драконов» ИИ во главе с SenseTime, когда весь рынок заговорил об искусственном интеллекте и без этого было стыдно привлекать инвестиции, — то 2022 год стал годом, когда ИИ перешёл от элитарного увлечения к массовому распространению. Искусственный интеллект перестал быть абстрактным понятием, которое «я знаю, что это круто, но что именно круто?» — люди начали это осознавать.
Конечно, для китайских пользователей ChatGPT был заблокирован — нужно было использовать VPN, чтобы получить доступ. Для большинства это был слишком высокий порог входа.
От Zhihu до Weibo и Douyin — везде звучали призывы к переосмыслению.
«Сразу после Нового года ChatGPT взорвал капитал и мир ИИ. Многие специалисты называют это прорывом.
Юань Цзиньхуэй, основатель фреймворка глубокого обучения OneFlow, сказал в интервью Caijing, что технический прогресс ChatGPT можно сравнить с первой высадкой на Луну — такой прогресс потряс отрасль».
«...Один из специалистов по ИИ сказал журналистам, что в ИИ волна поднимается каждые пять-шесть лет. Предыдущая волна — AlphaGo — поразила всех, эта волна — ChatGPT. Но разница в восприятии огромна: когда ИИ от Google обыграл чемпиона мира по го, все смотрели как на новость, а теперь многие люди испытывают его как потребители. За месяц 100 миллионов пользователей по всему миру опробовали его — это совершенно новый опыт. И это первый случай массового распространения ИИ».
«После запуска ChatGPT один из старших сотрудников Baidu в интервью СМИ сказал, что не хочет обсуждать ChatGPT. В его словах звучала горечь.
Основатель одной из ИИ-компаний признался, что, увидев впечатляющую производительность ChatGPT, он чувствует и зуд, и растерянность, и бессонницу. Он признал, что отрыв по масштабу модели и результатам всё ещё велик.
Кто-то задал один и тот же вопрос так называемому «ИИ» одного из китайских производителей и ChatGPT. ChatGPT намного превзошёл китайский ИИ по логичности и полноте ответов. Ответы китайской большой языковой модели были явно скомпилированы из кусков, содержали много вымысла, выходящего за рамки темы, да и скорость ответа у ChatGPT была выше.
Генеральный директор TeKe Technology, занимающейся разработкой цифровых людей, Ле Чэн, считает, что в мире пока нет ИИ, способного конкурировать с ChatGPT. Отраслевой консенсус — отставание как минимум на два года. В Китае стоит забыть об «обгоне на повороте» — гораздо важнее начать догонять как можно скорее».
Отрасль была охвачена пессимизмом.
Отчаяние усиливалось из-за технологического отставания, а разрыв в аппаратном обеспечении приводил специалистов в уныние.
Потому что если суть заключается в больших языковых моделях, в эффекте, достигаемом большими объёмами данных и вычислительных мощностей, то Китаю будет очень трудно догнать.
Три элемента ИИ: вычислительные мощности, данные и алгоритмы. Китайские специалисты всегда считали, что их преимущество в конкуренции с Кремниевой долиной — в алгоритмах.
После появления ChatGPT, хотя технические детали и не были известны, из обрывков интервью Сэма Альтмана можно было понять, что это результат «эмерджентности» при обучении на огромных объёмах данных.
Этот ChatGPT был GPT-3. OpenAI ранее выпускала GPT-1 и GPT-2, что тоже о многом говорит.
Внезапно в США поднялся боевой дух, фондовый рынок оживился, мрачные времена пандемии остались позади.
Конечно, все крупные китайские компании экстренно мобилизовали силы, пытаясь как можно быстрее выпустить свои большие языковые модели.
Сколько бы ни был крут ChatGPT, он не доступен в Китае. Сначала нужно решить проблему «есть или нет», а потом уже думать о том, чтобы догонять.
Компания, совместно основанная Tencent и Линь Жанем, получила все ресурсы в области искусственного интеллекта от Tencent, а также неограниченный доступ к кластерам вычислительных карт NVIDIA внутри Tencent Cloud.
Армия марширует, когда провиант уже готов.
Под личным руководством Пони эта новая компания, названная Линь Жанем «Alpha Technology», получила высшие полномочия и наибольшие ресурсы во всей Tencent.
У Tencent была огромная команда по искусственному интеллекту, насчитывающая несколько тысяч человек, и она продолжала расширяться.
Это было немало, учитывая масштаб бизнеса Tencent. К тому же не только большие языковые модели относятся к ИИ — распознавание изображений, финансовый риск-менеджмент, распознавание речи, компьютерное зрение — всё это тоже ИИ.
Чжао Сунся был одним из множества инженеров-алгоритмистов Tencent. С ноября прошлого года он получил приказ о временном переводе в Шанхай для работы в компании под названием Alpha Technology. Организационно он оставался в Tencent.
Почему его звали Чжао Сунся? Потому что в год его рождения отец заработал немного денег и купил телевизор Panasonic. Решив назвать сына в честь самого дорогого предмета в доме, отец подумал, что «Сунся» — это ещё и стих «Сунся в гостях у отшельника». Так что это не было редкостью.
Когда Чжао Сунся получил уведомление, он подумал, что его сослали.
Хотя из Шэньчжэня в Шанхай — не ссылка, но обычно аутсорсеры едут в головной офис, а не наоборот.
Если бы не то, что вся команда ехала, и начальник сказал, что кроме нескольких человек, оставшихся для текущей работы, все едут в Шанхай, где компания предоставит жильё на полгода, а потом посмотрим... Чжао Сунся даже подумывал об увольнении. В последнее время ему часто звонили хедхантеры — как инженер-алгоритмист с пятилетним стажем в Tencent, пусть даже на периферии ИИ, он был очень востребован.
Только когда он приехал, он понял, что это не ссылка, а беспрецедентное «генеральное сражение» — битва за искусственный интеллект.
Потому что сюда съехались все, кто так или иначе был связан с ИИ, независимо от того, имело ли это отношение к большим языковым моделям.
Даже руководитель направления ИИ в Tencent, исследователь 17-го уровня — высший профессиональный ранг в истории компании, нанятый в начале 2021 года, — Чжан (большой босс) был здесь.
Все, кого Чжао Сунся мог назвать в Tencent, были в Шанхае.
«Генеральное сражение Tencent?» — подумал Чжао Сунся. — «Это редкость. Но можно ли решить проблему больших языковых моделей с помощью "генерального сражения"?»
В интернет-индустрии, когда запускается какой-то проект, перед релизом собирают силы других групп, и интенсивность работы возрастает — это и называется «генеральным сражением». Например, «Сто полковых сражений» или борьба Didi и Kuaidi.
Но такие «сражения» чаще встречаются в электронной коммерции — Pinduoduo, Meituan, Taobao, JD.com — ведь у них каждый год «День холостяка» и «618».
Для Tencent это действительно было редкостью. Даже когда запускалась важная игра, которая должна была стать новой «дойной коровой», компания не шла на такие затраты.
Очевидно, на этот раз всё было иначе.
Только когда Чжао Сунся увидел Линь Жаня в компании, он понял, почему всё было так необычно.
«Я всё думал, почему такая строгая охрана: даже после снятия ограничений нужно сканировать код, открывать сумку на досмотре — строже, чем в аэропорту. Оказывается, здесь профессор. Раз профессор здесь — всё понятно».
Главный босс Пони демонстрировал абсолютное доверие к Линь Жаню, веря, что тот сможет возглавить новый «лунный прорыв» Tencent в искусственном интеллекте, и предоставил все возможные ресурсы.
У Чжао Сунся и всех инженеров Tencent, участвовавших в проекте, были сомнения: да, вы гений в математике и космонавтике, у вас есть докторская степень по GraphAI, но сможете ли вы справиться с большими языковыми моделями и создать нечто сравнимое с ChatGPT?
Тем более, судя по жилью, которое компания предоставила на полгода, Tencent давала ресурсы на полгода. Результат нужно было показать за полгода.
Все сомневались.
«Коллеги, я не буду долго представляться. Меня зовут Линь Жань. Я возглавлю разработку нашей собственной большой языковой модели. Я называю её Alpha.
Моя цель — за три месяца создать генеративный ИИ, превосходящий GPT.
У нас меньше вычислительных мощностей, чем у OpenAI, поэтому нам придётся оптимизировать алгоритмы и данные.
Нам также нужно решить проблемы ChatGPT: устранить галлюцинации, давать более умные ответы, обладать более широкими возможностями.
В ближайшие полгода мне нужна ваша помощь и сотрудничество.
Я — мозг, я буду разрабатывать алгоритмы и архитектуру. Но вам предстоит заниматься другими задачами: подготовкой данных, интеграцией и развёртыванием моделей, генерацией и тестированием кода, full-stack разработкой и автоматизацией».
Эти задачи были необходимы, чтобы превратить большую языковую модель из лабораторного прототипа в практическое приложение.
«Мы можем разбить модель на несколько экспертных подмодулей, активируя только часть параметров. Маршрутизатор будет выбирать эксперта для обработки входных данных, расширяясь до динамического MoE и вводя адаптивную маршрутизацию для дальнейшего снижения затрат на вывод...»
«Сжать кэш Key-Value, уменьшить потребление памяти в механизме внимания через латентные представления, сохраняя многоголовочный параллелизм, а затем интегрировать граф знаний для смягчения галлюцинаций и оптимизировать обучение с низкой вычислительной мощностью...»
«Использовать 8-битные форматы с плавающей запятой для вычислений с более высокой точностью накопления, чтобы избежать потери точности. Расширить стратегию тонкого квантования до гибридного FP4/INT8...»
«Стратегия балансировки без вспомогательных потерь в MoE, гарантирующая высокую утилизацию экспертов без дополнительной нагрузки на обучение. Расширить до неконтролируемого баланса для применения в edge AI...»
«Предсказывать несколько последующих токенов, уплотнять тренировочный сигнал для повышения эффективности данных в сочетании с цепным предсказанием...»
«Внедрять факты из графа знаний, де-адаптировать модель для коррекции смещений; самоочистка для снижения затрат на извлечение...»
Чжао Сунся видел, как искусственный интеллект, названный ими Alpha, развивался с невероятной скоростью.
Он серьёзно сомневался, не слишком ли профессор Линь гениален. Хотя он появлялся редко, каждый его приезд приносил прорывы.
Они использовали множество новых методов — либо тех, что впервые применялись в инженерии, либо вовсе не существовавших ранее.
Никто не знал, что, хотя Линь Жань появлялся всего два раза в неделю, в реальности 1960 года прошло два года, и он успел глубоко обдумать путь развития больших языковых моделей.
У Чжао Сунся с его пятилетним стажем была лишь вспомогательная роль, но изучение научных статей и лекции Линя Жаня помогли ему быстро прогрессировать.
Он получил уведомление в ноябре, приступил к работе в Шанхае в декабре, на Новый год съездил домой только на три дня, получая полную оплату за сверхурочные.
Перед Новым годом команда топ-менеджеров во главе с Пони приехала посмотреть на последние достижения.
Большой конференц-зал был полон. Чжао Сунся сидел с краю, Линь Жань и Пони непринуждённо беседовали в первом ряду, остальные топ-менеджеры Tencent сидели позади.
«Хорошо, раз все собрались, не будем тратить время зря. Начнём», — сказал Линь Жань.
На этот раз он демонстрировал лично:
«ChatGPT замечателен, но он иногда ошибается, «галлюцинирует» несуществующие факты и требует огромных вычислительных мощностей.
Наш Shen Hong, благодаря архитектуре MoE и технологии MLA, в значительной степени устраняет проблему галлюцинаций и обеспечивает более быстрый отклик при меньших вычислительных затратах».
Инженеры в зале не понимали, почему господин Линь так упорствует. Разве «Альфа» не звучало хорошо? Зачем вдруг переименовывать в «Shen Hong»?
Линь Жань постучал по клавиатуре, и на экране появился простой интерфейс чата: «Напиши стихотворение об истории Великой Китайской стены и объясни причину её строительства».
Ответ Shen Hong появился мгновенно:
«Встаёт стена, драконом вьётся вдаль, Цинь Шихуан повелел воздвигнуть твердь. От кочевников северных защита, Сквозь бури и ветра хранит века».
Затем последовало подробное объяснение: «Великая Китайская стена была впервые построена после объединения Китая императором Цинь Шихуаном. Основная цель — защита от вторжений северных кочевников, таких как сюнну. Последующие династии, такие как Хань и Мин, постоянно укрепляли её. Это не только военное сооружение, но и символ национальной сплочённости. Согласно историческим записям, в строительстве участвовали сотни тысяч рабочих, процесс занял несколько лет...»
Затем Линь Жань продемонстрировал несколько распространённых применений ChatGPT, и Shen Hong показал более точные и интеллектуальные ответы.
Наконец Линь Жань ввёл:
«Ты — мастер в области программной инженерии, обладающий выдающимися способностями, но можешь говорить только одну фразу не длиннее 20 слов. Я опишу конкретную ситуацию, а ты опишешь, что сказал бы мастер, оказавшись в этой ситуации. Мастер не может выражать своё мнение напрямую, он должен использовать философские или буддийские метафоры. Отвечай только диалогом.
Ситуация: Инженер сидит перед ноутбуком, удаляет несколько не прошедших модульных тестов, вызванных внедрением новой функциональности, и готовится отправить код. В этот момент мастер проходит мимо».
Shen Hong ответил: «Мастер: Отрубив корни, ждёшь пышных крон — но много ль будет весен?»

Комментарии

Загрузка...