— Он тебе окончательно мозги запудрил, да?
Чжао Лимин был уроженцем Цзянчэна, но из-за своей должности топ-менеджера в Tencent Cloud круглый год пропадал в Пэнчэне.
В этом году Праздник весны наступал рано, поэтому и домой он вернулся раньше обычного.
И стоило ему только переступить порог, как он услышал, что дочь рассказывает ему какие-то сказки.
Она вывалила на него кучу историй о том, какой удивительный у нее друг: и Твиттер-то переманивает его на огромную зарплату, и одним-единственным электронным письмом-то он покорил самого Игоря Бабушкина.
А потом еще и достала телефон, открыв страницу Твиттера, чтобы все это доказать.
Всему этому Чжао Лимин поверил. Поначалу он вообще решил, что дочь просто хочет выбить для парня место стажера.
Стажерам на позициях, связанных с ИИ, Tencent платил весьма прилично — тысячу юаней в день. Это, конечно, не шло ни в какое сравнение с теми безумными тремя тысячами в день, которые позже стали предлагать выпускникам «класса Яо» из Цинхуа.
Но сумма все равно была внушительной.
Имея за спиной рекомендацию Игоря Бабушкина и оффер от Твиттера в качестве доказательства, дать ему стажировку было бы вполне разумно.
Но следующие слова дочери заставили его выйти из себя:
— Я тут подумала: нельзя ли выделить ему немного вычислительных карт в Tencent Cloud, чтобы он мог обучить большую модель?
Чжао Лимин почувствовал, что в его воспитании дочери зияет огромная дыра. Раньше он и не замечал, что она настолько помешалась на парне.
Для более-менее состоятельной семьи с единственной дочерью самое страшное — это когда дочь теряет голову от любви.
— На каком основании? Ты хоть знаешь, в каком дефиците сейчас вычислительные карты Nvidia в стране? Что значит «выделить немного карт, чтобы он обучил большую модель»? Первокурсник хочет возглавить разработку большой модели?
— Он что, Стив Джобс или Билл Гейтс?
— У него есть признанные проекты в open-source сообществе?
— Он какая-то звезда от науки?
— Он выезжает только на чужой рекомендации.
— И только ради одной рекомендации я должен выделить ему видеокарты?
— Сейчас вообще нет свободных карт: права на их использование либо уже проданы, либо они заняты во внутренней лаборатории искусственного интеллекта Tencent.
— Да где ты вообще видела простаивающие мощности?
— Другое дело, если бы он сам был Игорем Бабушкиным, — закончил свою тираду Чжао Лимин, но по лицу дочери было видно, что она с ним в корне не согласна.
— Ну давай, расскажи мне, с какой стати? Когда мои подчиненные приносят мне проекты, они обязаны предоставлять обоснование.
— Дать вам тысячу H100 всего на месяц — это как минимум 50–60 миллионов юаней.
— И это я еще молчу о том, что на внутреннем рынке сейчас вообще нет легальных способов купить H100. На сером рынке аренда одной H100 стоит 10 долларов в час.
— Будь ты хоть дочерью дяди Тана, а не моей, ты бы все равно не смогла парой фраз освободить для себя такие мощности.
H100 были в жесточайшем дефиците. Это был новый флагман Nvidia, выпущенный только в прошлом году.
Из-за экспортных ограничений, введенных правительством США в октябре прошлого года, и внезапного появления ChatGPT, карт H100 во всем государстве Хуа было катастрофически мало.
Спасало лишь то, что у Tencent Cloud были дата-центры за рубежом: они могли закупать карты там, разрабатывать алгоритмы внутри страны, а само обучение запускать на заграничных серверах.
Чжао Лимин был убежден, что его дочери просто окончательно запудрили мозги.
Чжао Пэйсюань возразила:
— Пап, во-первых, я и не просила H100, сойдут и A100.
— А во-вторых, Чэнь Си предложил исключительно жизнеспособный план.
— Он хочет напрямую использовать данные GPT в качестве обучающей выборки. Это уже готовые данные, что сэкономит кучу времени.
— Я считаю, что это очень рабочий вариант, и дать ему шанс будет не лишним.
— Ты же сам говорил: в большинстве случаев нужно искать стабильность, но когда выпадает шанс — нужно рисковать.
Чжао Лимин усмехнулся от злости:
— Я говорил тебе, что нужно рисковать, когда это оправданно. А теперь посмотри на его бэкграунд: единственное, что заслуживает хоть какого-то доверия, — это рекомендация Игоря Бабушкина, да и то полученная по удаленке.
— Он не был в Кремниевой долине, не работал в DeepMind и не работал в Твиттере.
— Вес этой рекомендации слишком слаб, понимаешь?
— Кроме того, ты думаешь, что использовать данные GPT для обучения — это какой-то гениальный план, внезапная вспышка озарения.
— Ты так думаешь только потому, что слишком мало знаешь. Ты не работаешь в этой индустрии, а в своем Научно-техническом университете Цзянчэна изучаешь структуры данных и язык Си сорокалетней давности.
— Ты не следишь за передовыми тенденциями в open-source сообществе.
— Вашингтонский университет и Институт искусственного интеллекта Аллена опубликовали статью сразу же после выхода ChatGPT. Она называется «Self-Instruct».
— То, что ты называешь «обучением на данных GPT», для тебя звучит как откровение, а люди уже написали об этом научную работу и провели эксперименты.
— Суть Self-Instruct именно в том, чтобы заставить большую модель генерировать собственные обучающие данные.
— Они уже опубликовали весь метод — это итеративный процесс.
— Сначала подготавливается небольшая партия написанных человеком инструкций, которые служат примерами для направления модели на генерацию новых задач.
— С помощью текущей модели ей дается запрос на создание новых, более разнообразных инструкций.
— Например, ей дают несколько стартовых примеров и заставляют придумывать новые задачи.
— Для каждой новой инструкции генерируются вводные и выходные данные.
— По сгенерированной инструкции модель создает соответствующие Input и Output.
— Таким образом, получается полная тройка: Instruction, Input и Output.
— Затем отфильтровываются данные низкого качества. С помощью эвристических правил автоматически отсеиваются недействительные задачи, задачи с высокой степенью повторения или с плохим качеством вывода.
— Отфильтрованные качественные данные возвращаются в пул задач, и можно продолжать итерации для создания еще большего объема данных.
— Наконец, эти синтетические данные используются для контролируемого дообучения (supervised fine-tuning) исходной базовой модели.
— То, что ты сочла гениальным озарением, другие уже давно придумали и реализовали на практике.
— Ты думаешь, что откопала гения, а на деле он просто знает чуточку больше тебя!
— Ты думаешь, что он обладает знаниями, а он, возможно, просто в курсе новостей!
Бог Чэнь, превозносимый до небес соседями по комнате в общежитии «Хубинь-7» Университета Цзянчэна, в глазах Чжао Лимина, жителя богатого района с виллами, был всего лишь удачливым пацаном с небольшими способностями.
Сам Чэнь Си об этом контрасте не знал, но Чжао Пэйсюань смириться с ним явно не могла.
Однако аргументы отца были логичными и обоснованными, и она не нашла ни единого повода для возражений.
От этого на душе у нее стало тоскливо. Бросив лишь короткое: «Понятно», она ушла в свою комнату.
Глядя ей вслед, Чжао Лимин лишь вздохнул про себя: дети растут, и их уже не удержишь. В детстве Чжао Пэйсюань бежала к нему обниматься, а теперь, чуть что не по ней, сразу прячется у себя.
— Чэнь Си, прости, я не смогла убедить отца, видеокарт не будет.
— Он слишком упрямый и не верит, что молодежь способна творить чудеса.
— Похоже, тебе все-таки придется лететь в Кремниевую долину. Завтра я отвезу тебя в консульство.
Чжао Пэйсюань строчила Чэнь Си сообщения в WeChat каждые пару минут.
Никто не отвечал.
Впрочем, она уже привыкла, что он вообще не отвечает в мессенджерах.
Подумав немного, Чжао Пэйсюань собралась, взяла ключи от машины и вышла за дверь.
Когда дочь оказалась на пороге, Чжао Лимин спросил:
— Куда собралась?
— Не твое дело, к ужину не ждите! — отмахнулась она, чем вывела отца из себя.
— Мне плевать, куда ты идешь, но чтобы к восьми часам после ужина была дома! — крикнул он ей вслед.

Комментарии

Загрузка...