Цифровая рекомендательная система «Диншэн» была полностью запущена.
Хань Луи листал горячие темы в Weiboоколо трех часов дня. Хэштег #РекомендательнаяСистемаДиншэнСошлаСУма# занимал семнадцатое место.
Он кликнул по нему. Тонпостов оказался на редкость единодушным.
«Она предлагает мне детские коляски. Мне двадцатьтри, я холост и у меня собака».
«В моем фитнес-аккаунте сплошные БАДы и слуховые аппараты».
«Все утро смотрел кулинарные видео, а на главной мне подсунули скидку наритуальные услуги. Наверное, „Диншэн“ решил, что я слишком много жру, и заранее озаботился моими похоронами».
В комментариях царилобезудержное веселье.
Кто-то подытожил: «Рубрику„Диншэн“ „Возможно, вам понравится“ пора переименовать в „Угадай, кто ты“. Они даже не поняли, кто я такой, а уже пытаются что-то угадывать».
Хань Луи было не до смеха.
Сам по себе движок статических правил не должен был выдавать такой абсурд. Неточности – это нормально, но когда результаты настолько бредовые, значит, проблема в конвейере данных. После того как модульизвлечения признаков, который он писал строчка за строчкой, вырезали, никто не озаботился адаптацией старого формата профилей пользователей к новому движку. Входные данные превратились в хаос. Мусор на входе – мусор на выходе.
Детские коляски – это еще цветочки. Когда буфер конвейера данных переполнится, станет совсем не смешно.
На следующее утро тон жалоб в Weibo изменился, а хэштег взлетел на третье место.
Самый залайканный пост гласил: «Открыл приложение „Диншэн“ для покупки продуктов, а мне на весь экран вывалилась реклама секс-игрушек. Мама стояла прямо за спиной. И как мне теперь ей это объяснять?»
Кто-то писал: «Я в Шэньчжэне, а „Возможно, вам понравится“ выдало целую страницу местных харбинских ресторанов хого. Спросилприятеля из Харбина – у него вся лента забита шэньчжэньскими магазинамимолочного чая. Мы что, аккаунтами поменялись?»
Ему вторили: «Не только вы. У меня с коллегой страницы рекомендаций абсолютно одинаковые, вплотьдо порядка постов».
На техническом форуме тоже произошел взрыв.
Опытный разработчик под ником Старый Пес Архитектуры опубликовал длинныйпост:
«Грубо говоря, этот путь перестройки рекомендательной системы до боли знаком. Откат извлечения признаков от динамических весов к статическим правилам, обрезание модуля мультимодального слияния до одного текстового измерения... Из той статьи NullPointer прошлого месяца про „Семьклассических ловушек“, „Диншэн“ собрал третью, пятую и седьмую. Предлагаю написать сиквел: „Практическое руководство по семи ловушкам в блестящем исполнении одного ИТ-гиганта“».
Больше ста тридцати лайков за два часа.
Хань Луи посмотрел на количество просмотров своей статьи вблоге – восемнадцать тысяч.
Небо за окном было серым, как неоткалиброванный монитор. Дождь все никак не начинался, и воздух стал душным, липким.
Еще никто не осознавал истинных масштабов проблемы.
К половине двенадцатого ночи.
Перед сном Хань Луи снова заглянул в Weibo.
Висевший два дня хэштег #РекомендательнаяСистемаДиншэнРухнула# уже начал терять популярность.
Зато на первое место вырвался новый: #ДиншэнРухнул#.
Он кликнул по нему. Двадцать минут назад три основных приложения экосистемы «Диншэн» начали массово вылетать: при запуске пользователи видели лишь белый экран.
Крах рекомендательной системы не активировал механизм предохранителя. Сбойный модуль, словно вирус, пополз вверх по цепочке вызовов, утянув за собой зависимые от него алгоритмы распространения контента, поиска и загрузки главной страницы. В конце концов вся цепь погибла.
В 23:15 «Диншэн» выпустил экстренное заявление, а в23:40 приложения начали постепенно возвращаться в строй: разработчики вручную вырезали рекомендательную систему целиком.
Кто-то выложил в сеть скриншоты после восстановления. Главная страница была девственно чистой: никакого «Возможно, вам понравится», никаких персонализированных рекомендаций, никакого уникального контента под каждого пользователя – просто голая витрина.
«Это что, приложение из 2015 года?»
«А где рекомендательная система „Диншэн“? Куда она делась?»
«Вырезали. Не вырезалибы – все приложение бы лежало. Что бы ты выбрал?»
Хань Луи открыл Зрение.
[Характер инцидента: Системныйсбой (отсутствие предохранителя → лавинообразное обрушение всей цепи)]
[Первопричина: Несовместимость формата профилей → накопление ошибок парсинга → утечка памяти, вызывающая ООМ → разрыв конвейера данных → искажение 23% профилей пользователей → сбой модуля рекомендаций без срабатывания предохранителя → каскадный пробой всей цепи]
[Зона поражения: Все пользователи во время простоя (пик около 12 000 000 онлайн), в данный момент система работает в режиме деградации]
[Текущий статус: Модуль рекомендаций отключен вручную, приложение работает в режиме деградации]
[Прогнозируемый период восстановления: Откат версии до исходной архитектуры, около14 дней]
Все в точности совпадало с его собственными выводами.
В середине марта, когда он просматривал то аутсорсинговое ТЗ, рейтинг «Крайне плохо» и сто сорок уязвимостей указывали именно на такой финал.
С момента полного запуска в понедельник утром до тотального краха во вторниквечером прошло меньше 48 часов.
Даже на день быстрее, чем он изначально предполагал.
...
События, последовавшие с рассветом, напоминали падение костяшекдомино.
Кто-то откопал написанную Хань Луи месяц назадстатью «Семь классических ловушек при реконструкции архитектуры рекомендательных систем» и создал тред:
«Братцы! NullPointer – пророк! Месяц назад он с ювелирной точностьюописал сегодняшний крах „Диншэн“. Они собрали все семь ловушек!»
«Какой пророк, он просто путешественник во времени!»
«Не все семь. Я посчитал, как минимум пять».
«Ты плохо считал. Вторая и шестая тоже сработали, просто симптомы еще не проявились в полную силу».
«Значит, все-таки все семь?»
«Полный страйк».
Модератор закрепил тред в топе. Количество просмотров в блоге начало стремительно расти: двадцать девять тысяч к полудню, сорокдве тысячи днем, а к вечеру перевалило за шестьдесят. Технические издания растаскивали статью нацитаты, скриншоты разлетались по чатам крупных ИТ-компаний, ее репостнули даже несколько ведущих технологических пабликов.
В чате комнаты 404 тоже шло бурное обсуждение.
Ма Сяофэй скинулссылку: «Парни, вы читали этого NullPointer? Написал статью месяц назад, и „Диншэн“ собрал все семь ловушек. Этот чел просто бог».
Чжан Хаожань: «Ее репостит все IT-сообщество».
Ма Сяофэй: «Как думаете, может, он изнутри „Диншэн“? Иначе как бы он так точно все расписал?»
Никто не ответил.
Спустя несколько секунд Хань Луи набрал сообщение: «Это янаписал».
Ма Сяофэй: «??»
Чжан Хаожань: «NullPointer – это ты?»
«Ага. Только не болтайте».
Ма Сяофэй прислал голосовое. Хань Луи даже не стал его слушать – и так знал, что тот там орет.
Чжан Хаожань: «Понял».
К обеду дискуссия переросла из «система „Диншэн“ рухнула»в поиск виноватых. Какое-то независимое медиа выстроило хронологию: в начале года«Диншэн» провел сокращения, обновил ключевую команду алгоритмистов, новая команда полностьюпереработала архитектуру системы, через два месяца запустила ее в полном объеме, и через два дня та стреском рухнула. В конце автор приписал: «Управленческая катастрофа хрестоматийного масштаба».
В комментариях кто-то спросил: «А какзвали того ключевого разработчика, которого уволили?»
Ответа не последовало, но количество просмотров продолжало расти.
Су Няньнянь переслалаему эту запись в WeChat: «Ты ведь раньше как раз рекомендательными системами занимался? Это про вашу команду?»
Хань Луи коротко ответил: «Ага».
Он закрыл форум и переключился обратно в редактор кода. От группы бета-тестирования накопилась целая гора отзывов. Чаще всего жаловались на уровень ложных срабатываний: в версии v0.2 он снизился до 7,8%, но Су Няньнянь ставила цель ниже 5%. Четверо из двадцати трех тестеров написали одно и то же: слишком много ложных тревог, мешает рабочему процессу.
Нужно было делатьдело.
На ужин были замороженные пельмени из холодильника. Сварил десять, съел восемь, а два развалившихся выкинул.
Когдаон помыл посуду и вернулся за компьютер, было уже половина десятого.
В WeChat выскочило сообщение. Чжао Цимин.
«Брат Хань, спишь?»
Хань Луи напечатал: «Нет. Что стряслось, Сяомин?»
«Только что вернулся, торчал насверхурочных. Хотел тебе кое-что рассказать».
«Днем было собрание по разбору полетов. Чэнь Бовэнь от начала и до конца переводил стрелки».
«Сказал, что первопричина краха системы – это „архитектурные дефекты, оставленные предыдущим ключевым разработчиком“».
«В презентации твое имя мелькнуло четыре раза. Заливал про „чрезмерно связанную архитектуру динамических весов, приведшую к уязвимости системы“, про „отсутствие документациипри передаче дел“. Из двадцати трех слайдов четыре были посвящены тебе».
«Бред собачий! Эту систему весов написал ты, она бесперебойно пахала большетрех лет, а он пришел и все сломал».
«И документацию ятоже писал! Он ее даже не открывал».
Хань Луи неподвижносмотрел на эти строчки.
Через несколько секунд Чжао Цимин прислал еще одно сообщение.
«Я на собрании чуть было прямо в лоб ему невысказал, но сдержался. Еще даже резюме никуда не разослал».
«В нынешних условиях относись к этому просто как к заработку. Сначала устрой свои дела».
«Да я понимаю. Просто пиздец как мерзко, вот и решил тебе рассказать».
«Ага, понял тебя. Спасибо [Сложенные в приветствии руки]».
Чжао Цимин прислал стикер со вздохом.
«Ладно, брат Хань, ложись спать. Я тоже уже вырубаюсь».
Хань Луи отложил телефон. Экран погас на несколькосекунд, а затем снова загорелся. Это была Гу Сыюэ.
«Тыуже видел, что творится с „Диншэн“? Осторожнее, тебя могут впутать. Если что – сразу звони мне».

Комментарии

Загрузка...