Святослав Усков
Адский стартап
Гл.1 Выход из HEA.
Полуторацентнерная, обитая звуко и термо изолирующими слоями дверь в машинный зал отворилась едва ли на 30 см и я змейкой, ужиком просочился внутрь, набирая ускорение, перешел в неистовый бег, задыхаясь работая ногами. Как же все-таки хочется жить. Не прошло и 3-х ударов сердца как та же "дверка" резко распахнулась, впечатавшись в стену и в зал вломился "крупный" страж, тут же захлопали выстрелы и засвистели пули. Но я уже удачно завернул за первый ряд стоек, петляя и запутывая следы. По ощущениям, стражей было уже двое или трое: крупный точно, в паре с ним обычно работал ямайский пыхарь, система часто создавала его в виде негра с косичками, но сегодня это был азиат в шапке-ушанке, на него я и наскочил. Благо он был не крупный и приличный разбег помог мне хорошенько приложить его в 42 юнитовую стойку. Блин, да где же эта фигня с совой? Силы уже на исходе, счет идет на секунды… А вот наконец-то знакомый рисунок: на дверце серверной стойки наклейка – фиолетовый совенок, шкаф не заперт, я готовил его для выхода, но конец обжать не успел, поленился. Сейчас за это и получу маслину, ладно попробуем, достаю из-за пазухи обжимник. Уже открывая стойку ощущаю тяжелые шаги где-то сзади. Так, что внутри: равномерно гудят натыканные плотно усаженные блейд серверы, острые хоть сейчас бриться можно, сверху 19" коммутатор cisco, все порты затыканы кроме одного. Ага, вижу необжатую витую пару, зачищаю сантиметр (как учили, в молодости сетевики, эх не зря 3 года отработал сисадмином в одной конторе). Бело-оранжевый, оранжевый, бело-зеленый, синий… Повторяю словно мантру порядок проводов прямого обжима.
Краем глаза уже виду вспышки выстрелов, время растягивается как струна. Четко надеваю коннектор rj-45, одновременно придавливая обжимником. Кажется, что-то тяжелое и злое подлетело ко мне сзади…вставляю коннектор в ухо…щелчок. Злые пули разваливают всю стойку, но меня уже нет в этом прекрасном мире. Электрическая слаботочка унесла мое сознание в реальный мир. Снова вижу на экране грустную надпись Happily Ever After exited. Вот так незаметно прошел выходной, вышел из HEA, велком ту HELL.
Гл.2 Трудовые будни.
– Шеф, до каких пор, будет продолжаться эта фигня с четвергами? Именно такой вопрос из анекдота я традиционно задавал нашему продукт оунеру на планировании недельного спринта в понедельник. Мы работали по эджайлу (как нам казалось, казалось начальству, все еще в модной ай-ти парадигме). Наша маленькая команда разработчиков пилила экспериментальную систему предсказания неплательщиков. Этакий маленький стартап внутри большой финансовой организации. То что мы пилили проект – это громко сказано, скорее поддерживали, так как ядро мы честно стырили с опенсорс в рамках глобальной борьбы с проприетарным софтом, прилепили логотип компании, задекорировали код, в половине функционала не разобрались и просто зачистили его и о чудо этот франкенштейн заработал. Фигак-фигак и в продакшн. Проект уже несколько раз хотели закрыть, но пока везло, попали под волну хайпа BigData и Data Science. У нас в команде теперь даже был один Сатанист Гриша, который закончил Академию МАДИ mail.ru по специальности дата-саентист. Настоящий сатанист на адской тележке. Работа была легкой, я лично делал свою рутину за час в день, затем пинал балду и это если был в офисе, если на удаленке, то просто сутра продрав глаза запускал впн, чтоб начиналась рабочая сессия и не разрывал ее до ночи, чтоб не отвалилось крутил зацикленные видосы в браузере или запускал кликер. Через три месяца работы в проекте я все-таки выгорел, да и совесть основательно погрызла меня, хотел уволиться, но случайное открытие заставило меня остаться на долгие-долгие месяцы. Это было счастливое время, я познакомился с эмулятором жизни Happily Ever After.
Гл.3 Рациональное использование ресурсов.
Если тебе повезло, владелец продукта пробил бюджет и под задачи твоего проекта выдали КТС, то есть серверы виртуальные, физические или даже baremetal, то их утилизация становится головной болью значительно большей чем разработка и размещение софта на этих тачках. Коллеги из Инфраструктуры уже заботливо установили туда своих агентов и меряют утилизацию в Прометеусе. И не дай бог если твоя утилизация составит менее 85% процессорного времени и памяти, тебя сожрут с потрохами за такой раздутый сайзинг. Если же из-за активной работы свободное место на жестком диске сервера становилось менее 10%, то ты по ночам подрывался на инцидент вместе с ребятами из сопровождения. Жесть, да?! Но все это не про нашу команду. Гладко было на бумаге. Проблему с утилизацией мы поручили решить стажеру, который проходил у нас практику от МГТУ и он написал несколько сервисов и приложений почти бесполезных, с пустыми циклами внутри, но зато незаменимых для повышения нагрузки. Хитрая система шедулинга в Cron обеспечивала нам избыток ресурсов для работы основного ядра, во время активности которого фейковые сервисы ставились на стоп. Проблемы с жестким диском не было, периодически мы подчищали нерационально накопленные логи и старые данные в базах, благо на нас не наезжали безопасники с нормативными требованиями хранить каждый чих 3 года. Но однажды наш тим лид, как самый головастый, увидел в квоте, выделенной нам недавно в Биг Дате какие-то warning-и. И поручил мне разобраться, как самому в этом вопросе компетентному, читай единственному, ну да был у меня небольшой опыт в прошлой конторе, чуть-чуть поработал с hadoop-ом и ozon-ом, я даже знал как запускать spark в hue, поймите меня правильно. Вообще эту квоту выделили Грише, но он хрен забил. Офис нашей компании, где мы сидели располагался на Боровой улице, здесь же в бывшей промке располагался нехилый ЦОД с кучей машинных залов забитых серверами, думаю половина из них принадлежала нашей компании, фирма не экономила на железе. Но вообще мне говорили знакомые админы, что основные мощности давно перевезли в Сколково, где в подземных хранилищах заполнены стойками площади размерами в несколько футбольных полей и серверы все сплошь были новыми экспериментальными, с квантовыми, прости господи, процессорами. Обычные админские байки, но в силу некоторых открывшихся обстоятельств я скорей был склонен верить, чем не верить… Я дал команду hdfs dfsadmin -report… но сервер мне выдавал какие-то издевательски-кривые цифры, 15 раз посчитав нули я прикинул что наша квота измеряется экзабайтами…одна только папка hea занимала 900 петабайт. Внутри нее я нашел md файл. Happily Ever After 3.0 – эмулятор жизни, Strong AI generated… было написано внутри. В папке были баш скрипты и куча конфигов. Количество же вложенных папок мне не удалось посчитать ни разу, система просто зависала намертво… Это все конечно какой-то глюк, типа файловая бомба, отъедающая свободное место или что такое… да хрен знает какое. Я два дня сидел и офигивал, по всему получалось что это правда какие то гигантские объемы… я не поленился закачать туда несколько десятков терабайт и это не особо повлияло на метрики. Да нам никак не могли такое выдать…там шло проксирование…и не факт, что в Сколково. Количество хостов, ядер и памяти также не поддавалось подсчету. Не, я слышал, что наша компания участвует в крупном нац. проекте Развития Искусственного интеллекта в стране, но не настолько же крупного… Начальству я почему-то ничего не доложил, а начал изучать скрипты…моим любимым методом тыка.