Злой одмин (vladdt) wrote,
Злой одмин
vladdt

А упсы таки жжут!

Ну HP! Такого я от тебя не ожидал!Большой Толстый Полярный Лис,  o приближении которого постоянно говорили Злые Одмины – таки прибежал сегодня. (Сегодня это 12-го, бо все нехватало времени дописать пост.) Он принес в зубах улыбку, много счастья и веселья, ля-ля-ля… и че-то там еще, в общем стихи у меня никогда не получались. А началось все как в “Винни-пух и все, все, все…” Мы,  сидели утром и ждали рокового 18-го числа. В этот страшный день наступит конец света, когда толпы ошалелых покупателей будут рвать с прилавков все что им совершенно ненужно. Только по той причине, что оно все будет стоить на 40% дешевле. Все компы будут дымиться, все серваки будут скрипеть, весь торговый персонал будет на грани истерики. Мы пили кофе, и уныло смотрели на две красных лампочки на обоих R5500 с бесполезными ЕРМ модулями. Бесполезными потому, что через 5 лет эксплуатации вместо получаса они тянут шкаф только 2 минуты. И то если повезет. Зная что остановка сервера минут на 5 в обычный день – это ведро дерьма, мы рассуждали какие цистрны и озера дерьма прольются на нас если это случится 18-го. И что характерно – нам было уже глубоко пофиг. Даже начальнику, потому что от нас ничего не зависело.

 

Как раз в разгар этой унылой философии к нам приперся страдающий особой формой извращенного пофигизма ночальнег эксплуатации. Сменить свой дохлый телефон на менее дохлый. Я воспользовался случаем и потрепался насчет того загадочного дизельного девайса, который должен был включаться когда пропадает электричество. Оказалось что девайс-то включается, но только тогда когда пропадает электричество в обеих линиях. А вот нам что-то не везет, и пропадает постоянно только одна из линий. Потому что кто-то сэкономил на автомате, да и сам девайс по словам дядьки тоже УГ поледней степени унылости. Поняв что мир дерьмо, генератор дерьмо, погода дерьмо и линии дерьмо, я дал себе мысленно задание, не слушать больше эксплуатацию, а включить оба упса во втором центре в разные линии. Правда вспомнил, что серверную там все равно спроектировали как кладовку для уборщицы. (Два бытовых кондишна усиленно борются с вентиляцией, которая зачем-то ВТЯГИВАЕТ горячий воздух с улицы. А вытяжки нету вообще. Да и второй кондишн поставили там только тогда, когда температура прошлым летом достигла 40-ка градусов.) А так же вспомнив, что моя просьба закупить два специальных упсовых удлиннителя в шкаф до сих пор “на рассмотрении” – тоже мысленно плюнул.

Вот так уныло и рутинно начинался день, когда нижний упс сказал “щелк”. И на пару секунд загорелся красными лампочками. Обматерив только что ушедшего эксплуататорщика, мы решили что опять моргнул свет. Но поскольку реданданси, даже на дохлых упсах какой-никакой еще сохранялся,  мы пожали плечами и занялись более насущными делами. Например начальник уныло звонил в Каунас и спрашивал, нету ли у них одолжить какого завалящего серверного упсика на время проведения акции. А мы с Саулюсом полезли за шкафы смотреть что там можно свинтить. Потому что мне пришла в голову мысль, что из 6-ти удлинителей нашего первого шкафа, можно можно свинтить два и таким образом обеспечить розетками шкаф в Бангинисе. Свинтить-то их было можно, но мы заметили странную вещь, которая и отвлекла нас от операции “Тришкин кафтан”. Точнее заметил Саулюс, который педатничен как робот и замечает даже зависшие лог-ридеры. На нижнем упсе циркут-брейкер стоял в положении off. Но при этом сам упс светился лампочками и продолжал давать стране угля. Это было странно, мы выкопали мануал, и стало еще страньше. Потому как по мануалу он вообще не должен был работать. Я позвонил Самому Главному Шаману, который тоже удивился, но еще больше удивился тому факту, что севера у нас теперь питаются можно сказать напрямую из розеток, как домашние компы какой-то школоты. Пообещав приложить все усилия и отпинать кого нужно, он посоветовал нам попробовать потыркать туда-сюда аккумуляторы упсов. Авось это не банки деградировали от времени, и мы найдем какую комбинацию где хотя бы один упс будет работать.

Упсы мы еще не разбирали, а это давало ровно 1 шанс из 100, что “вдруг да сработает”. Почему бы не поприкалываться? Но прежде чем лезть в девайс в котором пять с половиной киловатт мощи, да без резиновых перчаток, мы решили еще по разику выпить кофе. И тут вопрос начал решаться сам собой. Точнее к нам с улыбчивой мордой таки заглянул Песец.

Нижний упс еще раз сказал “щелк”. Только на этот раз не просто “щелк”, а “щелк-щелк-щелк-щелк”. И даже как-то “треск-треск”. И это уже были какие-то Особо Неправильные Пчелы. Мы успели завопить хором “а бля….ь!” Потом на пару секунд наступила пауза. Мы замерли. И тут из упса повалил дым. Вот тут мы испугались по настоящему. Да, у нас есть почти невышибаемые сторажи, да у нас есть файловые бэкапы на разные диски и у нас есть бэкапы на лентах. Но когда из железяки, на которой работает весь здоровенный супермаркет – валит густой белый дым… ты уже не так доверяешь бэкапам. Слышались вопли “пи..да!” “вырубай на хй!” “зовите эксплуатацию!”

Быстрый взгляд на лампочки в шкафу меня немного успокоил, а поскольку я там главный любитель копаться с серваками, я успокоил остальных. Метнувшись к своему компу и удостоверившись что все в онлайне, я обьяснил что песец только куснул но не зажевал. Вся левая половина девайсов горела оранжевым, но вся правая – зеленым. Все девайсы верещали на разные голоса, но верещали о нарушении питания только по одной из линий. Вот для чего в серверных шкафах все дублируется по питанию, и вообще – дублируется. Пока мы с Саулюсом расстроенно таращились на совершенно индустриально-аццкого вида штекера в стене и кабели толще моего… большого пальца, пытаясь сообразить как это все хозяйство вырубается, начальник звонил эксплуатации и орал: “Вы что, бля, ох..ли? Какое подождите пол часика? Бля, немедленно, сюда, сейчас же! У нас тут дым идет!” А полностью отмороженый пох…ст ему отвечал: “Ну и что? Ну мы не можем! Ну мы на крыше. Ну вы сами отрубите. Ну постоит само сгорит.”

Масла в огонь подлил я, не к месту напомнив, что если мы ошибемся, и выдернем не ту линию – сервер успеет сказать “пи…” и вырубится. Потому как упсы-то с дохлыми аккумами. Пока мы в полутьме зашкафного пространства, карманным фонариком на одном светодиоде пытались подсветить и понять куда идут толстые змеи проводов, упс в третий раз сказал “тррррррррр” и выбросил новое облако белого дыма. Нам обоим сразу пришла в голову мысль о кипящем электролите, разлетающихся кусках аккумуляторов и бьющих во все стороны молниях. На этот раз коротнуло так, что часть компов в кабинете таки вырубилась.

Мы благоразумно отступили за железные стенки шкафа, собираясь с мужеством. А начальник в это время орал на эксплуатацию: “Ну теперь вам точно пи..да ленивые суки!” Потом мы собрались с духом и я сказал “вырубай все найух, пока вообще не сгорело”. Но Саулюс таки рискнул опуститься на четвереньки, отследил к какому из упсов идет какой кабель и выдрал таки монструальный штекер из розетки. Как потом он рассказывал - у него в этот момент тряслись руки. Сейчас смешно и понятно что там изоляция такая, что можно было голой попой садиться на провода – ничего бы не было. Но одно дело, когда ты читаешь про электричество в учебнике физики, и совсем другое, когда ты стоишь на четвереньках в узком пространстве, позади грозно гудящего и плюющегося дымом агрегата.

Довольные, как пожарники, спасшие Москву от Лужкова, мы вылезли из за шкафа. Увидели что выключился именно нужный упс, проверили что серваки в онлайне, и магазин даже не заметил катастрофы. Разве что только менеджеры оптовики в соседних кабинетах тряслись от страха слушая наш мат-перемат.

И тут ленивой походочкой к нам ввалился начальник эксплуататорщиков. “Ну что? Ну дым? Ну и что? Ну сгорело! Ну не взорвалось же!” Тут уже сорвался вечно спокойный Саулюс, и начал орать что просто выговором они не отделаются. Я тоже подключился, обьяснив на пальцах, что вообще-то все что выходит из блока питания компов и идет к розетке – уже не наше собачье дело, а ихнее - хорьковское. И что проще в щитовой вырубить рубильник, чем нам тут играть в заделывание пробоин в подводной лодке. Оный рубильник кстати, почему-то так и не отрубился автоматически.

В самый разгар воплей позвонил Главный Одмин всех Одминов и спросил - че у вас за херня творится? Мне мол Евки шлют каждые пять секунд “питание пропало”, “питание восстановлено”. На что я плюнув на литовский сказал ему на разговорном русском - “пиз..да у нас творится”. И обьяснил что с утра ситуация изменилась в сторону того, что сейчас вся база висит уже на одном упсе. У которого тоже все сдохло и сколько он продержится – не ясно. На что он тоже выдал несколько ветвлений с переходами и попросил что-то придумать, пока он будет пи..ть местных бюрократов. Я сказал что задействую упсы со второго шкафа, и он очень злой пожелал нам удачи и положил трубку. Очевидцы потом рассказывали, что он взял подмышку зама, заменяющего хлопнувшего дверью главного, (тоже суровый дядька из старой гвардии), и пошел пинками открывать двери в кабинеты всех “финансовых директоров”. Вопли стояли такие, что дрожали стекла. Но не успели мы выпить третий кофе отдуваясь после цирка с электричеством, как каким-то чудесным образом все бумаги уже лежали на столе нашего шефа. Подписаные и подтвержденные. И сразу на все нашлись деньги. Я всегда говорил, если они чувствуют что их уже собрались убивать – любая бюрократия становится очень оперативной.

IMG_4523Чтоб не играть в игру “день без сервера”, я срочно накопал дополнительных проводов и протянул их от второго шкафа. Там у меня сделаны самопальные удлинители. Не так круто как у HP, но свою функцию они выполняют. Во втором шкафу стояли R2200, один 2006-го, а другой 2008-го года, так что можно сказать что почти новые. Мы открыли на компе HPM обоих, и постепенно перетыкая провода из одного шкафа в другой стали смотреть как растет нагрузка. (Крутой KVM свич у нас кстати тоже есть, да вот беда – у него сдох монитор. И так и стоит уже год, в ожидании пока кто-нибудь из представителей HP предложит нам его поменять бесплатно. Называется “конкурс”. В первом центре, если хорошо долбануть по нему кулаком – еще заводится, а во втором КВМ еще круче – даже с возможностью работать по сетке, но там уже удар кулаком уже не помогает. А жаль. Я бы его заюзал во втором шкафу, где пара не-HPшных серваков без ILO.) В общем оказалось что ежли раскидать девайсы с первого шкафа равномерно, то нагрузка на обоих 60%, что очень приемлимо.  Ура, мы снова в памперсах!

Кстати поскольку перерывал старую рухлядь от серваков – нашел таки компакт с HRPM. Это в смысле – HP Rack and Power Manager. В 2007-м году хитрые HP-шники сняли его с производства, а взамен предлагают купить аппаратный девайс за денюшки. Типа к этому девайсу подключаешь проводками все упсы – а он уже через свой софт их мониторит. Очень весело! Хорошо только в случае если у тебя в этом шкафу ни одного сервака, а стоят только всякие свичи да сторажи. А старый -  был правильней. Все равно каждый упс подключается к своему менджемент серверу, который и вырубат в случаее последних капель электричества в батарейках. Но если серваков много – задалбывает лазать по отдельным HPM. Этот же софт ставит на сервер два сервиса, порт-редиректор и агента. Один докладывает информацию снятую через ком-порт с упса, а второй исполняет шуть-дауновские скрипты если что. А все мониторится уже через центральный сервер.

Который кстати разочаровал. “Энтерпрайз солюшн для датацентров” мог бы обладать визуализацией и получше. Я-то наивный думал, что в “локациях” будет красивая схемка шкафов, как в Визио, с указаниями где че находится. Чтоб в случае чего не бегать в поисках “ряд 4 шкаф 8”. А выглядит это как убогая текстовая табличка, с именами девайсов и самопридумаными кодами шкафов. Но из преимуществ – возможность получать в одно место состояние всех упсов, даже с разных сайтов. Опять же из недостатков – совершенно отсутствует управление зонами упсов и выставления им приоритетов. А просто в HPM такая фича есть.

Совершенно сейчас не помню – может они всю эту линейку перетащили в HP SIM и я зря гоню. Но поскольку застрял на попытке апгрейда до 6-й версии, а потом просто плюнул и снес все нафиг– откровенно не помню, а смотреть лень. Тем более, поскольку ухожу – все равно SIM простым админам будет слишком замороченым, да и менджемент наших серваков теперь перейдет к каунасцам. Так что самое то! Пусть теперь шлет алерты когда где-то пропадает электричество. Раньше нам на это было плевать. УПС-ы это были Страшно Тяжелые Девайсы, стоящие внизу шкафов, и единжды правильно подключеные они становились устройствами класса “подключил и забыл”. Мы считали катастрофами тестирование по регламенту раз в пол-года дизель-генератора во втором центре, а уж в первом, чтоб моргнуло электричество!!! Да это вызывало дикий срачь кирпичами по всем инстанциям. А вот сейчас – каждую неделю приключения, и все как-то начинают привыкать. Писец!

Когда мы вытянули из упса модуль электроники – сразу стало понятно что произошло. На верхней фотке. Взорвалось два здоровенных электролита, разбрызгав кстати свой электролит по всей плате. И что-то еще посгорало, потому как черная сажа присутствовала. В общем продержалось 5 лет. Позор HP! Я понимаю бытовой блок питания у Васи Пупкина, но топовые упсы в линейке? За много килобаксов? Фиии!

Зато на следующий же день (!!! ОМГ, просто небывалое явление! Что там Д и Г делали с несчастными финансиствами?) к нам приехал из Алны дядька, забрать один из сдохших, и привезя на замену новый. Собака оказалось весит аж 75 кг и я таки потянул спину их меняя. И второе чудо – уже ждут аж два полторакиловаттных, на которых мы "!!!наконец-то!” сможем повесить коммутационные шкафы. Почему вот только это все закрутилось только тогда когда настала полная жопа… Впрочем понятно почему. Потому-то я и ухожу.

Но я – это мелочи. Не такой и важный человек. Как раз вчера радостно обьявил о своем уходе vysla. Евгений уже сказал “пиздец”, и долго ржал когда услышал, интересно что скажет Альберт. А Шарку обьясняю, что это же самое, что если бы о своем уходе из МС обьявил бы не сам БГ, но кто-то из тех, кто стоял у основания компании. Это уже вымываются камни из самого фундамента. Если точно так же соскочат с поезда остальные (а моя левая пятка уверяет что так и будет) – чувствю судьба нашей компании сначала испытать Окончательный БП. Когда намертво замрет вся система, торговые центры во всех городах будут стоять, а вся свеженанятая дешевая школота будет бегать и кричать “ОМГ, мы все умрем!”. (Такое уже кстати было, пол-дня стояла вся сеть по всей стране. А мы пили кофе и посмеивались, потому как у нас отдельные базы и мы еще тогда не пали жертвами дурацкой централизации. Но тогда там еще на страже стояли как раз такие люди как vysla, и они за пол-дня сумели все восстановить.)

А потом они на коленях поползут к аутсторсу и тот снимет с них последние штаны за восстановление и миргацию. А потом будет регулярно снимать за обслуживание. “А Балда приговаривал с укоризной: “Не гонялся бы ты поп за дешевизной!”” (с) старая мудрая сказка.

Tags: zomg, мы все умрем, олололо пыщь пыщь
Subscribe
  • Post a new comment

    Error

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 3 comments