27.06.2010

Сергей Горшенин: «Как вымыть слона или ЛВС за 90 дней»

В декабре 2007 г. я вступил в должность руководителя ИТ –подразделения ОАО «Светлана», которое тогда называлось отдел ТОиИБВС и расшифровывалось как отдел технического обслуживания и информационной безопасности вычислительной сети.

Как видите, название не из простых, я несколько дней запоминал аббревиатуру и еще столько же его расшифровку. Несмотря на то, что этот отдел стал преемником подразделения с гордым названием «Вычислительный центр», все пришлось начинать с положения, находящегося значительно ниже нулевой отметки. За два года произошло немало событий, была проделана определенная работа по созданию как ИТ-подразделения, так и предоставления ИТ-услуг в целом. Сейчас, оглядываясь назад, могу сказать, что можно было сделать и больше, и быстрее. Но если учитывать, что вся работа велась в условиях экономии бюджетных средств и собственными силами имеющегося ИТ-подразделения, то можно смело ставить твердую четверку с плюсом. Ведь, несмотря на выполнение отдельных незапланированных при создании ИТ-департамента проектов, развитие ИТ в организации идет согласно предварительно составленному мной трехлетнему плану, конечная цель которого — создание единой инфраструктуры для всего холдинга на базе ИТ-подразделения управляющей компании. 

Но сегодня я расскажу одну историю, которая произошла на заре моей работы на «Светлане» и в том или ином виде, думаю, знакома многим из нас. 

Задача со многими неизвестными

Когда начались мои первые 90 дней в организации, треть из них я посвятил ИТаудиту и выяснению общего вектора развития самой организации и ИТ-направления. Сама «Светлана» занимает площадь порядка 38 гектар, и одним из возможных проектов на тот момент являлась локализация основных бизнес-подразделений управляющей компании в нескольких близлежащих зданиях. Все бы ничего, но вот только точных сроков и дат переезда никто не мог назвать. С такими знаниями о предстоящих проектах я закончил свой первый месяц работы и стал готовиться к предстоящим новогодним праздникам. Праздники пришлись очень кстати — у меня было время подумать обо всем, что я увидел и узнал. Пищи для размышлений оказалось много, а еще больше — идей о том, как все поставить с головы на ноги, да еще и заставить шагать в ногу с бизнесом. Как-то, возвращаясь из загородной поездки, я обдумывал проблему низкой пропускной способности локальной вычислительной сети. Но, чуть не попав в паутину множества второстепенных задач — ловушку для многих новоиспеченных ИТ-директоров, я вовремя остановился: ведь это не самая приоритетная задача компании! В те самые 90 дней у меня был один шанс показать себя как управленца, понимающего стратегические задачи предприятия, и сделать так, чтобы вновь создаваемое ИТподразделение помогло компании их достичь. И это необходимо было сделать именно в первые месяцы работы. Но очень часто на новой работе мы сразу увлекаемся тысячами второстепенных дел, теряя при этом одну-единственную главную идею, тратим время на второстепенные задачи, решение которых можно поручить подчиненным, передать в другие службы, а то и вовсе отложить. Стремление изменить все и сразу, за короткий промежуток времени, 
по-настоящему не изучив работу организации, порочно. В идеале первые 90 дней надо использовать для того, чтобы изучить структуру компании, прислушаться к «биению пульса». Такая стратегия поможет сэкономить много сил в будущем. 

Рекогносцировка на местности

Новогодние праздники прошли, а оставшаяся часть января ушла на разбор и понимание бюджета ИТподразделения, доставшегося 
мне по принципу «as is». И вот однажды, в начале февраля, один из моих сотрудников говорит, что в одном из кабинетов южного крыла на третьем этаже, находящемся над серверной комнатой, решили сделать ремонт, и совсем неплохо было бы проложить 5 кабелей «витой пары» — так, на всякий случай. Предложение было логичным, и я согласился. Но в последующие два дня какая-то тень сомнения не давала мне покоя. Казалось бы, ну, что в этом такого — решили в одном из кабинетов сделать ремонт, такое случается довольно часто. Но, видимо, сказались внутренняя интуиция и многолетний опыт работы в ИТ. Я решил разобраться в вопросе более детально, предварительно проведя «рекогносцировку на местности». Начал с обратной стороны: поговорил со строителями, и, как оказалось, не зря. От них я узнал, что у них «заказ» на ремонт как минимум 5 кабинетов, а дальше «как пойдет». Тут то и началось самое интересное. В принципе, в мои планы входила замена, вернее сказать, создание новой сетевой инфраструктуры, но не так скоро. А теперь, с одной стороны, у меня не было выбора, а с другой — надо было, как говорится, ловить момент и извлекать из ситуации максимум пользы. Пришлось сменить деловой костюм на джинсы в стиле casual и вспомнить старую фразу о том, что писать книгу это как мыть слона: трудно решить, с чего начать, и сложно определить, где слон уже вымыт, а где еще нет. Несмотря на то, что речь идет о книге, афоризм подходит практически к любым занятиям, а уж тем более к ИТ. Ведь для каждого из нас, новаторов и последователей этих «двух букв», скрывающих за собой огромный потенциал и паутину, пронизывающую все области современной жизни, любой проект — это наше детище, семечко, которое мы опускаем в не всегда благодатную почву современного бизнеса, поливаем, удобряем и любуемся, как из маленького ростка распускается роскошный цветок. 

Что нам стоит дом построить? 

Тем не менее, слон был большим, его необходимо было мыть, и чем раньше мы приступим к делу, тем больше шансов его вымыть полностью. Первое, с чего мы начали — изучение местной «флоры и фауны»: длинные участки витой пары под 150 метров, несмотря на положенные по стандартам 100, местами висящие под крышей здания, а местами просто брошенные на засыпанный керамзитом 
чердак; сетевое оборудование, спрятанное под подвесными потолками или «зашитое» гипрочными стенами, да так, что никто даже и не подозревал о его существовании… Хитросплетения пучков сетевого кабеля и 220 В приводили в недоумение, как это все вообще работает. Всей командой мы вычерчивали на чердаке предполагаемые контуры кабинетов, чтобы знать, где искать отгадку, почему «вошел один проводок, а вышло много». К концу второй недели (текущую работу никто не отменял) у нас была полная схема всей сетевой инфраструктуры. Результаты оставляли желать лучшего. И мы принялись за работу. 

Для начала я выяснил все подробности предстоящего ремонта. Кабинет, с которого все началось, стал первым в списке. В дальнейшем предполагалось провести ремонт по всему третьему этажу, а также части второго и первого этажей корпуса заводоуправления, и осуществить локализацию пользователей основных бизнес-подразделений. С другой стороны, в общую смету были даже заложены затраты на построение нескольких сегментов локальной сети, хотя так и непонятно, на основании каких данных их закладывали. Вот только в силу отсутствия подобных ИТ-проектов на «Светлане» и малой вовлеченности других служб в дела старого вычислительного центра никто не подумал, что ИТ-подразделению это будет хотя бы интересно. Впоследствии один из ответственных за ремонт руководителей признался: «…многие в новогодней суматохе и не заметили, что сменился руководитель и название ИТ-подразделения. Я решил, что от перестановки слагаемых сумма не меняется, и был сильно удивлен не только тому, как велась работа, но и успешному завершению того, что изначально не планировалось и на 30%».

Соединив все части мозаики (текущую ЛВС, если ее можно было назвать таковой; своих сотрудников, в которых я мог тогда только верить; бюджет, о специфике которого я только догадывался, и многое другое), я принял решение вымыть этого слона, надеясь, что воды, то есть средств, как финансовых, так и людских, мне хватит и на этот проект, и на текущую перационную работу, качество которой, между тем, надо было улучшать. 

Для себя я обозначил следующие цели: 

  • построение новой локальной вычислительной сети, максимально отвечающей, при адекватных затратах, стандартам построения ЛВС;
  • возможность 20% увеличения количества пользователей на момент окончания проекта и минимум 50%по нагрузке;
  • минимальное привлечение внешних подрядчиков и экономия бюджета;
  • переезд «серверной», о которой позже.
Поскольку наш слон был огромным, мыть мы его начали с нескольких сторон и на нескольких этажах и частях света сразу, в промежутках перевозя пользователей из кабинета в кабинет, из корпуса в корпус. 

Злополучные розетки. 

Для нас проект стартовал в начале марта, совпав с моим днем рождения. Спустя три с половиной месяца он полностью был закончен. Казалось бы, что может произойти за такой короткий срок? У нас трижды менялись субподрядчики генподрядчика ремонта, прокладывающие кабель и устанавливающие розетки. Последствия стандартные: отсутствие маркировки на проложенном кабеле, очередное разъяснение проектной документации, контроль над расходом кабеля, влияющий на конечную стоимость работ и многое другое. Например, одни субподрядчики работали с 20.00 и 23.00,  то время как рабочий день на «Светлане» заканчивается в 16.45. Это усложняло процесс контроля, а контролировать приходилось, к сожалению… Когда стали тестировать точки подключения, 
оказалось, что больше половины не откликаются. Стали разбираться. По смете были заложены «именитые» розетки 6 категории, что мне с самого начала не понравилось, особенно учитывая тот факт, что, согласно нашему проекту, это являлось избыточным, да и цена была далеко не маленькой. Я предложил подрядчику заменить их на 5 категорию, но, как оказалось, они закупили партию розеток еще до подписания договора. В результате переговоров удалось снизить общую стоимость до вполне приемлемой цифры. Но это была только одна сторона медали. Вторая заключалась в том, что то ли именитые розетки 6 категории требовали к себе внимания такого же именитого кабеля 6 категории, то ли партия просто оказалась бракованной и витая пара 5 категории при разделке просто проваливалась в ножах. В результате пришлось подключать собственных поставщиков и договариваться с ними о поставке с последующей оплатой нашими подрядчиками. Впрочем, розетки были не единственным пунктом в поставках: короба и уголки, коммуникационные стойки и патч-панели, активное и пассивное сетевое оборудование, оптоволокно и витая пара, которой, кстати, вместо запланированных по смете 4 км, ушло более 10! 

Глаза глядят, а руки делают.

Работа спорилась, увеличивался километраж проложенного кабеля, субподрядчики, как водится, перманентно менялись, но однажды привезли стойки, патч-панели и инструмент для их разделки. Вот тут вскрылась страшная тайна: мои новоиспеченные сотрудники никогда не занимались подобной работой. Вспомнив молодость и засучив рукава, показал, как это делается. По правде говоря, первые две-три панели я все-таки заставил моих мОлодцев переделывать. Зато теперь это предмет их особой гордости: когда я устраиваю коллегам по цеху мини-экскурсию, все интересуются, какая компания выполняла сборку шкафов и разделку кабельной инфраструктуры. Кстати, о витой паре. Около месяца сетевые пакеты с запросами бегали по ней весьма замысловатым маршрутом, длина которого от пользователя до сервера могла достигать 230 м: старая серверная вместе с кабинетом системных администраторов (которых еще только предстояло перевезти) находилась на втором этаже южного крыла, а ИТ-подразделение — на первом этаже северного. Поскольку все работы велись в режиме реального времени, а график ремонта помещений не давал нам возможности строить сеть последовательно, пришлось пойти на прокладку двух временных транковых каналов. По ним сетевые пакеты от пользователей, приходящие на первый этаж северного крыла (новая серверная), уходили через третий этаж на второй южного (старая серверная). Там они обрабатывались серверами, возвращались в будущее ядро сети и по новой кабельной инфраструктуре передавались пользователям. Таким образом, мы смогли бесперебойно предоставлять услуги существующим пользователям и, не дожидаясь полного окончания ремонта, предоставлять услуги новым.

Точка, точка, запятая… 

В конце концов, все переезды закончились, а бухгалтерия, финансовый отдел и другие подразделения смогли пробовать новую сеть. Мы же для себя всего лишь выполнили основной этап проекта. До полного его окончания предстояло еще осуществить переезд серверов, т. е. в режиме реального времени перенести сетевую инфраструктуру старой серверной, сами серверы и моих администраторов. Перенос серверной был уже отдельным проектом, хотя и возник он в результате построения локальной сети. Поскольку плюсы построения новой ЛВС на тот момент уже стали очевидны большинству пользователей, у нас на руках имелись некие козыри. Как я уже упоминал выше, «Светлана» занимает порядка 38 гектар. Единая локальная сеть охватывала 70% пользователей, но оставшиеся 30 были разбросаны по всей территории, прокладывать к ним «витую пару» далеко, а оптику — слишком дорого и экономически необоснованно. Поэтому все они были подключены по технологии DSL, а это значит, что мы использовали существующие телефонные линии, большинство из которых было проложено в 70–80-х годах. Основные потери сигнала происходили на «последней миле», то есть на участке от распределительных шкафов зданий до конечных абонентов. На качестве телефонной связи это не сильно сказывалось, а вот на работе локальной сети — существенно. Перенос серверной подразумевал также перенос оптики от интернет-провайдеров. Наиболее целесообразным оказался вариант прокладки не по улице, хотя это самый короткий путь, а по уже существующему маршруту магистралей новой локальной сети. Маршрут проходил возле основного телефонного коммутационного шкафа, что позволило нам проложить еще и телефонную магистраль для DSL-пользователей. Эффект не заставил себя ждать. Но и тут мы решили не останавливаться на достигнутом результате. Попутно была проложена оптика в соседнее здание для организации резервной серверной и дальнейшего создания локальной сети в этом корпусе. Таким образом, решив перенести серверную комнату, параллельно мы решали еще две задачи. Уже в начале августа серверы справляли новоселье, а мы поставили запятую: нам оставалось сделать совсем немного. 

Наступил 2009 г. Еще в декабре 2008-го «ремонт» в корпусе наконец-то добрался и до помещений отдела ТОиИБВС. Сейчас это современные эргономичные кабинеты, но тогда это были помещения в стиле 80-х, оставшиеся от Вычислительного центра и заваленные списанным оборудованием, по большей части в два раза старше меня. Нам недоставало самого главного — серверной комнаты. Стойки, серверы в них, активное и пассивное оборудование стояло, но стен вокруг не было — все находилось в большом помещении, где работали сотрудники отдела. На носу снова были январские праздники, на которые мы смело могли отключить серверное оборудование и спрятать его от десятков килограмм пыли (сейчас это достоверно известно), образовывавшихся в результате ремонта. Прокладка коробов для существующих магистралей, установка серверных шкафов и стоек, установка кондиционеров, внешняя отделка и серверная комната, достаточная для обеспечения текущих и дальнейших нужд ОАО «Светлана», была готова. Еще через три месяца были готовы и все остальные помещения. И несмотря на то, что нам пришлось работать в «этом ремонте», перемещаясь, как в «пятнашках», из кабинета в кабинет, мои сотрудники остались довольны случившимися переменами, 
что не замедлило сказаться на качестве обслуживания пользователей «Светланы». 

Вместо итогов 

С тех пор прошло полтора года, количество пользователей локальной сети продолжает расти, а она, в свою очередь, не доставляет проблем. Построенная серверная продолжает наращивать мощности, частично запущены сервисы резервной серверной. Сама собой ушла проблема низкой пропускной способности локальной вычислительной сети. Стоит отметить еще три очень важных момента. 


  • В первые три месяца работы не стоит отвлекаться на долгоиграющие проекты, но нельзя при этом выпускать из виду стратегические цели предприятия. 
  • Занимая новую должность, полезно показать людям, что движение вперед означает перемены, и эти перемены обязательно произойдут.
  • Все нововведения нового руководителя должны иметь малый риск и быть как можно более видимыми в процессе решения. 
Описанные в начале цели, равно как и все дополнительные, были нами достигнуты. Но лично для меня в ходе реализации этого проекта были решены еще две задачи: 

  • Была сформирована команда нового ИТ подразделения, и я смог увидеть, на что способен каждый из моих сотрудников. 
  • 5 кабелей «витой пары» положили начало проекту, который при минимуме средств без предварительной подготовки был успешно выполнен, а у меня появилась возможность вести свой отдел согласно намеченному мной плану, советуясь с топ-менеджментом только по вопросам стратегической важности. 
Впереди нас ждали перемены, но об этом в следующий раз.

Источник: IT Manager №5