 |
Хостинг Times.lv — 75% данных восстановлено
 [14]
[19.01.2007 17:10]
Почти месяц прошёл с тех пор, как винчестеры, на которых находились файлы хостинга Times.lv, издали душераздирающий звук и остановились. Большую часть информации мы спасли, однако кое-что пропало безвозвратно. Аккурат в ночь с 22 на 23 декабря, сразу после сдачи последнего декабрьского номера digital times, два из трёх винчестеров в одном из наших серверов «хрюкнули» на прощание и остановились. Самое плохое, что это были винчестеры RAID-массива 5 уровня, на котором находились не только файлы хостинга Times.lv, но и одной нашей внутренней системы. Случилось почти невероятное — одновременно «умерли» два диска из трёх.
Сразу после зимних праздников мы при поддержке партнёров принялись восстанавливать информацию и «ремонтные работы» продолжались свыше двух недель, хотя сам хостинг как сервис был запущен даже раньше. На www.times.lv регулярно публиковались «фронтовые сводки» и списки спасённых страничек... Теперь мы можем официально сообщить о завершении работ по восстановлению данных с преждевременно умерших дисков сервера хостинга. К сожалению, восстановить все данные оказалось невозможно — мы сделали всё, что могли, и, по примерным оценкам, спасли порядка 70-80% данных. Некоторые страницы приходилось «выковыривать» буквально по отдельным файлам, но даже это не помогло закончить обработку всех персональных запросов на восстановление. Буквально на последнем этапе файловая система не выдержала огромного количества логических и физических ошибок и почила в бозе.
Какие же основные выводы можно сделать из этого опыта? Во-первых, даже RAID-массив 5-го уровня не является достаточно надёжным хранилищем для данных. В случае выхода одновременно нескольких дисков, как это и случилось у нас, восстановить всю информацию нереально. Один из способов сокращения рисков — использование в массиве похожих по характеристикам драйвов разных производителей. Ведь если диски совершенно идентичны и представляют собой продукты одной партии, одной поставки, одного поставщика, вероятность того, что они выйдут из строя одновременно значительно выше. Действительно, их могли и уронить одновременно, и «заложить ресурс» надёжности совершенно одинаковый.
Во-вторых, пользователям публичных сервисов, особенно бесплатных, необходимо уяснить, что резервное копирование и сохранение оригинала у себя крайне важно! К сожалению, никто не может обеспечить избыточные ресурсы для хранения данных бесплатно. И в правилах нашего хостинга, с которыми согласились все его пользователи, сказано, что мы не обеспечиваем резервное копирование информации.
В-третьих, нам, как держателям сервиса, следует наладить более чёткий контроль за состоянием серверов. Тут можно несколько оправдаться. За две недели до катастрофы были замечены мелкие неполадки в работе системы. Подозрение пало как раз на диски, но после анализа логов было принято решение, что это несерьёзные мелкие сбои, связанные с повышенной нагрузкой и не имеющие отношения к аппаратному обеспечению. Опять-таки тот факт, что гибель дисков пришлась аккурат на начало отпуска и каталическое Рождество (соответственно за ним идёт Новый год), сказался на скорости реакции как редакции, так и всех, кто помогал нам в этом вопросе.
Приносим свои извинения всем пользователям за доставленные неудобства, за полностью или частично утраченные данные. В ближайшее время мы планируем мобилизовать дополнительные аппаратные мощности и запустить коммерческую систему резервного копирования. Это позволит спать более спокойно, хотя опять-таки, отметим, что 100% гарантию дать не может никто. Даже разнесённые в пространстве хранилища могут оказаться под воздействием цепочки событий, которая приводит к потерям.
|
|
35
