Raige OS 4.3.10 - проблема с VMWare

[Leon-Killer22]

Приветствую, товарищи!

 

Имеется массив данных на 3-х сервера хранилища данных (по 12 винчестеров на 1 ТБ в каждом) бренда Pivot3, под управлением Raige OS v 4.3.10. Используется RAID 6e.

 

Администрирование производится при помощи утилиты Pivot3 RAIGE Director.

 

Возникла проблема с восстановлением работоспособности виртуальных машин на VMWare ESXi.

 

Итак, что было:

 

0. На фирме пропал свет и UPS не выдержал перепада электроэнергии и вместе с ним потухли все сервера, в том числе и 3 сервера Pivot3.

1. Вышли из строя три винта - 1 на первом сервере (3-й слот); еще 2 на третьем (6 и 7 слоты). (индикатор неисправности мигает на всех трёх серверах)

2. Произведена замена вышедших из строя винтов согласно инструкции и с соблюдением всех рекомендаций.

3. В ходе процесса восстановления в утилите администрирования серверов я увидел, что массив данных упорно не хочет подключать один из серверов, хотя он виден ВНЕ массива.

4. Переконфигурировал массив, заменив недоступный по мнению массива сервер на тот, что был вне массива.

5. Массив подтянулся, статус массива - Normal.

6. Индикатор неисправности перестал мигать на 1-м сервере (тот, что не хотел подтягиваться в массив), но на 2-х остальных индикатор по прежнему мигает. В утилите администрирования с железом никаких неисправностей не выявлено.

7. Зашел в раздел просмотра логического распределения данных и вижу такую картину:

 

 

8. При попытке запустить виртуальную машину утилита выдает сообщение:

 

 

 

 

В данный момент на диски, которые были заменены, происходит непрерывная запись данных.

 

Кто сталкивался с Pivot3 и/или с восстановление данных на Raid 6e? Сколько по времени может занимать rebuilding-массива? Есть ли смысл сразу удалять массив со всеми данными и создавать новый массив с новыми виртуалками?

 

Данные важны, но не на столько, чтобы ждать еще день, пока будут пытаться "восстановить" систему.

 

 

UPD: Пока писал пост индикаторы неисправности на двух серверах погасли. Массив всё еще восстанавливается (запись на новые диски еще производится, прошло около двух часов).

 

Забыл упомянуть: На серверах Гигабитные сетевые интерфейсы, используется iSCSI. Если я правильно подсчитал, то рассчетное теоретическое время передачи 1 ТБ займёт 2,5 часа. НО, предполагаю, что в данном случае время возрастет. Возможно, именно то, что данные не синхронизированы, виртуалка и не хочет запускаться.

Изменено 19 марта, 2014 пользователем Leon-Killer22

[Yezhishe]

Не приходилось слыхать о такой ОС... Гугление по названию ОС из заголовка темы даёт такой вот интересный результат... Так что либо с грамотностью проблемы, либо вы там "не при делах"...

 

Что ж касаемо вопроса про время rebuild'а RAID-массива, то тут зависит от:

1 Контроллера.

2 Объёма данных..

3 Количества накопителей...

4 Используемого варианта RAID.... 

5 Совокупного быстродействия связки:  материнка\оперативка\камень\RAID-контроллер\HDD.

 

А потому, без доподлинного описания железа - оно принципиально непредсказуемо, увы. Да и при наличии того описания - в общем-то, тоже, потому как уйма неочевидностей.

 

Виртуальная машина - запускается из-под корректно работающей хост-ОС. Если хост-ОС не работает, то чего же ждать от виртуальной? Так что в этом смысле - проверьте работоспособность ОС - хозяйки виртуальной машины...

[Leon-Killer22]

Мне тоже не доводилось, но дабы не быть многословным:

1. Тот же гугл

2.

 

Так что оставим разговоры типа "Так что либо с грамотностью проблемы, либо вы там "не при делах"..." в Вашем первом посте этой темы.

 

Касательно предмета разговора:

 

1. Спецификация сервера

2. Общий объем массива 32,4 ТБ, логический объем рэйда - 10 тб.

3. Писал в своем первом посте - 36 (по 12 в каждом из трех серверов, по 1 ТБ каждый винт)

4. Писал в своем первом посте - RAID 6e

5. Данные приведенные в спецификации не отображают Вашей схемы взаимодействия, однако заявленная скорость для обработки данных RAID - 6 Gbps.

 

С неочевидностью и расплывчатым, неопределенным временем для завершения данной операции полностью согласен с Вами. Ооднако, было бы интересно услышать хотя бы приблизительный прогноз.

 

Хост системой является Raige OS, но как к ней прикручена VMWare - не спрашивайте, ибо этого я так и не нашел. Управление распределением места для виртуалки, запуск/перезапуск/остановка - всё это делается в интерфейсе утилиты, скриншоты которой Вы видите.

 

Итак, полагаю, вариантов со временем, которое мне придется провести в серверной, нет?

 

Чуть не забыл - винчестеры такие

Изменено 20 марта, 2014 пользователем Leon-Killer22

[Yezhishe]

Гм... Прошу прощения, поторопился с выводами и оценками.

Почитал - любопытно весьма. Спасибо за информацию. 

 

Боюсь, что время перестройки массива кроме как опытным путём - не узнать, поскольку много переменных - и диски, и сеть - всё это влияет на время... Соответственно, пока массив не придёт в норму - и виртуалка не запустится (насколько я понимаю).

P.S. Может быть, Timba что скажет (если сталкивался)...

[Leon-Killer22]

Итак, поборол я эту проблему (еще в Марте).

 

Может, кому-то поможет мой пост

 

Итак, когда синхронизация данных завершилась, у меня была картина следующая:

- 2-й и 3-й серверы были в массиве. Это было видно и в программе управления, и при подключении монитора к каждому из серверов (номера серверов в массиве были 2 и 3)

- 1-й сервер в программе был виден как отдельный, без массива. Его номер был "-1"

 

Когда я добавил 1-й сервер в массив, то его номер стал "4".

 

Покурил FAQ и проблема была выявлена, ибо:

How many drives can I lose in a Pivot3 Array?

RAID5 - 1 Disk Failure

RAID6 - 2 Simultaneous Disk Failures

RAID5e - 1 Disk Failure of a Disk and an Appliance

RAID6e - 3 Simultaneous Disk Failures or 1 Disk and an Appliance

RAID6X - 5 Simultaneous Disk Failures or 2 Drives and an Appliance

 

В моей конфигурации (RAID6e) допускалось выход из строя 3-х HDD или 1 сервера. А у меня вылетел из массива и сервер, и 3 винчестера. Итог - массив умер.

 

Собственно, дальше уже взял мануал по настройке Pivot3 DB восстановил всё. Были подводные камни, но, спасибо американской техподдержке, обошлось малой кровью :)

 

 

P.S. Если кому-то будет нужно - пишите, помогу восстановить/настроить.

Изменено 23 мая, 2014 пользователем Leon-Killer22