В связи с переходом к использованию LVM, GPT, RAID технологий для хранения пользовательских данных, настоятельно возникла внутренняя тревога - беспокойство о их сохранности.
Т.к. объем используемых винчестеров превысил 1ТБ, и количество данных сохраняемых на одном винчестере возросло. Возросло так, что даже простое копирование файлов с винчестера на винчестер отнимает день - два и это при подключении по SATA. Правда и при подключении по USB, сроки такие-же. Это "благодаря" миллиону мелких файлов, которые резко снижают производительность копирования, местами до 10 МБ/c, а десятка легко "пролезает" через usb.
Ранее, в части первой, я уже упоминал, о простейших операциях позволяющих повысить шансы на восстановление информации. Это и резервное копирование GPT-разметки дисков, а также твердые копии.
Важную роль для восстановления информации с дисков с программными ошибками играет разнообразная информация о внутреннем устройстве эксплуатируемых файловых систем (lvm, raid), их способ организации хранения.
Следующую важную роль играет хладнокровие пользователя, столкнувшегося с отказом системы хранения данных. У меня например, когда я случайно затираю что-то ценное, резко приливает кровь к голове. Через несколько минут, постепенно проходит. Правда резервные копии имеются, но не всегда доступные (далеко).
В такие моменты, главное не начать, "впопыхах" восстанавливать данные. Я практикую способ, пойти прогуляться, подышать воздухом. Можно на балкон. Т.е. отвлечься и начать думать.
Со временем, после первоначального конфигурирования, посылы, вызвавшие то или иное конфигурационное действие, забываются. Поэтому я практикую "писанину". Конфигурационные файлы обрастают комментариями, веду бортовые журналы дисков (обычный файл на томе). Пишу заметки. Печатаю.
В этой же заметке, я хочу собрать различные программные и конфигурационные ухищрения, позволяющие повысить шансы на восстановление данных с томов, уничтоженных программными средствами. Например, форматирование 2ТБ винчестера.
Эта заметка пополняемая со временем.
Мероприятия по сохранению информации
Все эти мероприятия, выполняются до отказа хранилища и способствуют разнообразным целям при восстановлении данных, при оценке ущерба от потери данных.
1. Сохранение структуры разметки. Разметка диска меняется очень редко. И даже её, трёхлетняя твердая копия, с данным о границах разделов, может помочь составить первоначальное представление.
Очень важно, иметь на одном листе - идентификационные данные диска и структуру разметки. Дополнительные данные, такие как дата, местоположение диска и др. имеют смысл. Т.к. по прошествии времени, очень много забывается.
2. Структура разметки не дает информации о применявшихся файловых системах на разделах. Эту информацию также надо извлечь заранее и сохранить в понятном виде, распечатать.
3. Для вложенных разметок (LVM) также доступными системными средствами, извлечь и сохранить и распечатать информацию о конфигурации.
4. Составление списка файлов тома. Для редко изменяемых томов хранения, полезным будет составить список всех файлов хранящихся на томе.
5. Составление контрольных сумм файлов тома. Эта операция по длительности может превысить разумные сроки. Возможно выборочное, для особо ценных файлов. Требуется мощный процессор.
6. При разметке дисков, желательно следовать стандартам (см. Часть I).
7. Для хранения наиболее важных данных, использовать самую простую и понятную лично файловую систему, опыт взаимодействия с которой показал её надежность в разнообразных жизненных ситуациях.
8. Для хранения важных файлов, не следует использовать различные сжимающие программы. Т.к. сжатие данных - это превращение известной структуры файла в неизвестную. А существующие архивы, если это позволяет их содержимое, распаковывать. Например, очень часто файлы пришедшие по электроной почте, через Интернет, упакованы для уменьшения передаваемого объема. Смысла хранить их в таком виде, обычно нет. Они недоступны для поиска (обычно), сложны (невозможны) для восстановления.
9. Построение и настройка системы резервного копирования. Например, RAID-1 тянет за собой покупку 3 дисков, минимум. 2 - в RAID, 1 - для резервной копии. А ещё, он должен быть отлючен, а это внешняя коробка.
10. Проверка резервных копий, на возможность восстановления. Ошибки настройки могут приводить к нерабочим резервным копиям.
11. Выключение операционной системы, по возможности, проводить корректно, а не выдергиванием кабеля.
12. Настройка мониторинга дисков по аттрибутам SMART, для выявления на ранней стадии, сбоя.
13. Разделение данных. "Холодные" данные, хранить в дефрагментированном виде. "Горячие" данные, выносить в отдельные диски, массивы, резервы.
14. Исходные коды, также хранить на дефрагментированных томах. Возможно преобразовать корпус текста в формат, наиболее подходящий для восстановления автоматическими средствами. Например, текстовые файлы преобразовать в RTF. RTF - файл, очень хорошо находится на диске, по его специфическим сигнатурам, а текстовые не очень. Хотя текстовые файлы хорошо просматриваются в бинарном виде, а где у них начало - определить сложно, как и конец.
15. Применять файловые системы, с запретом фрагментации. Либо добиваться дефрагментации системными средствами, либо сторонними утилитами.
16. Применять файловые системы, резервирующие свои служебные области, в нескольких местах на диске.
17. Следовать ограничениям применяемых файловых систем и находить их пересекающееся множество, чтобы не иметь проблем с переносом файлов. Очень часто, превышение длины имени файла, приводит к невозможности его копирования из одной точки монтирования (пр. NTFS том), в другую (EXT4).
18. Хорошая практика, у фирмы Apple, при разметке диска, вставлять пустые пространства между разделами, что облегчает их поиск на сыром "диске". Если диск "старый" - обнулить.
19. Защитите данные Ext4 от удаления: chattr +i
20. Не проводить операций с разделами, установками на дисках, хранящих данные. Установщики - программы легко повреждающие целевой диск, даже по неосторожности, по недопониманию, по встроенной логике, не соответствующей вашей логике разметки.
21. Тренируйтесь с копиями данных, в другой системе, а не в системе хранения.
22. Реже обновляйте, дабы не перевести хранилище в состояние "оффлайн". Обновление автоматическое, это да, а вот навыки и особенности конфигурирования сервера забываются и не автоматические.
23. Подбор файловой системы хранилища под задачи. О, это целая тема.
24. Помните, что приход AF (Advanced format) жестких дисков, увеличил единицу хранения диска до 4KB, с одновременным сокращением контрольных данных (ECC-кодов блока) до 1%, против 512 байт старого формата и ~10% кодов восстановления. Единица потери увеличилась в 4 раза, а спообность винчестера справляться с ошибкой уменьшилась в ~10 раз. Следовательно, мероприятия по сохранению данных легли на вышестоящий уровень.
Выводы
- Учёт и репликация
Ресурсы
1. Сравнение файловых систем. http://ru.wikipedia.org/wiki/%D0%A1%D1%80%D0%B0%D0%B2%D0%BD%D0%B5%D0%BD%D0%B8%D0%B5_%D1%84%D0%B0%D0%B9%D0%BB%D0%BE%D0%B2%D1%8B%D1%85_%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC
Т.к. объем используемых винчестеров превысил 1ТБ, и количество данных сохраняемых на одном винчестере возросло. Возросло так, что даже простое копирование файлов с винчестера на винчестер отнимает день - два и это при подключении по SATA. Правда и при подключении по USB, сроки такие-же. Это "благодаря" миллиону мелких файлов, которые резко снижают производительность копирования, местами до 10 МБ/c, а десятка легко "пролезает" через usb.
Ранее, в части первой, я уже упоминал, о простейших операциях позволяющих повысить шансы на восстановление информации. Это и резервное копирование GPT-разметки дисков, а также твердые копии.
Важную роль для восстановления информации с дисков с программными ошибками играет разнообразная информация о внутреннем устройстве эксплуатируемых файловых систем (lvm, raid), их способ организации хранения.
Следующую важную роль играет хладнокровие пользователя, столкнувшегося с отказом системы хранения данных. У меня например, когда я случайно затираю что-то ценное, резко приливает кровь к голове. Через несколько минут, постепенно проходит. Правда резервные копии имеются, но не всегда доступные (далеко).
В такие моменты, главное не начать, "впопыхах" восстанавливать данные. Я практикую способ, пойти прогуляться, подышать воздухом. Можно на балкон. Т.е. отвлечься и начать думать.
Со временем, после первоначального конфигурирования, посылы, вызвавшие то или иное конфигурационное действие, забываются. Поэтому я практикую "писанину". Конфигурационные файлы обрастают комментариями, веду бортовые журналы дисков (обычный файл на томе). Пишу заметки. Печатаю.
В этой же заметке, я хочу собрать различные программные и конфигурационные ухищрения, позволяющие повысить шансы на восстановление данных с томов, уничтоженных программными средствами. Например, форматирование 2ТБ винчестера.
Эта заметка пополняемая со временем.
Мероприятия по сохранению информации
Все эти мероприятия, выполняются до отказа хранилища и способствуют разнообразным целям при восстановлении данных, при оценке ущерба от потери данных.
1. Сохранение структуры разметки. Разметка диска меняется очень редко. И даже её, трёхлетняя твердая копия, с данным о границах разделов, может помочь составить первоначальное представление.
Очень важно, иметь на одном листе - идентификационные данные диска и структуру разметки. Дополнительные данные, такие как дата, местоположение диска и др. имеют смысл. Т.к. по прошествии времени, очень много забывается.
2. Структура разметки не дает информации о применявшихся файловых системах на разделах. Эту информацию также надо извлечь заранее и сохранить в понятном виде, распечатать.
3. Для вложенных разметок (LVM) также доступными системными средствами, извлечь и сохранить и распечатать информацию о конфигурации.
4. Составление списка файлов тома. Для редко изменяемых томов хранения, полезным будет составить список всех файлов хранящихся на томе.
5. Составление контрольных сумм файлов тома. Эта операция по длительности может превысить разумные сроки. Возможно выборочное, для особо ценных файлов. Требуется мощный процессор.
6. При разметке дисков, желательно следовать стандартам (см. Часть I).
7. Для хранения наиболее важных данных, использовать самую простую и понятную лично файловую систему, опыт взаимодействия с которой показал её надежность в разнообразных жизненных ситуациях.
8. Для хранения важных файлов, не следует использовать различные сжимающие программы. Т.к. сжатие данных - это превращение известной структуры файла в неизвестную. А существующие архивы, если это позволяет их содержимое, распаковывать. Например, очень часто файлы пришедшие по электроной почте, через Интернет, упакованы для уменьшения передаваемого объема. Смысла хранить их в таком виде, обычно нет. Они недоступны для поиска (обычно), сложны (невозможны) для восстановления.
9. Построение и настройка системы резервного копирования. Например, RAID-1 тянет за собой покупку 3 дисков, минимум. 2 - в RAID, 1 - для резервной копии. А ещё, он должен быть отлючен, а это внешняя коробка.
10. Проверка резервных копий, на возможность восстановления. Ошибки настройки могут приводить к нерабочим резервным копиям.
11. Выключение операционной системы, по возможности, проводить корректно, а не выдергиванием кабеля.
12. Настройка мониторинга дисков по аттрибутам SMART, для выявления на ранней стадии, сбоя.
13. Разделение данных. "Холодные" данные, хранить в дефрагментированном виде. "Горячие" данные, выносить в отдельные диски, массивы, резервы.
14. Исходные коды, также хранить на дефрагментированных томах. Возможно преобразовать корпус текста в формат, наиболее подходящий для восстановления автоматическими средствами. Например, текстовые файлы преобразовать в RTF. RTF - файл, очень хорошо находится на диске, по его специфическим сигнатурам, а текстовые не очень. Хотя текстовые файлы хорошо просматриваются в бинарном виде, а где у них начало - определить сложно, как и конец.
15. Применять файловые системы, с запретом фрагментации. Либо добиваться дефрагментации системными средствами, либо сторонними утилитами.
16. Применять файловые системы, резервирующие свои служебные области, в нескольких местах на диске.
17. Следовать ограничениям применяемых файловых систем и находить их пересекающееся множество, чтобы не иметь проблем с переносом файлов. Очень часто, превышение длины имени файла, приводит к невозможности его копирования из одной точки монтирования (пр. NTFS том), в другую (EXT4).
18. Хорошая практика, у фирмы Apple, при разметке диска, вставлять пустые пространства между разделами, что облегчает их поиск на сыром "диске". Если диск "старый" - обнулить.
19. Защитите данные Ext4 от удаления: chattr +i
20. Не проводить операций с разделами, установками на дисках, хранящих данные. Установщики - программы легко повреждающие целевой диск, даже по неосторожности, по недопониманию, по встроенной логике, не соответствующей вашей логике разметки.
21. Тренируйтесь с копиями данных, в другой системе, а не в системе хранения.
22. Реже обновляйте, дабы не перевести хранилище в состояние "оффлайн". Обновление автоматическое, это да, а вот навыки и особенности конфигурирования сервера забываются и не автоматические.
23. Подбор файловой системы хранилища под задачи. О, это целая тема.
24. Помните, что приход AF (Advanced format) жестких дисков, увеличил единицу хранения диска до 4KB, с одновременным сокращением контрольных данных (ECC-кодов блока) до 1%, против 512 байт старого формата и ~10% кодов восстановления. Единица потери увеличилась в 4 раза, а спообность винчестера справляться с ошибкой уменьшилась в ~10 раз. Следовательно, мероприятия по сохранению данных легли на вышестоящий уровень.
Выводы
- Учёт и репликация
Ресурсы
1. Сравнение файловых систем. http://ru.wikipedia.org/wiki/%D0%A1%D1%80%D0%B0%D0%B2%D0%BD%D0%B5%D0%BD%D0%B8%D0%B5_%D1%84%D0%B0%D0%B9%D0%BB%D0%BE%D0%B2%D1%8B%D1%85_%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC
Комментариев нет:
Отправить комментарий