Бэкап, который не восстановили, — не бэкап
Резервные копии у нас делались всегда. А вот восстанавливали мы их до прошлого года ровно один раз — когда это действительно понадобилось. Тот день мы помним до сих пор: восстановление шло в три раза дольше, чем все думали.
Учения по расписанию
Теперь в первый понедельник месяца дежурный поднимает базу из последней копии на отдельном сервере, прогоняет набор проверочных запросов и записывает, сколько времени заняли все шаги. Сценарий описан в документе, и выполнять его может любой член команды, а не только тот, кто настраивал копирование.
Что учения уже нашли
- Копия одной из баз месяц была пустой: задача копирования завершалась успешно, но писала не тот каталог.
- Ключ шифрования копий лежал на том же сервере, что и сами копии. Потеряй мы сервер — копии стали бы бесполезны.
- Время восстановления выросло вдвое за полгода вместе с объёмом данных, и обещанные бизнесу четыре часа перестали быть правдой.
Минимальный набор
- Копии хранятся в другом месте, чем данные, и у другого провайдера.
- Ключи шифрования — отдельно от копий, с понятным доступом.
- Восстановление проверяется по расписанию, а результат записывается.
- Время восстановления известно и согласовано с теми, кого оно касается.
Звучит скучно, и это хорошо. Интересные истории про резервные копии обычно заканчиваются плохо.