Сервис автоматизированных бекапов Windows Azure SQL database в хранилище Blob Storage

Привет. Некоторое время назад в официальной русской группе Windows Azure на Facebook у одного из участников возник вопрос – а как можно автоматизированно создавать бекапы для баз данных Windows Azure SQL Database, куда-нибудь их выкладывать и потом скачивать по запросу.

Действительно, “из коробки” такого функционала нет, поэтому надо писать самим. Там же группе на Facebook была дана ссылка, как можно снять бекап с базы данных, используя Power Shell и библиотеку Microsoft.SqlServer.Dac.dll, которая входит, по всей видимости, в постаку SQL Server Management Studio и/или Visual Studio (честно говоря я не отследил, откуда именно она взялась на моей машине). Используя эту библиотеку можно получить BACPAC-пакет, который является практически полным бекапом базы данных. По крайней мене структуру и данные восстановить с его помощью не представляет никакого труда.

Эта статья дает ответ на первый вопрос – как снять бекап с БД, расположенной в облаке Windows Azure. Однако абсолютно не отвечает на два других – как выложить результат в Blob Storage и как все это автоматизизировать. Очевидным решением станет вариант с размещением в облаке спциального сервиса, который бы раз в определенное время запускал бы процесс снятия бекапа и копирования его в хранилище. Его-то я и решил написать, чтобы олегчить жизнь как себе, так и коллегам.

На самом деле весь функциональный код умещается в совсем уж неприлично малое количество строк. Ниже я приведу вырванный из контекста, однако полностью покрывающий процесс бекапирования и размещения в хранилище кусок кода:

        public void Execute(IJobExecutionContext context)
        {
            // Retrieving parameters from trigger
            var properties = context.Trigger.JobDataMap["JobProperties"] as ServiceExecutionProperties;
            var tempFile = Path.GetTempFileName();
            var errorMessage = "";

            try
            {
                // Trying to create BACPAC package
                var service = new DacServices(properties.DbConnectionString);
                service.ExportBacpac(tempFile, properties.DatabaseName);
            }
            catch (Exception ex)
            {
                // Something went wrong
                errorMessage = ex.Message;
                if (ex.InnerException != null)
                    errorMessage += Environment.NewLine + "Inner: " + ex.InnerException.Message;
            }

            // If bacpac file still doesn't exist - error
            if (!File.Exists(tempFile))
                errorMessage += Environment.NewLine + "BACPAC file was not created.";

            try
            {
                // Publish to Windows Azure Blob Storage
                var acc = new StorageCredentialsAccountAndKey(properties.StorageAccountName, properties.StorageKey);
                var storageAccount = new CloudStorageAccount(acc, true);
                var client = storageAccount.CreateCloudBlobClient();

                var container = client.GetContainerReference(properties.BlobContainerName);
                container.CreateIfNotExist();

                // Blob has .bacpac extension if everything was good
                // and .error extension if there was an exception
                var blob = container.GetBlockBlobReference(
                    string.Format("{0}_{1}UTC{2}",
                                  properties.DatabaseName,
                                  DateTime.UtcNow.ToString("yyyyMMdd_HHmmss"),
                                  string.IsNullOrEmpty(errorMessage) ? ".bacpac" : ".error"));

                if (string.IsNullOrEmpty(errorMessage))
                {
                    // Upload file if exists
                    blob.UploadFile(tempFile);
                    File.Delete(tempFile);
                }
                else
                {
                    // Upload error message
                    blob.UploadText(errorMessage);
                }
            }
            catch { }
        }

Видно, что весь процесс получения бекапа умещается в строках 10 и 11. Остальная часть кода – уже довольно известная работа с хранилищем Windows Azure Blob Storage.

На этом можно было бы и заканчивать, оставив читателя на едине с мыслями, а как же все это хозяйство заставить выполняться по расписанию. Однако я все расскажу об еще одной удобной штуке. Около года назад в поле моего зрения попала довольно неплохая библиотека Quartz.NET, которая позволяет выполнять код по расписанию, заданному в стиле cron. С ее помощью очень удобно выставить нужное нам расписание создания бекапов, запустить планировщик в нашем сервисе и просто смотреть, как все работает.

Помимо сервиса для Windows Azure Worker Role я также сделал простой Windows Service, поскольку нет абсолютно никакой разницы, откуда будет запущен процесс бекапирования. Особенно если у вас уже есть работающий физический сервер и вам не хочется лишний раз создавать дополнительные облачные инстансы.

Весь код я выложил в CodePlex и GitHub в виде Open Source проектов. Кому надо – пользуйтесь на здоровье.

P.S. Мне не очень нравится текущая реализация бекапирования и хранения с промежуточным этапом в виде временного файла. Понято, что если БД будет больших размеров, то большой файл бекапа может либо замусорить наше облако, либо не создасться вовсе. Гораздо больше мне нравится идея использовать потоки. Метод DacSerivce.ExportBacpac имеет перегрузку, которая принимает Stream в качестве параметра. Также CloudStorageBlockBlob имеет метод OpenWrite, возвращающий Stream. Однако мне не удалось заставить работать их в паре. Использование потока из блоба вызывает ошибку при экспорте, которая звучит как “Stream does not support seeking.”. Может у кого-то из читателей найдется ответ, как лучше все это провернуть. Ну или успокоит меня, что временные файлы – вполне себе гуд.