Как правильно организовать бекап БД 1С с кешем?

Question

[MarinSol]

Здравствуйте! Прошу подсказать как правильно настроить автоматическое резервное копирование базы 1С с кешем (файловый режим)? Возможно ли такое? Вчера столкнулся с тем что при работе в базе отключили свет, затем при запуске базы появилась ошибка связанная с кешем. Решилась она путем его удаления. То есть были утеряны данные за последние четыре часа работы. Думал что Acronis в силах помочь, но нет, он ведь только с диска данные копирует, а память не затрагивает. Есть вообще способы "онлайн" резервирования 1С? Спасибо...

Answer 1

[АртемЪ]

Как правильно организовать бекап БД 1С с кешем?

Что значит "с кэшем" не совсем понятно, про какой кэш речь?

Бэкап файловой правильно делать с помощью теневых копий. Любым софтом умеющим работать с теневыми копиями.
Можно и акронис, он насколько я знаю тоже теневые копии использует при бэкапе.

но нет, он ведь только с диска данные копирует, а память не затрагивает

.А память и не надо затрагивать. При создании теневой копии буфер записи принудительно сбрасывается на диск, после чего идет мгновенный снимок всего тома, и работа продолжается.

Comments

[MarinSol]

Ясно. Спасибо. Только вот не пойму, Acronis True Image по умолчанию делает теневые копии, или они требуют определенной настройки?

[MarinSol]

В справке Acronis пишет вот что:
Непрерывная защита Acronis проверяет изменения файлов на диске, а не в памяти. Если, например, при работе в редакторе Word операция сохранения не выполняется в течение длительного времени, резервная копия текущих изменений в документе Word не будет создаваться.

[АртемЪ]

MarinSol, Что делает конкретное приложение в памяти ни одна утилита проверить не может.
Во первых для этого нужно знать структуру приложения - т.е нужно персонально работать с каждым приложением, а их тысячи.
Во вторых лезть в память чужого процесса не есть хорошо. За это антивирус сразу пришибет.

Бэкап осуществляется двумя методами -
1)Самый простой это простое копирование - берем файл и копируем. Но в этом случае мы не можем копировать файлы открытые на запись. А если и получим то в результате копирования поулчится каша - пока мы будем несколько секунд копировать файл, он уже измениться. Получится битая копия.

2)Метод основанный на теневом копировании.
Система инициирует теневое копирование тома, все программы которые в этот момент имеют данные не отправленные на диск, но еще не записанные (буфер записи) принудительно сбрасывают данные на диск.
После чего создается мгновенный снимок всего тома - т.е полная копия на данный момент например диска C:
Это делается мгновенно.
И уже потом с этой копии читаются данные и пишутся в бэкап.

Вот именно вторым способом и нужно бэкапить файловую базу 1с.

[АртемЪ]

Для того чтобы делать теневые копии не обязательно использовать акронис.
Я его несколько недолюбливаю, и предпочитаю штатные методы.
Вы можете использовать штатный механизм бэкапа виндовс, или делать теневую копию вручную, через графический интерфейс виндовс, или с помощью банального батника и штатной утилиты Vssadmin например.

Так же большая часть нормальных программ по созданию бэкапа умеет использовать теневые копии, в том числе и акронис. Но там надо смотреть используются они или нет.

[АртемЪ]

Т.е с тем что программа держит в памяти и не записала на диск вы в любом случае ничего не сможете сделать - это уж проблемы самой программы.

Ну и разберем подробно вашу ситуацию -

Вчера столкнулся с тем что при работе в базе отключили свет, затем при запуске базы появилась ошибка связанная с кешем.

Файловая 1с, чтобы минимизировать обращения к базе по сети, все промежуточные операции с данными выполняет в локальном кэше, который расположен в профиле пользователя, в папке APPDATA.
Если вдруг возникнет аварийная ситуация - пропадет доступ к базе по сети, или электричество отключат то в кэше останутся необработанные данные, и возникнет ошибка кэша.
В таком случае необходимо очистить кэш.
Либо запустить 1с с ключом очистки кэша, либо вручную зайти в профиль пользователя и удалить кэшированные данные - я делаю это скриптом. В принципе таких скриптов куча в сети.

То есть были утеряны данные за последние четыре часа работы.

Как правило такого не происходит, разве что вы редактировали документ четыре часа. Но в любом случае тут уже ничем не поможешь.
Пока вы не записали документ, не сохранили изменения - никакой бэкап не в силах вам помочь, потому что ваших данных в базе просто нет, система их туда еще не записала.

Несколько лучше ситуация в этом плане в случае клиент- серверной 1с, там основная работа идет не в локальном профиле, а на сервере.
Но и там возможны такие ситуации.
В любом случае задача бэкапа обеспечить работающую базу данных на конкретное время, а вот восстановить данные которые даже не были сохранены пользователем это уже никак.

[MarinSol]

Артем, скажите правильно ли я понял, что в случае теневого копирования необходимо копировать весь ТОМ, а не папку с базой?

[АртемЪ]

MarinSol, Механизм теневого копирования в любом случае делает полную копию всего тома - по другом просто невозможно.

Потом из этой копии вытаскиваются нужные данные.

Теневая копия тома делается мгновенно, и никак не зависит от объема данных.
Т.е теневая копия тома размером 100гб содержащий 30гб данных создастся так же быстро как и копия тома размером 4террабайта и содержащем 3террабайта данных.
И размер этой теневой копии будет практически одинаковым. :)

Для человека который не знает особенностей функционирования современных ФС это может показаться несколько нереальным, но на самом деле все очень просто - банальные последствия работы механизма CopyOnWrite

[MarinSol]

Спасибо. Все начинает прояснятся) Скажите, в чем разница между теневой копией и обычным бекапом? И еще, в Acronis так и не увидел где настраиваются "теневые"..., думаю как Вы, обойтись штатными средствами. Не могли бы в двух словах объяснить как в графическом интерфейсе грамотно настроить эти "теневые"?

[АртемЪ]

в чем разница между теневой копией и обычным бекапом?

Бэкап это резервная копия данных гарантирующая восстановление данных в полном объеме, при любых обстоятельствах.
Бэкап храниться как минимум в двух местах, причем оба этих места в идеале разнесены физически и географически. Поэтому полная потеря одного из мест хранения никак не сказывается на возможности восстановления.

Теневая копия это просто моментальный снимок тома - хранится на том же диске, если у вас разрушится жесткий диск - вы потеряете теневую копию. Или банально закончится место на диске отведенное под теневые копии.

Теневая копия это удобный инструмент для создания бэкапа не более того, ну еще она бывает полезна и в других задачах.

где настраиваются "теневые"..., думаю как Вы, обойтись штатными средствами

Все сильно зависит от версии ОС надо точно знать что у вас за ОС, доступ к теневым копиям сильно различается. Скажете версию ОС можно будет сказать точно.
Как правило можно получить графический доступ - мой компьютер, защита системы.
Или правый клик на томе - свойства, теневые копии (не везде есть)
Или через панель управления.

Всегда можно получить доступ из командной строки - утилита vssadmin, справочных материалов в интернете по этой утилите полно, вот тут например, и вообще все легко гуглится.
Я в основном пользуюсь командной строкой - удобнее, больше информации, и возможность автоматизации.

Если интересно могу скинуть примеры батников попозже, сейчас просто нет времени их вытягивать и удалять из них специфическую информацию.

[MarinSol]

Благодарю Вас Артем за помощь. Батники не надо, спасибо. Мне бы что по проще. У меня Windows 10. Буду гуглить настройку теневых копий через графический интерфейс.

[АртемЪ]

MarinSol, Через интерфейс доступ не полный, и десятке я точно не помню как настроить расписание, чтобы они делались в нужное вам время - в основном там доступ к теневым копиям из интерфейса осуществляется только через контекст работы с точками восстановления - каждая точка восстановления системы базируется на теневой копии.

[АртемЪ]

Если хотите разобраться в вопросе рекомендую ресурс Вадима Стеркина
Там много вообще толковой информации на эту тему, и достаточно популярно подается.

[АртемЪ]

Если же хотите чтобы все было просто и понятно надо читать документацию по конкретным готовым системам резервного копирования вроде акрониса или скажем www.handybackup.ru
Но это платно, и сторонний софт со всеми вытекающими последствиями.

[MarinSol]

Буду пробовать разные варианты. Очень признателен Вам...

Answer 2

[Дмитрий Кинаш]

Если 1С версии 8, то в файловом режиме нет никакого кеша данных. Есть единый файл 1Cv8.1CD в котором хранится вся информация кроме Журнала Регистрации и индекса полнотекстового поиска.

Никакую работу и тем более за 4 часа потерять невозможно. У вас или вся база навернется с потерей всех данных, или только незакрытые транзакции последних секунд работы.

Comments

[Дмитрий Кинаш]

Понятие кеша существует и касается метаданных - т.е. не важно файловая или серверная база. Этот кеш просто ускоряет локальную работу и сам восстанавливается. Некоторые наоборот ставят батники на запуск баз что бы этот кеш удалить перед работой.

[АртемЪ]

Дмитрий Кинаш, Ну не совсем так.
Кэш данных существует, и хранится в профиле пользователя.
Там кэшируются как метаданные, так и данные которые вводит пользователь.

Допустим вы создаете документ - все нужные таблицы из БД копируются в кэш расположенный по адресу
C:\Users\User\AppData\Roaming\1C\1Cv82\fcf63741-c746-43a1-9427-a271c546363f\071523a4-516f-4fce-ba4b-0d11ab7a1893
и
C:\Users\user\AppData\Local\1C\1Cv82\fcf63741-c746-43a1-9427-a271c546363f\071523a4-516f-4fce-ba4b-0d11ab7a1893
Где fcf63741-c746-43a1-9427-a271c546363f\071523a4-516f-4fce-ba4b-0d11ab7a1893 это UID конкретной базы.

И вся работа с таблицами -выборка, сохранение промежуточных расчетов, создание промежуточных объектов идет именно там в этом кэше.
После того как вы выполнили операцию и нажимаете провести или записать в документе - готовый сформированный документ сбрасывается в файл базы данных.

Т.е в базе данных вообще не хранятся промежуточные результаты.

В результате, если вы откроете документ на редактирование, и будете его заполнять пять часов - он будет существовать только в вашем локальном кэше, пока вы не нажмете кнопку "записать"
Если документ это реализация на 500строк - его вполне реально заполнять пять часов.
И вполне реально потерять все данные, если регулярно в процессе работы не нажимать кнопку "записать"

[Дмитрий Кинаш]

АртемЪ, интересные вещи вы говорите, о которых нет подтверждения в официальной документации.

Хорошо. Предположим топикстартер скопирует по вашему совету кроме каталога с базой еще каталог данных пользователя. Как я уже сам написал выше - у него будет кеш метаданных и его запросы и отчеты будут выполняться намного быстрее сем после "холодного старта". Но как вы предлагаете ему восстановить документ на 500 строчек, который не был сохранен в базе???

Вот! Именно что никак, так как этот документ существовал исключительно в оперативной памяти. И как раз для избежания подобных неприятных моментов с безвовзвратной потерей информации я во всех своих проектах, где пользователю предстояло "долго и нудно" что-то вносить в систему, делал обработчик ожидания с автозаписью.

Я делаю допущение, что топикстартер хорошо знаком с реализацией баз данных, в которых запись в базу происходит не мгновенно, как только пользователь этого возжелал, а с некоторой периодичностью, предварительно накапливая данные в буферном кеше операций (для Postgres это WAL), наличие которых рядом с базой при включении позволяет получить состояние до аварийного завершения работы. Так вот у 1С такого механизма нет. Что копировать с пользовательским кешем (при многопользовательской работе у разных пользователей свой кеш со своими настройками), что копировать голый 1Cv8.1CD - в результате получаем одну и ту же потерю информации.

[АртемЪ]

Дмитрий Кинаш,

Но как вы предлагаете ему восстановить документ на 500 строчек, который не был сохранен в базе???

Никак. Я это вроде достаточно ясно объяснил автору вопроса.
У него было два вопроса - как избежать такой потери данных и как вообще бэкапить базы.
На первый вопрос ответ - никак, только ручками тыкать кнопку "сохранить" почаще.
Кэш разумеется бэкапить никакого смысла нет. Кому такое могло прийти в голову? Если из моих ответов сложилось такое впечатление - печально.
Все что с кэшем нужно делать пользователю - удалять его, если он доставляет проблемы.

Все остальное касается только корректного бэкапа базы - а корректный бэкап базы подразумевает получение рабочей копии базы на данный момент времени.

Answer 3

[Oleg]

Купите ИБП. Надо бороться с причиной, а не следствием.

Comments

[АртемЪ]

ИБП это вещь хорошая и нужная, но не всегда спасает.
Такие вещи могут возникать при потере связи с БД - ну например порт в свитче заглючил или выгорел, или еще какая проблема.
Или компьютер банально завис в результате некорректных действий какого-то софта.

[Дмитрий Кинаш]

АртемЪ, добавлю, что в последнее время более актуальными причинами являются зависший браузер и пропажа интернет-соединения с сервером. Тут ИБП вообще никаким образом не поможет.

P.S. Не смотря на то, что давать веб-доступ к файловой базе еще тот изврат (проблемы с быстродействием и блокировками, неопределенность с использованием лицензий), но некоторым нравится сам факт, что они могут в любой точке мира открыть почти любой браузер, авторизироваться и работать в своей базе.