Скорость сжатия архива - как повысить?

Есть вопросы по Exiland Backup? - задай их и поддержка ответит.
Ответить
Kotyachij
Сообщения: 3
Зарегистрирован: 12 дек 2017, 14:44

Скорость сжатия архива - как повысить?

Сообщение Kotyachij » 11 сен 2019, 17:47

Добрый день, есть ли какой-то способ узнать, что конкретно тормозит процесс создания бэкапа?
Ситуация такая: когда приходит пора создавать полную копию - программа просто не успевает в ночное окно это сделать. Но при этом загрузка процессора всего 20% (стоит 9 уровень использования). И получается, что днем пользователи начинают работать с файлами, которые не прошли архивацию, но уже есть в индексе. Это вызывает предупреждения в самой программе и уже были случаи, когда файлы были уничтожены до попадания в копию.
Сейчас максимальный размер архива для одного задания - 800 Гб, на его создание уходит около 35 часов (есть задания поменьше, например 210 Гб архивируются 10 часов). Копирование идет с RAID-5 массива из 4х дисков WD RE на промежуточный SATA SSD и потом загрузка по гигабитной сети на NAS. Руководит всем этим процессор АMD A10-7800, при 12 Гб ОЗУ и Windows Server 2012 R2.
Изначально, думал что узкое место процессор (тогда стоял А4), потом заменили диск для промежуточной копии с WD Green на SSD. В общем то, на скорости это отразилось, чуть более чем никак :(

Аватара пользователя
Разработчик
Сообщения: 71
Зарегистрирован: 02 апр 2017, 22:26

Re: Скорость сжатия архива - как повысить?

Сообщение Разработчик » 11 сен 2019, 18:11

Здравствуйте,

Можете попробовать уменьшить степень сжатия ZIP.
На NAS по локальной сети копируется уже созданный ZIP-архив, а само архивирование происходит на локальном диске?

Сколько исходных файлов у вас в задании?
Может есть смысл разделить весь объем исходных данных на 2-3 задания? Тогда суммарно все задания будет выполняться быстрее, чем одно большое задание.

Kotyachij
Сообщения: 3
Зарегистрирован: 12 дек 2017, 14:44

Re: Скорость сжатия архива - как повысить?

Сообщение Kotyachij » 11 сен 2019, 18:35

Степень сжатия попробуем понизить, но как она может влиять, если CPU не занят?
По сети копируется уже сжатый архив. И в общем, к этому моменту вопросов то нет, хоть пусть днем копируется, т.к. канал сервера шире канала NAS в несколько раз и занять его весь - не получится физически.
В большом задании около 350 тыс фаилов, преимущественно DWG и PDF. Дробить можно, но не хотелось бы, по причине того, что это надо выбрать под-подпапку в папке отдела и отдельно тогда копировать. И не забыть, что именно отдельно ушло.
P.S. Понижение степень сжатия на задании в 210 Гб данных (198 тыс файлов), дает уменьшение ожидаемого времени задачи с на 12%. Что конечно приятно, но проблему в целом не решает

Аватара пользователя
Разработчик
Сообщения: 71
Зарегистрирован: 02 апр 2017, 22:26

Re: Скорость сжатия архива - как повысить?

Сообщение Разработчик » 11 сен 2019, 18:56

Попробуйте в Диспетчере задач (вкладка "Подробно") найти процесс "ExilandBackup" и повысить его приоритет в системе.
Тогда может CPU будет больше использоваться.

DWG и PDF файлы хорошо жмутся? Может выбрать степень сжатия "Без сжатия", чтобы просто получить единый ZIP-архив. Или все таки надо сжимать, а не просто архивировать в ZIP ?

Kotyachij
Сообщения: 3
Зарегистрирован: 12 дек 2017, 14:44

Re: Скорость сжатия архива - как повысить?

Сообщение Kotyachij » 12 сен 2019, 19:55

При высоком приоритет загрузка процессора 22-25%. Как я понимаю, это максимум для одного потока. А программа имеет поддержку многопоточности на процессоре?
Вообще без сжатия попробуем на выходных. На выходе получится zip файл который просто объеденяет все остальные или россыпью файлы?

Аватара пользователя
Разработчик
Сообщения: 71
Зарегистрирован: 02 апр 2017, 22:26

Re: Скорость сжатия архива - как повысить?

Сообщение Разработчик » 13 сен 2019, 11:44

По хорошему, загрузка всех ядер процессора должна быть равномерной.
В настройках задания, в разделе "Прочие настройки" можно указать максимальной кол-во потоков. Имейте ввиду, что при копировании между локальными и сетевыми дисками нет смысла ставить кол-во протоков более 3, т.к. можно получить обратный эффект. Как будут загружаться ядра при многопоточном копировании - проверьте у себя.

Что касается архивирования в ZIP. Если указать "Упаковывать в ZIP" и степень сжатия "Без сжатия", то ZIP-архив будет просто объединять все файлы, но не более. Но если не указать "Не упаковывать в ZIP", то программа будет просто копировать файлы и они в конечной папке будут лежать также, как в исходной (россыпью).

Ответить