Скорость сжатия архива - как повысить?
Добрый день,
есть ли какой-то способ узнать, что конкретно тормозит процесс создания бэкапа?
Ситуация такая: когда приходит пора создавать полную копию - программа просто не успевает в ночное окно это сделать. Но при этом загрузка процессора всего 20% (стоит 9 уровень использования). И получается, что днем пользователи начинают работать с файлами, которые не прошли архивацию, но уже есть в индексе. Это вызывает предупреждения в самой программе и уже были случаи, когда файлы были уничтожены до попадания в копию.
Сейчас максимальный размер архива для одного задания - 800 Гб, на его создание уходит около 35 часов (есть задания поменьше, например 210 Гб архивируются 10 часов). Копирование идет с RAID-5 массива из 4х дисков WD RE на промежуточный SATA SSD и потом загрузка по гигабитной сети на NAS. Руководит всем этим процессор АMD A10-7800, при 12 Гб ОЗУ и Windows Server 2012 R2.
Изначально, думал что узкое место процессор (тогда стоял А4), потом заменили диск для промежуточной копии с WD Green на SSD. В общем то, на скорости это отразилось, чуть более чем никак
Здравствуйте,
Можете попробовать уменьшить степень сжатия ZIP.
На NAS по локальной сети копируется уже созданный ZIP-архив, а само архивирование происходит на локальном диске?
Сколько исходных файлов у вас в задании?
Может есть смысл разделить весь объем исходных данных на 2-3 задания? Тогда суммарно все задания будет выполняться быстрее, чем одно большое задание.
Степень сжатия попробуем понизить, но как она может влиять, если CPU не занят?
По сети копируется уже сжатый архив. И в общем, к этому моменту вопросов то нет, хоть пусть днем копируется, т.к. канал сервера шире канала NAS в несколько раз и занять его весь - не получится физически.
В большом задании около 350 тыс фаилов, преимущественно DWG и PDF. Дробить можно, но не хотелось бы, по причине того, что это надо выбрать под-подпапку в папке отдела и отдельно тогда копировать. И не забыть, что именно отдельно ушло.
P.S. Понижение степень сжатия на задании в 210 Гб данных (198 тыс файлов), дает уменьшение ожидаемого времени задачи с на 12%. Что конечно приятно, но проблему в целом не решает
Попробуйте в Диспетчере задач (вкладка "Подробно") найти процесс "ExilandBackup" и повысить его приоритет в системе.
Тогда может CPU будет больше использоваться.
DWG и PDF файлы хорошо жмутся? Может выбрать степень сжатия "Без сжатия", чтобы просто получить единый ZIP-архив. Или все таки надо сжимать, а не просто архивировать в ZIP ?
При высоком приоритет загрузка процессора 22-25%. Как я понимаю, это максимум для одного потока. А программа имеет поддержку многопоточности на процессоре?
Вообще без сжатия попробуем на выходных. На выходе получится zip файл который просто объеденяет все остальные или россыпью файлы?
По хорошему, загрузка всех ядер процессора должна быть равномерной.
В настройках задания, в разделе "Прочие настройки" можно указать максимальной кол-во потоков. Имейте ввиду, что при копировании между локальными и сетевыми дисками нет смысла ставить кол-во протоков более 3, т.к. можно получить обратный эффект. Как будут загружаться ядра при многопоточном копировании - проверьте у себя.
Что касается архивирования в ZIP. Если указать "Упаковывать в ZIP" и степень сжатия "Без сжатия", то ZIP-архив будет просто объединять все файлы, но не более. Но если не указать "Не упаковывать в ZIP", то программа будет просто копировать файлы и они в конечной папке будут лежать также, как в исходной (россыпью).