Скорость копирования файлов сайта по FTP/SFTP увеличилась в разы!

Есть вопросы по Exiland Backup? - задай их и поддержка ответит.
Ответить
Volk
Сообщения: 2
Зарегистрирован: 05 май 2017, 16:15

Скорость копирования файлов сайта по FTP/SFTP увеличилась в разы!

Сообщение Volk » 17 май 2018, 10:20

Здравствуйте,

У меня задание создает бэкап файлов сайта, расположенного на VPS в США. Поэтому файлы копируются медленно (но это и понятно).
Вчера скачал версию 4.8 и был очень приятно удивлен ее работой. В версии 4.7 файлы сайта копировались за 40-50 минут, а версия 4.8 скопировала их всего за 18 мин! Как выяснилось, все дело в быстром сканировании исходных файлов. В версии 4.7 сканирование занимало примерно 22-24 мин, а теперь - всего 2 мин 4 сек (в 11 раз быстрее). Это фантастика!

Как вам удалось так ускорить сканирование?
Спасибо большое за программу!

Аватара пользователя
Разработчик
Сообщения: 71
Зарегистрирован: 02 апр 2017, 22:26

Re: Скорость копирования файлов сайта по FTP/SFTP увеличилась в разы!

Сообщение Разработчик » 17 май 2018, 10:34

Volk,

Спасибо, я рад что вам понравилось нововведение, сделанное в версии 4.8.
Отвечая на ваш вопрос, могу сказать, так: Однажды нам написал пользователь, у которого настроена синхронизация файлов сайта по протоколу SSH (SFTP) на локальный диск. Если, например, на сайте изменилось всего 2-3 файла, то само копирование занимает всего 5 секунд, но вот чтобы просканировать файлы сайта (чтобы обнаружить эти изменения), требовалось 2 часа! В итоге, из-за 2-3 новых файлов задание выполняется 2 часа 5 секунд. Мы начали изучать проблему и выяснили, что много времени тратится на прочитывание папок по FTP/SFTP (заход в сами папки). И решили сделать это параллельно, в несколько потоков. Как видите, результат получился отличный.

Успехов вам в использовании программы!

rai
Сообщения: 5
Зарегистрирован: 11 фев 2019, 22:35

Re: Скорость копирования файлов сайта по FTP/SFTP увеличилась в разы!

Сообщение rai » 12 фев 2019, 21:18

Подтверждаю, с изменением функции сканирования этот процесс стал занимать минуты, против нескольких часов
у меня порядка 10гигов и 128т. файлов
а после перехода на стандарт версию и включения много потоковой загрузки и скорость закачки выросла.
На свободной версии этот объем качался около 30 часов, на стандарте 3-4 часа при 6 потоках.
Спасибо!

ps самое главное, при сканировании намного меньше нагрузка на удаленный сервер. раньше иногда зависало.

Аватара пользователя
Разработчик
Сообщения: 71
Зарегистрирован: 02 апр 2017, 22:26

Re: Скорость копирования файлов сайта по FTP/SFTP увеличилась в разы!

Сообщение Разработчик » 12 фев 2019, 22:45

В самой свежей компиляции версии 5.0 мы также сделали уменьшение нагрузки, если в общих настройках программы вы понижаете приоритет работы программы. Но не забывайте, что вместе с приоритетом также понижается скорость сканирования и копирования. Если вас устраивает нагрузка на удаленный сервер, то не изменяйте приоритет программы.

Ответить