GNU Wget - это свободно распространяемая утилита для выгрузки файлов
из World Wide Web с использованием протоколов HTTP (протокол передачи
гипертекста) и FTP (протокол передачи файлов), являющихся двумя наиболее
широко используемыми в Интернете протоколами. Wget имеет много полезных
возможностей способствующих облегчению процесса выгрузки, к которым
относятся:
- Wget не интерактивен, а это значит, что он может работать в фоне
даже в то время, когда пользователь не находится в системе. Это позволяет
вам запустить процесс выборки данных и отключится от системы, позволив
Wget довершить остальное. В противоположность этому, большинство WWW
броузеров требуют от пользователя постоянного присутствия, что представляет
большие затруднения при перекачке значительных размеров данных.
- Wget способен рекурсивно спускаться по структуре HTML документов
и деревьям каталогов FTP, создавая локальную копию идентичную
иерархии удаленного сервера. Эта возможность применима для создания
зеркальных копий архивов и домашних страниц или для прочесывания
вэб пространства в поисках данных подобно
WWW роботу.
В этом обличии Wget понимает соглашение "norobots".
- При выгрузке данных через FTP доступны обработка имен файлов по
шаблону и рекурсивное зеркалирование каталогов. Wget умеет считывать
информацию о времени создания (модификации) файла, предоставляемую HTTP
и FTP серверами, и сохранять ее локально. Поэтому Wget может может
распознавать какие файлы изменились с момента последнего доступа
и автоматически выполнять их выгрузку. Это делает Wget применимым
для зеркалирования FTP сайтов и домашних страниц.
- Wget исключительно хорошо работает на медленных или неустойчивых
соединениях повторя попытки выгрузки документа до тех пор пока он
не будет получен или не будет исчерпано, определяемое пользователем,
максимальное количество попыток. В случаях разрыва соединения до момента
полного получения файла, Wget будет пытаться продолжить передачу с момента
обрыва, используя методы "REST" для FTP и "Range" для HTTP, если удаленный
сервер их поддерживает.
- Wget по умолчанию поддерживает использование прокси серверов,
которые позволяют снизить загрузку сети, повысить скорость выборки
данных и предоставляют доступ из-за брандмауэров. Однако, если
вы находитесь за брандмауэром, то это может потребовать использования
шлюза класса socks. С этой целью вам буден необходимо взять библиотеку
поддержки socks и пересобрать с ней Wget. Кроме этого, Wget так
же, как опцию, поддерживает FTP выгрузку в пассивном режиме.
- Имеется встроенный механизм позволяющий осуществлять точную
подстройку типов ссылок, которым Wget должен
следовать.
- Процесс выгрузки динамически отображается выводом точек, где
каждая точка представляет фиксированный объем полученных данных
(по умолчанию 1 Кбайт). Это представление может быть изменено
по вашему предпочтению.
- Большинство возможностей полностью настраиваемые либо через
аргументы командной строки, либо через
инициализационный файл ".wgetrc".
Wget позволяет вам использовать глобальный конфигурационный
файл (по умолчанию /usr/local/etc/wgetrc) для определения
общих для всей системы установок.
- И наконец, GNU Wget - свободно распространяемое программное
обеспечение. Это значит, что каждый может использовать его,
распространять и/или модифицировать в соответствии с лицензией
"GNU General Public License"
опубликованной "Free Software Foundation".
