13.1 Введение

GNU Wget - свободно распространяемая программа, которая позволяет копировать файлы из Интернет на локальный хост с использованием протоколов HTTP и FTP, как наиболее распростран©нных протоколов, используемых в Интернет. Программа имеет много полезных свойств, среди которых можно отметить:

• Wget является неинтерактивной программой, иными словами она может работать в фоновом режиме даже тогда, когда пользователь не логирован в системе. Таким образом, вы можете запустить Wget, например, на ночь, а утром посмотреть результаты работы программы.
• Wget способна копировать файлы с удал©нного сервера рекурсивно, следуя структуре HTML документов и деревьев каталогов FTP, создавая локальную копию иерархии каталогов имеющейся на удал©нном сервере. Это свойство может быть использовано, чтобы зеркально скопировать архивы и домашние страницы, или перемещаться со страницы на страницу для поиска каких-либо данных, моделируя поведение поискового робота. Программа Wget понимает соглашения для файлов /robots.txt.
• Расширения им©н файлов и рекурсивное копирование каталогов имеет место, когда используются протоколы FTP. Wget может воспринимать информацию о времени создания файлов на удал©нных серверах, которые поставляют HTTP и FTP серверы, и записывать эту информацию локально. Таким образом, Wget имеет возможность видеть изменился ли файл на удал©нном сервере с момента предыдущего просмотра и копировать лишь те файлы, которые изменились. Это позволяет использовать Wget в качестве средства зеркального копирования содержания удал©нных серверов.

• Wget оказывается очень полезной на медленных или нестабильных линиях связи, повторяя запрос на еще не переданные части документов до тех пор, пока не будут скопированы все запрошенные файлы или пока не будет превышен лимит повторов, установленный пользователем. Программа пытается продолжить копирование файлов с точки, где ранее произошло прерывание.

• Wget позволяет использовать, как прокси-серверы (proxy), так и охранные серверы (firewalls).

• Встроенные механизмы позволяют настроить программу на поиск тех типов линков (ссылок), которые вам нужны.

• Процесс передачи данных отображается на экране (или в файле протокола) выводом точек. Каждая точка обозначает 1 KБ. Однако, вы можете сами установить какие символы и что будут обозначать. Большая часть возможностей программы может быть изменена, как с помощью параметров, так и с помощью специального файла для индивидуальной настройки .wgetrc, который находится в вашем главном каталоге. Вы можете поддерживать глобальный специальный конфигурационный файл /usr/local/etc/wgetrc.

• Wget оказывается очень полезным средством и для локального использования (в локальной сети предприятия). Так, если вам необходимо скопировать каталог отдельного пользователя или часть каталога, то это удобнее сделать посредством Wget.