Программа Wget имеет свой список рассылки wget@sunsite.auc.dk. Чтобы получать сообщения из этого списка рассылки, вы можете подписаться, послав письмо по адресу wget-subscribe@sunsite.auc.dk с магическим словом subscribe в поле Subject. Архив списка рассылки находится на сервере http://fly.cc.fer.hr/archive/wget.
Над программой Wget работали (добавляли различные свойства,
тестировали, исправляли ошибки) несколько десятков человек. Если вы
посмотрите на своей системе Linux описание Wget с помощью команды
info wget
то сможете найти полный список лиц, участвовавших в создании программы.
Программа не является застывшим продуктом, она постоянно улучшается,
появляются новые версии.
Поскольку Wget производит поиск по ссылкам в документах HTML, то эта программа может рассматриваться как один из Интернетровских поисковых роботов, или просто роботов. Такие поисковые системы часто именуют путешественниками (wanderer) или пауками (spider) А раз так, то Wget понимает содержание файла /robots.txt, который администраторы серверов используют, чтобы закрыть часть каталогов от Wget и других поисковых систем.
Файл /robots.txt принимается во внимание только тогда, когда Wget производит рекурсивный поиск (-r) и он считывается с хоста
лишь однажды во время поиска. Например,
wget -r http://fly.cc.fer.hr/
Индекс с сервера будет загружен. Далее, если Wget найд©т что-то
для загрузки с того же сервера, лишь тогда будет считан файл /robots.txt, чтобы решить, следует ли загружать очередной файл, на который
имеется ссылка в индексном файле. Wget не поддерживает тег META в файле /robots.txt.
Подробное описание содержания файла /robots.txt находится на страницах http://info.webcrawler.com/mak/projects/robots/norobots.html.
Wget имеет полезных родственников, т.е. систем, которые выполняют подобные функции. Некоторые из этих систем являются дополнительными по отношению к Wget, иными словами, реализуют те функциональные возможности, которые отсутствуют или недостаточно проработаны в Wget.
К таким системам можно отнести cURL (http://www.fts.frontec.se/~dast/curl/manual.html). Эта система
позволяет
не только копировать информацию с удал©нного сервера на локальный, но
да©т возможности загружать информацию с локальной машины на удал©нный
сервер (ftp, http, https). Можно обратить внимание на систему
Паук - Pavuk (http://www.idata.sk/~ondrej/pavuk/),
которая также
выглядит весьма привлекательно.
<