Советы по работе с curl - мощным инструментом для автоматизации web-запросов |
[исправить] |
Маски запроса:
http://test.ru/file[1-100].html # Скачать файлы 1.html, 2.html...100.html (можно [a-z])
http://test.ru/file{one,two}.html # Скачать one.html, two.html
curl http://test.ru/file[1-10].html -o "site1_f_#1.html"
Только проверка HTTP заголовков (HEAD запрос): curl -I http://test.ru
Докачка оборванного трансфера: curl -C - http://test.ru/file.tgz
Представляемся браузером:
curl --user-agent "Mozilla 1.1" --cookie "session=123;user=guest" --referer "http://test2.ru/" \
--header "Charset: koi8-r" --user user:password
Таймауты, лимиты и proxy:
curl --connect-timeout=60 --interface eth1 --limit-rate 5K --max-time 60 --silent --proxy proxy.t.ru:3128
|
|
|
19.01.2003
Ключи: connect, user, file, mozilla, timeout, ethernet, web, password, proxy, charset, limit, interface, time, http
/ Лицензия: CC-BY
|
Раздел: Корень / Пользователю / Работа с Web и Ftp |