...и добавим немного wget-а

Собственно весь этот пост затеял только ради одной единственной команды, которая мне была нужна.

Суть в следующем: нужно с определенной страницы скачать файлы, например, PDF, но не все, а только те, что лежат в определенных папках.

Это элементарно делается с помощью wget.

wget -r -A *.pdf -I docs http://example.ru

Поясню:

-r - означает рекурсивную загрузку, т.е. wget закачает не только главную страницу с http://example.ru, но и проследует по ссылкам на этой странице.

-A *.pdf - говорит wget-у, что нужно сохранять только файлы с расширением  PDF

-I docs - загружать файлы только из каталога docs

При этом wget создаст структуру каталогов, как на сервере, что удобно, если имена файлов одинаковые.

Обращаю внимание на то, что при записи ключей важен регистр букв.

Вот так тоже будет работать:

wget -r -A *.pdf,*.doc -I docs,pdfs http://example.ru