Как отфильтровать URLв и скачать файлы по ним?

Question

[Soloviev_Live]

Как извлечь(отсортировать) из большого(+1 Гб)текстового файла ссылки с требуемым расширением(planxxx.pdf .xml .xls и тд), можно не по одному, а по нескольким - это первое. Второе, мне надо скачать эти файлы, например Curl'oм (массовое скачивание). Текстовый файл состоит из построчных ссылок на файл(ы) с разными расширениями.

Comments

[paran0id]

grep '\.pdf\|\.xls\|\.xml' links.txt | xargs wget

[Everything_is_not_so_bad]

paran0id, а переварится ли такое количество через xargs?

[Soloviev_Live]

paran0id, пока работает) нужные опции по wget'у сам изучу, добавлю. Спасибо

[paran0id]

у меня смутное ощущение, что я постил в ответы, а не в комменты, ну да ладно

[mayton2019]

Тут - аккурано нужно. При массовом скачивании у нас есть 2 простые стратегии. Первое - качать линки строго последовательно. Но при этом какая-то недоступная линка будет надолго блокировать всю очередь. Второе - качать все параллельно но при этом надо помнить об ограничениях на сокеты и количество процессов в linux. Вобщем обе простые стратегии - плохие. В более гибком варианте - нам нужен пул процессов закачки но мне кажется что это выходит за рамки grep + wget и надо звать в топик программиста чтоб написал нормальное приложение с пулом.

[Алан Гибизов]

mayton2019, за программистом надо идти на freelance.

Answer 1

[xotkot]

допустим есть большой файл(urls1.txt) где находятся только ссылки с расчетом один URL на строку

awk '/\.pdf$|\.xls$|\.xml$/ {print "url="$0}' urls1.txt > urls2.txt

отбираем нужные url-адреса и формируем список urls2.txt для последующего скармливания curl

curl --remote-name-all --parallel -K urls2.txt
закачиваем файлы параллельно из списка urls2.txt

п.с.
для удобства сам список можно разбить на несколько, например по 1000 ссылок на файл

mkdir urls
split --lines=1000 --numeric-suffixes=1 urls2.txt urls/list_

в папке urls появятся файлы по типу list_xxxx
после чего можно по очереди их скармливать curl
curl --remote-name-all --parallel -K list_xxxx
ну и обернуть всё это в цикл при желании