Как по списку url найти страницы на которых содержиться определенный текст?

Question

[not_eugen]

Здравствуйте, есть следующая задача:
Есть txt файл со списком url вида (100k строк) без http:// и https://

site.com/123.php
site2.info/456.php

Мне необходимо сохранить в отдельный файл только те url в исходном коде страниц которых содержиться определенный текст
К примеру "Statistic and a Parameter"

Я пытался реализовать эту задачу с помощью .sh скрипта , тк необходимо запускать скрипт на Ubuntu, но не смог разобраться с curl.
Заранее благодарю за помощь!

Comments

[Roman Ratkin]

Не получилось то что конкретно? В целом что-то типа такого должно быть:

grep "text" "$(curl site.com/123.php)"

[not_eugen]

Не получилось открывать список сайтов в sh скрипте и передавать его как переменную в curl

[Saboteur]

not_eugen, Так приведите ваш скрипт, посмотрим, поправим.

Answer 1

[Saboteur]

как-то так?

#!/bin/bash
while read; do
  echo "processing the following string: ${REPLY}"
  if curl ${REPLY} |grep "Statistic and a Parameter"; do
    echo "${REPLY}" >> urls_with_text.txt
  done
done<file_with_urls.txt

Comments

[not_eugen]

line 2: syntax error near unexpected token `do'
Как я понимаю этот символ ` из-за неправильной кодировки, хотя я использовал dos2unix

[сергей кузьмин]

замените foreach

и все будет хорошо

while read URL; do 
echo "processing the following url: ${URL}"
  if curl -k $URL -o - | grep -q "Statistic and a Parameter" ; then
    echo "${REPLY}" >> urls_with_text.txt; 
fi
done < file

[Saboteur]

точно, моя ошибка

[not_eugen]

Не могу понять почему не работают оба скрипта.
Нет вывода в консоль, в файл тоже ничего не записывается.
Ubuntu 16 , curl установлен. Тестовые баш скрипты выполняются как bash script.sh так и ./script.sh

Поправил как мне кажется опечатку

while read URL; do 
echo "processing the following url: ${URL}"
  if curl -k $URL -o - | grep -q "Statistic and a Parameter" ; then
    echo "${URL}" >> urls_with_text.txt; 
fi
done < file_with_urls.txt

[Roman Ratkin]

not_eugen, что вы знаете о списке сайтов? По какому протоколу они доступны? HTTP, HTTPS?

curl --proto HTTPS "$URL"

[Saboteur]

Попробуйте вручную прокрутить несколько урл-ов через
curl -k -o $URL -

Нужно понимать, что многие сайты могут выдавать разные редиректы, требовать определенного браузера и так далее.