@not_eugen

Как по списку url найти страницы на которых содержиться определенный текст?

Здравствуйте, есть следующая задача:
Есть txt файл со списком url вида (100k строк) без http:// и https://
site.com/123.php
site2.info/456.php

Мне необходимо сохранить в отдельный файл только те url в исходном коде страниц которых содержиться определенный текст
К примеру "Statistic and a Parameter"

Я пытался реализовать эту задачу с помощью .sh скрипта , тк необходимо запускать скрипт на Ubuntu, но не смог разобраться с curl.
Заранее благодарю за помощь!
  • Вопрос задан
  • 88 просмотров
Пригласить эксперта
Ответы на вопрос 1
saboteur_kiev
@saboteur_kiev Куратор тега bash
software engineer
как-то так?
#!/bin/bash
while read; do
  echo "processing the following string: ${REPLY}"
  if curl ${REPLY} |grep "Statistic and a Parameter"; do
    echo "${REPLY}" >> urls_with_text.txt
  done
done<file_with_urls.txt
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы