Задать вопрос

Возможно ли создать скрипт — парсер, который будет писать данные в файл?

Стоит задача: записать данные из одного блока на многостраничном сайте. Таких блоков около 3500 штук. Каждый блок отдельная страница, где и хранится необходимая информация.

Вопрос такой: возможно ли создать парсер (если я правильно понимаю его смысл), который бы "прошелся" по этим страницам сайта, и собрал данные (только текст) из указанного блока (к примеру в теге div к которому присвоен class="title"), а после сделал запись с этими данными в файл txt?

Возможно, подобное можно сделать иным способом, но пока идей нет. Вероятно, кто-то делал подобное и подскажет, каким образом реализовали.

За ранее благодарен за ответы.
  • Вопрос задан
  • 295 просмотров
Подписаться 2 Средний 3 комментария
Пригласить эксперта
Ответы на вопрос 2
alex-1917
@alex-1917
Если ответ помог, отметь решением
Есть такой способ - открыли страницу, скопировали текст, сохранили в файл txt, далее повторяем по необходимости нужное количество раз.
Я, например, провел тест и затратил на 100 таких приёмов 300 секунд с учетом что страницы открываются быстро.
таким образом, через 9000-12000 секунд Ваша задача будет решена.

Справочно: 12000 секунд = 3,5 часа.
Ответ написан
@egormmm
Борітеся — поборете!
Это классический парсер.
1. В программе указываешь ссылки где находится контент.
2. Выполнив к ним запрос получаешь контент.
3. "Копаешься" в этом контенте, и извлекает только то, что нужно.
4. Что-то с этим делаешь (сохраняешь в бд, файлы, шлёшь письма, ...).

Вариантов конкретной реализации - масса.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы