Как получить весь текст сайта (со всех вкладок и т.д.)?

Question

[yohiromoro]

Поступил заказ на перевод сайта, но для этого нужен ВЕСЬ текст. Как это сделать? Есть ли программа? В идеале чтобы каждая новая страница сайта сохранилась в отдельном доке. Или только платные парсеры?

Comments

[shurshur]

Если заказ от владельца самого сайта, то вполне разумно попросить тексты у него в пригодном для работы виде (шаблоны страниц, выгрузки контента из базы итд итп).

Answer 1

[ssinister]

В зависимости от сложности задачи, желания ковыряться, и умения в окружающие технологии, можно предложить кучу вариантов, от банальных менеджеров закачек, типа wget:

wget -r -k -l 7 -p -E -nc http://site.com/

до тяжелых и умеющих всякое библиотек и целых фреймворков типа scrapy

Гуглить по словам «web crawler»