Вообще это стандартная задача парсинга. В данном случае парсинга html. Есть библиотека beautiful soup - она умеет очень хорошо это делать.
Отдаете ей то, что получили от сайта, и она разбирает «по косточкам» и потом ей можно конкретные запросы делать и получать значения.
А делать то, что вы сейчас задумали - это делать велосипед на костылях.
pitonessa, а вам тут никто ничем не обязан. Тут люди приходят помогать другим просто по-приколу, потому что им хочется. А если автор вопроса сам не понимает, чего хочет, и требует невозможного, вместо того, чтобы подумать - то помочь ему не в силах никто.
Drno, кстати, хорошая мысль. В том смысле «хорошая», что наверно для определенного типа маркетологов может быть выгодно завалить инет «вредными советами».
Так-то я, упаси Ритчи, Виннер и святой Бэббидж, к маркетологам не отношусь…
Но в данном случае ИМХО терять уже нечего. Уже всё, что могли случайно сломать, сломали. Осталось доломать.
В печь!