Если парсить всерьез, то я рекомендую обратить внимание на
scrapy - шикарный фреймворк на питоне для парсинга сайтов.
Задачу в заголовке можно будет решить без говнокода.
Итого: 1 страница красивого кода, за 57 секунд в 16 потоков загружает 345 страниц с веблансера и выдает 3420 проектов.
