Андрей Кунцевич

У меня половина опыта работы — именно написание пауков и веб-парсеров.
Писал их и на PHP + CURL, потом на голом питоне + треды.
Потом узнал о Scrapy (асинхронный фреймворк для граббинга сайтов на Python) и на нём штук 5 независимых проектов реализовал, в том числе один, где нужно аггрегировать и периодически обновлять информацию с 20 различных форумов. Основная его проблема — он асинхронный, но однопоточный. Так что больше одного ядра им не нагрузить и долгий запрос к БД не сделать. А так очень хороший фреймворк.
Потом несколько пауков делал на Python с помощью Celery.
А совсем недавно переписал довольно сильно нагруженного паука (50-70Мбит/с через списки прокси) с Python + Celery на Erlang и понял, что это ОНО! Мало того, что стал работать в 2-3 раза быстрее, но понял, что для этой задачи что-то более подходящее сложно придумать.
Поясню — у паука на Erlang можно без остановки процесса, например, изменить число потоков, обновить код, перезагрузить конфиги. Можно на ходу отпрофилировать код чтобы узнать, почему скорость упала или что так нагружает CPU. Можно совмещать зеленые потоки, асинхронную работу с сетью и долгие запросы к БД. И всё это фактически из коробки. В конце концов, код получается более логичный.

В PHP есть XPath, есть библиотеки аля PhpQuery, ну и т.д. Есть возможность запускать одновременно несколько запросов через multi curl. Так что можно организовать это все худо бедно нормально. Все то же самое и даже больше есть в питоне да и в любом другом языке. Так что для этой задачи подойдет любой язык, который вы знаете.

ЯП в данной задаче суть третьестепенная задача после разбора html и поиска ключевых элементов.
Поскольку именно последняя задача самая главная, то и ориентироваться надо на нее — обычно кучка регулярок и некий контроллер для отработки вариаций и исключений, поскольку регулярки не идеальный инструмент для этого случая.

Я писал похожую систему для книжного агрегатора на php, но только лишь потому что WP.

Может еще пригодится:
2012 Scheduling Software Product Comparisons scheduling-software-review.toptenreviews.com/
Interactive GTD Software Comparison Table www.priacta.com/Articles/Comparison_of_GTD_Software.php

нельзя. если бы было можно, это была бы гигантская дыра. любой сайт мог бы загрузить любой файл с компьютера без ведома пользователя

Покер, конечно же!

Автоматические установщики софта унылы чуть более чем полностью, и нередко ставят в комплекте какие-нибудь трояны. Очень редко надо ставить действительно много разнообразного ПО.

Из очевидных советов: если компания, в которой вы будете работать, партнёр MS, скорее всего у них есть возможность сделать для вас легальные триальные копии всего MS софта. Пользуйтесь ими.

На практике для реальной работы нужно весьма немногое: ERD/любой другой LiveCD (от злых вирусов и кривых рук, в сочетании с cureit творит чудеса), образы винды (для установки и восстановления системы, например, запустить sfc), тяжёлые дистрибутивы, набор софта для диагностики системы (лично мне хватало autoruns+aspia) и средства удалённого управления (putty+teamviewer/ammyy admin).

Из личных рекомендаций: купите флешку с защитой от записи — она пригодится гораздо больше нетбука.

как по мне если клиентов много, то надо создавать карту сети ПО для этого Dia, с описание маков очень поможет в решении вопросов связаных с сеткой

так же очень нужный диск Hiren's BootCD