@martensit

Какой язык программирования для начинающего для парсинга выбрать?

Нужно писать много многопоточных софтов (>1000 потоков) для работы с соц. сетями, (только для себя)
Большинство соц. сетей на js скриптах естественно.

Понял что проще самому уже язык изучить.
Умею работать пока только с автокликерами (для большого многопотока естественно не подходит это). Принципы программирования понимаю, и это дело люблю.

Какие языки выбрать, наиболее эффективные, которые смогут обмануть js соцсетей. +легко можно будет масштабировать до +1000 потоков?
  • Вопрос задан
  • 571 просмотр
Решения вопроса 3
@BestJS
Посмотрите NodeJs
Его плюсом является быстрота и асинхронность, что реально очень круто!
Ответ написан
Комментировать
al_gon
@al_gon
Обмануть соц. сети вы сможете только через прокси и с большим количесвом аккаунтов, приложений, токенов и т.д. и т.п.
Более того важен скорее сам процесс: интелегентный планировщик задач и другие ресурсо-сберегающие моменты.
Паралельно обстреливать реквестами соц. сети неблагодарное занятие.
Язык не очень принципиален. Я использую Java.
Ответ написан
Комментировать
@sitev_ru
sitev.ru - мой блог ...
Я бы выбрал C/C++... а может Erlang? — функциональный язык программирования с сильной динамической типизацией, предназначенный для создания распределённых вычислительных систем.
Ответ написан
Комментировать
Пригласить эксперта
Ответы на вопрос 3
T_y_l_e_r
@T_y_l_e_r
Для соц сетей подойдет PHP.
Многопоточность там легко достигается CURL - qoo.by/F03
Так же есть готовые библиотеки qoo.by/F04
В линукс скрипт можно легко запихнуть в screen чтобы работал в фоновом режиме.
Ответ написан
Комментировать
@malbaron
Тот, что лучше знаете.

Для хитрых одностраничных сайтов - пригодится что то типа CasperJS (а это JavaScript)

Для всех остальных - годится любой развитый язык.

Только не писать все самому, а использовать библиотеки.
Например, Scrapy на Python или fetchbot и GoQuery для Go (многопоточность из коробки).

Но, на деле, у вас будет совсем другая проблема с многопоточностью.
Сайт вас забанит за множество одновременных запросов.
;)
Так что это должны быть отдельные пауки, запускаемые на разных серверах, но управляемые из одного места.
Ответ написан
Комментировать
@Verz1Lka
Web scraping expert
python + scrapy.org
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы