Самый быстрый парсер в 2018 для парсинга социальных сетей и Json?

Question

[железный орел]

Делал простой парсер на PHP под фейсбук и столкнулся с трудностями - шареный хостинг вис сразу после 10+ операций, таких как:
1.спарсил количество друзей
2. Пара-тройка простых математических вычислений
3. Результат - 1 раз через 9 фейлов, время ожидания >9000. Что с локалки, что с хостинга, что с VPS.

Знаю здесь есть вопросы о парсерах, но они уже морально устарели, нужна инфа 2к18.

Помогите советом, какой из веб парсеров сейчас быстрый и не сильно нагружает систему:?

Comments

[hackuun]

Присоединяюсь к вопросу, только по Python. Tvoj_faker если не трудно, добавь пожалуйста тэг?

[железный орел]

hackuun, добавил!

[Шамуэй]

А чем апи не подходит?

[железный орел]

Хомон, ни разу не пробовал, но на сколько знаю - там все очень строго по правилам стало и если у тебя не серьезный проект => не сможешь юзать их официальный апи в своих целях. Был такой сайт как sociablade.com - работал с апи, инстаграм уже не работает, начиная с апреля....у меня конечно обьемы вообще мизерные, ну пусть 1000 запросов в день по разным профилям, но все же... никогда не работал с их апи, возможно вы и правы и стоит попробовать

[hackuun]

Да, API они постояно урезают, особенно после скандала можно ждать что будет все ОЧЕНЬ строго.

Answer 1

[Evgen]

Scrapy framework под Python

Answer 2

[profesor08]

PHP это не лучший друг в данном случае. Тебе надо что-то, что может работать асинхронно без лишнего головняка.
На JS

let urls = [
"google.com", "google2.com", "..."
]

urls.forEach(url => {
  fetch(url).then(response => {
    response.json().then(json => {
      console.log(json);
    });
  });
});

Comments

[hackuun]

Фейсбук вмиг побанит скорее всего.

[profesor08]

hackuun, что он там побанит? у него есть открытый api, которым можно пользоваться на свое усморение.

[hackuun]

profesor08, фантазеришка)))

[profesor08]

hackuun, ну с чего ему банить? Все паблики сидят на ботах, которые парсят другие паблики и постят все подряд тематическое.

[hackuun]

profesor08, еще раз, ты фантезиршка, вообще не понимающий что пишешь. Сначала пишет

let urls = [
"google.com", "google2.com", "..."
]

Т.е. ни о каком АПИ не идет речь, а о парсинге хтмл. Потом начинает тюхать про АПИ (НАХЕР ОН КОМУ-ТО ТУТ НУЖЕН???).

С чего банить? Ну вперед попробуй свои недо-советы сам ручками - узнаешь. ПРо какие-то паблики на ботах вообще умора. С вконтактиком перепутал небось?

[hackuun]

Я уж молчу что ресь ЯСЕН ПЕНЬ о внутренних не публичных ссылках ФБ. Как ты своим фетчем логинится собрался?))) Короче, ответ типичное тостеровское дно)))

[profesor08]

hackuun, api на магии работает? там ссылки, обычные, по которым данные надо загружать. у меня ощущение, что ты никогда не взаимодействовал с fb. дичайшую чушь пишешь. ты либо предлагай альтернативный вариант решения, который пригодится автору, либо прекращай.