Как парсить данные?

Question

[WebDev]

Появилась задача скачивать с фейсбука и твиттера посты пользователей. Пользователей много, постов тоже. У обоих сервисов есть удобный API для этого. Сделал на php + multicurl, но при первом же "боевом" запуске уперся в лимит запросов от фейсбука. Что можете посоветовать?

Answer 1

[Александр Аксентьев]

usleep

Comments

[WebDev]

Тогда отпадает смысл использования мультикурла. Там около 50000 ссылок, и нужно хотя-бы за ночь все обойти.

[Александр Аксентьев]

kirill-93: Для этого и ограничения, никто не даст досить апи для своих целей. Использовать прокси/разные токены/приложения для сбора в несколько потоков.

[WebDev]

Ну вот в этом направлении и хочу получить совет. До этого не писал ничего подобного, опыта нет. Как используют прокси с мультикурлом? Там ведь разом задается большое количество УРЛов?

[Александр Аксентьев]

kirill-93: В мульти курл передается много обычных курлов каждый со своими настройками, соответсвенно у каждого может быть своя прокся. В документации curl_nulti_exec есть прямо готовый пример. Сам для парсинга использую эти классы https://github.com/2naive/AngryCurl, очень удобно

[WebDev]

Спасибо, попробую

Answer 2

[АртемЪ]

Что можете посоветовать?

Могу посоветовать забыть про API и начать парсить.

Поясню-
Можно получать некую информацию с ресурса, по специально созданному для этого интерфейсу (API).
Это именно получение информации, но никак не парсинг.
Парсинг, это разбор и анализ.

Поэтому логика парсинга следующая - заходим на ресурс как обычнй пользователь, т.е имитируем действия пользователя, получаем страницу (код страницы), парсим ее(т.е анализируем и вытаскиваем нужные данные).
Это разумеется не так удобно, зато никаких ограничений.
Забанили по IP - подключили новый из прокси листа.
Подсунули капчу - есть ресурсы и для этого.

Answer 3

[Олег Беляев]

Обратись к этим ребятам parsing.by, я свой ИМ парсил с их помощью. Оперативно и недорого. Советую, если интересует ;)