Как с помощью php и curl спарсить результаты поиска в twitter?

Question

[Medvedoc]

В twitter через поиск нахожу все посту по заданному слову.
Например, https://twitter.com/search?q=тостер

А как через php и curl можно получить все результаты? Через API не хочу потому, что там идет ограничения на количество выдачи. Мне просто нужно посчитать сколько раз данное заданное словосочетание упоминалось в постах по результатам поиска. Может кто подскажет рабочий код?

Comments

[Medvedoc]

Использую вот такой код для парсинга

<?php
$ch = curl_init();
curl_setopt_array($ch, array(
  CURLOPT_URL => "https://twitter.com/search?src=typd&q=%D1%82%D0%BE%D1%81%D1%82%D0%B5%D1%80",
  CURLOPT_USERAGENT => 'Mozilla/5.0 (Windows NT 6.1; rv:8.0) Gecko/20100101 Firefox/8.0',
  CURLOPT_AUTOREFERER => true, // имитация передачи реферера при редиректе
  CURLOPT_ENCODING => "", // поддержка декодировния результата: identity, deflate и gzip
  CURLOPT_HEADER => false, // отключение заголовков из вывода
  CURLOPT_RETURNTRANSFER => true, // результат в curl_exec()
  CURLOPT_CONNECTTIMEOUT => 60, // ограничение времени соединения
  CURLOPT_TIMEOUT => 60, // ограничение времени выполнения cURL функции
  CURLOPT_FOLLOWLOCATION => true, // следовать по редиректам
  CURLOPT_MAXREDIRS => 5, // максимальное кол-во редиректов
  CURLOPT_SSL_VERIFYPEER => false, // отключение проверки сертификата узла
  CURLOPT_SSL_VERIFYHOST => false, // отключение проверки сертификата хоста
));
$content = curl_exec($ch);
$errno = curl_errno($ch);
$error = curl_error($ch);
$info = curl_getinfo($ch);
curl_close($ch);
echo $content;
echo $info;
?>

Но загружаются не все посты. Надо как-то через post запрос нажать кнопку Load older Tweets . Как это сделать я не знаю.

[Dimonchik]

сделать просто: в Хроме по f12 смотришь отладку и видишь там УРЛ

[Medvedoc]

с отладчиком мало знаком (((
но ссылка меняется на /search?q=тостер&next_cursor=cm%2B55m--aDFIbIIXFFDaIXavEvD-BD1UO2FFu9QAAAAAAAAVfAAAAAcAAABWAAAAAAAEAAAAAAgAAAAAAAAgACAAAAAAAAAAAAAAIAACAAABAKAAAAAAAAAAAAAAAAAAAAAgAAAAAAgCAEAEAAAAAAAAAAACAAAAAEAAEAAAAgQAAAAAACAAAAAAEACAAAAAAQAIAAAAAAABAAAAAAAEAAIAAAAAAAQAAAAAAAgAAAAAAAAAAAAAAAAAAEACIAAAAAAAEIAAAAAAAAAAAAQACAgAAQAAEAAAAAAAAAAAIAAAAACAAAAAAAAAQAAAAAAAAAAAIAAAABAAAAAAAAAAAAAAAAAAAAAAAAAAAEAAAIAAgAAIQAAAAEAAAAAAEAAAAAAAAgAAAAAAIAAAAQAAAAAAAAAAAAAAAACEAAAAQgAAEAAAAAAAAAAAAAAAAAIAAAAChAAAAAAAAAAAAAAAAQEAAAAAAAAAQIAAAABAAAAAAAAAAACAAAAAAAAAAAAAAAAAAAAAEAAABAAAACAAAAAAAAAAAIQAAAAAAAAAgAAAECAAABAAAAAAIAAAAAAAAAAAAEABQQAAAAAAAAAAAAAAAAEAgIAACAAAAAAAAAAhAAEAAAAAAAAAAACQAAAAIAAAAAAAAAAAAAAAAAAAAAAAAEAAAAAAAAAAAAAAAAAAgAABAAAAAgAAAAAAAAAAAAAAAAAAAAACAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAEABAAAAAAAAAAAAAAAAAAAAABAACAAEAAAACAAAAAAAAgAAAABQAAAAAAAAIBAAAAAAAAQAABCEAAAAAAAAAAAAAAAAAAAAAAAABgAAQAAAIAAAAABAAAAAAAAAAAACAAAAAAAABAAgAAAAACAAAAAAIAAgIAAAAgAAAQAAAAAAAAAgAAAAAAAAAAAAAAAAQAAAAAAABgACAMAAIAAAAAAEAAIAAAA%3D%3D-T-0-0
Но если пробую перейти на своей странице, то выдает ошибку.

[Medvedoc]

может у кого есть рабочий готовый пример?

[Medvedoc]

просто при прокрутке вниз в самом поиске твиттера подгрузка твитов происходит по ссылке
https://twitter.com/i/search/timeline?vertical=def...
но они постоянно меняются, а именно значение max_position

Answer 1

[Dimonchik]

ну так а что не получается?

Answer 2

[megastudio]

Можно также использовать уже готовые API: https://twitter.sneakin.info - не нужно заморачиваться с проксями и запросами. Используем уже больше месяца, довольны. Юзайте)