Как можно реализовать загрузку всех твитов из ленты новостей Твиттера за последние сутки, скажем?

Question

[S_ith]

Насколько я понимаю, простой прокруткой страницы вниз можно только последние три часа загрузить.
Подписался на кучу людей по очень интересным мне темам.
И хотел бы читать всё, что появилось от них в ленте за сутки или за больший промежуток времени, если это вообще возможно.

Comments

[Алексей Немиро]

Если на .NET, то я недавно делал пример для получения и публикации сообщений в Twitter. Посмотреть можно тут: https://github.com/alekseynemiro/nemiro.oauth.dll/...

Answer 1

[Андрей Мывреник]

Создаём ключи на https://apps.twitter.com/
Использовалось:
https://pypi.python.org/pypi/twitter/
https://pypi.python.org/pypi/python-dateutil/

И ещё, если скрипт дойдёт до самого конца ленты, он может зациклиться или выкинуть исключение, не проверял эту ситуацию.

from pathlib import Path
import dateutil.parser
import datetime
import twitter

APP_NAME = "TwitterScrap"
CONSUMER_KEY = "xxxxxxxxxxxxx" # Берём отсюда: https://apps.twitter.com/
CONSUMER_SECRET = "xxxxxxxxxxxxx" # Берём отсюда: https://apps.twitter.com/

credentials_file = Path("twitter_oauth_token.txt")
if not credentials_file.exists():
    oauth_token, oauth_secret = twitter.oauth_dance(APP_NAME, CONSUMER_KEY, CONSUMER_SECRET, str(credentials_file))
else:
    oauth_token, oauth_secret = twitter.read_token_file(str(credentials_file))

oauth = twitter.OAuth(oauth_token, oauth_secret, CONSUMER_KEY, CONSUMER_SECRET)
twitter_handler = twitter.Twitter(auth=oauth)

date = datetime.date.today()
until_date = date - datetime.timedelta(1) # Выводим твиты до вчерашнего дня
last_id = None
while(date > until_date):
    if last_id is not None:
        time_line = twitter_handler.statuses.home_timeline(exclude_replies=True, max_id=last_id)
    else:
        time_line = twitter_handler.statuses.home_timeline(exclude_replies=True)

    date = dateutil.parser.parse(time_line[-1]['created_at']).date()
    last_id = time_line[-1]['id']

    for i in time_line:
        print(i['user']['name'], "(@" + i['user']['screen_name'] + ")", i['created_at'])
        print(i['text'])
        print('--------------------')

Answer 2

[Макс]

я сделал себе граббер и через апи собираю по крону