получаем страницу с фото по тегу:
https://www.instagram.com/explore/tags/{tag_without_#}
Просмотреть все данные можно только скроллингом, никакой нумерации страниц и тд.
Написал вот такой скрипт:
from selenium import webdriver
import time, random
tag = '' #input tag here without {#}
timer = 30
browser = webdriver.Firefox()
browser.get('https://www.instagram.com/explore/tags/' + tag + '/')
browser.find_element_by_tag_name('html')
print 'CLICK DOWNLOAD MORE! you have %d sec' % timer #click download more
time.sleep(timer)
t = 0
count = 0
while True:
print 'RUN!'
while t <= 125:
browser.execute_script("window.scrollTo(0, document.body.scrollHeight);")
time.sleep(random.uniform(1,1.5))
browser.execute_script("window.scrollTo(0, 0);")
time.sleep(random.uniform(1,1.5))
t += 1
count += 1
print 'total: ~' + str(count * 4)
t = 0
print 'SLEEP 1h'
time.sleep(3600)
До этого пытался экспериментировать с таймерами, но пока что не удалось добраться до конца страницы (instagrtam тормозит загрузку). Максимум получал 15к фото.
Какие есть мысли?
Простой
