Парсинг Instagram на Python. Какие нужны либы?

Question

[mRelby]

Всем доброго времени суток.
Я только начинаю свой путь в программировании, поэтому прошу не забрасывать меня камнями)

Решил написать эдакий парсер для Instagram. И тут же столкнулся с проблемой.
Использование Requests в связке с bs4 не дают нужного результата, ибо инстаграм выдает список постов по мере скроллинга вниз.
Условно говоря, я могу получить только 3-6 первых постов.

Что посоветуете использовать, дабы вытянуть все имеющиеся посты профиля?
То есть, нужно что-то, что позволит прогрузить все посты.

Comments

[Ivan Yakushenko]

Мозги и dev tools в любом браузере, что-бы отследить какие запросы делает сайт для получения новых изображений, а затем эти-же запросы повторять в коде.

Answer 1

[Dima]

Попробуйте selenium

Answer 2

[killeryStark]

тут только selenium. Также для инсты есть библиотека на основе selenium: InstaPy

Comments

[Ivan Yakushenko]

че, прям таки только?

[mRelby]

Ну... instagram был приведен в качестве примера. Сейчас многие сайты рендерят страницы через js.

То есть, если я работаю с сайтом, где страница рендерится через js, то нужно юзать selenium? Других вариантов нет?

[killeryStark]

mRelby, это один из самых удобных и наглядных иструментов, конечно не единственный но самый адекватный

Answer 3

[originalmalek]

Попробуйте Instabot
https://github.com/instagrambot/docs/blob/master/e...

Answer 4

[Пума Тайланд]

да все выдает что вы лечите то , зайдите на сайт инсты и посмотрите запросы

Comments

[mRelby]

а можно чуть более конкретно? Желательно на примерах.
Заранее спасибо!