контент от сервера загружается потом
Получается есть какой-то запрос от клиента, так? Ищите этот запрос на сайте, а потом повторяйте его в своем парсере. Скорее всегда надо будет передавать какие-то данные в заголовке(csrftoken или еще чего) - ищите какие.
Возьмем для примера авторизацию на сайте. Вы же не можете спарсить сайт если не будете авторизованы, так? Приходится авторизоваться силами парсера, получать какой-то токен, при следующем запросе передавать этот токен, чтобы сервер проверил его и отдал скрытые данные.
Вот код авторизации на python для примера:
import requests
url = 'https://nlstar.com/ru/office4/login/'
s = requests.Session()
r = s.get(url)
csrf_token = r.cookies['csrftoken']
data = {
'login': '007-2400101',
'password': '377609',
'csrfmiddlewaretoken': csrf_token
}
d = s.post(url, data=data, headers=dict(Referer=url))
dd = s.get('https://nlstar.com/')
print(dd.text)
Очевидно, что нет единого паттерна решения этой задачи. Потому что каждый сайт имеет свою защиту(мб в Вашем случае ее нет вообще и Вам просто post запрос на определенный url надо послать). Ищите. Разбирайтесь.
Простой
