Как рендерить сайты с жс, используя C#?

Question

[fire_engel]

хочу спарсить сайт типа https://www.lesegais.ru/open-area/rent с использованием шарпа, но возникает загвоздка: абсолютно весь контент сайта подгружается жаваскриптом. Мне нужно спарсить именно шарпом, если бы я мог пользоваться питоном, вопрос был бы решён за полчаса.
Так вот, мне нужен способ, с помощью которого я смог бы отрендерить html код до его вида на клиентском компе, а затем получить этот html код.
Я пробовал selenium и cefsharp, оба работают так себе, не до конца подгружают контент.

Comments

[Василий Банников]

Я пробовал selenium и cefsharp, оба работают так себе, не до конца подгружают контент.

Тогда стоит решать именно эту проблему, тк других вариантов нет.
Можно, конечно, попробовать и playwright, но если не вышло на selenium - не выйдет и на нём.

[krka92]

selenium может подставлять свои заголовки, своего user-agent. Возможно, сервер это видит и не отдает весь контент. Задайте принудительно User-Agent такого же, который получается, когда вы идете на сайт браузером

[krka92]

И ещё, вы, случайно, не в headless режиме загружаете страницу?

[Владимир Коротенко]

Василий Банников, лол советуешь костыли. Посмотри мой ответ, тут парсить не нужно, можно через api все получить

[Василий Банников]

Владимир Коротенко, ну я же не знаю что это за сайт)
Допустил вариант, что автор уже сам это проверил

Answer 1

[Владимир Коротенко]

напишите на питоне и вызовите из шарпа

UP
postman collection сохраняете как json и импортируете.
На чистом C# используйте веб клиент и отправляйте post запросы изменяя параметр number 0,1,2...n

{
	"info": {
		"_postman_id": "82c63f15-f241-46b4-b7a3-b3245ee52bb3",
		"name": "www.lesegais.ru",
		"schema": "https://schema.getpostman.com/json/collection/v2.1.0/collection.json"
	},
	"item": [
		{
			"name": "https://www.lesegais.ru/open-area/graphql",
			"request": {
				"method": "POST",
				"header": [],
				"body": {
					"mode": "raw",
					"raw": "{\r\n    \"query\": \"query SearchContractLease($size: Int!, $number: Int!, $filter: Filter, $orders: [Order!]) { searchContractLease(filter: $filter, pageable: {number: $number, size: $size}, orders: $orders) {\\n    content {\\n      companyName\\n      inn\\n      dealDate\\n      constituentName\\n      forestryName\\n      subForestryName\\n      tractName\\n      forestBlockNumbers\\n      woodVolume\\n      __typename\\n    }\\n    __typename\\n  }\\n}\\n\",\r\n    \"variables\": {\r\n        \"size\": 20,\r\n        \"number\": 0,\r\n        \"filter\": null,\r\n        \"orders\": null\r\n    },\r\n    \"operationName\": \"SearchContractLease\"\r\n}",
					"options": {
						"raw": {
							"language": "json"
						}
					}
				},
				"url": {
					"raw": "https://www.lesegais.ru/open-area/graphql",
					"protocol": "https",
					"host": [
						"www",
						"lesegais",
						"ru"
					],
					"path": [
						"open-area",
						"graphql"
					]
				}
			},
			"response": []
		}
	]
}

json для post запроса по адресу https://www.lesegais.ru/open-area/graphql

{
    "query": "query SearchContractLease($size: Int!, $number: Int!, $filter: Filter, $orders: [Order!]) { searchContractLease(filter: $filter, pageable: {number: $number, size: $size}, orders: $orders) {\n    content {\n      companyName\n      inn\n      dealDate\n      constituentName\n      forestryName\n      subForestryName\n      tractName\n      forestBlockNumbers\n      woodVolume\n      __typename\n    }\n    __typename\n  }\n}\n",
    "variables": {
        "size": 20,
        "number": 0,
        "filter": null,
        "orders": null
    },
    "operationName": "SearchContractLease"
}

Comments

[fire_engel]

если бы всё было столь просто, я бы так и сделал, но парсер мне нужно написать на чистом шарпе

[Владимир Коротенко]

fire_engel, тогда cefsharp и вперед разбираться с ошибками.
или так как я дополнил

[Василий Банников]

fire_engel, Ну так тебе тут предлагают запрос напрямую к API делать. Это можно на чистом шарпе

Answer 2

[freeExec]

Я пробовал selenium и cefsharp, оба работают так себе, не до конца подгружают контент.

Ну тогда у вас нет шансов.