Как послать данные в форму JS и получить ответ на AJAX при помощи Python + Selenium?

Question

[Artem Seleznev]

Здравствуйте.
Скажите пожалуйста, как с помощью Python + Selenium отправить данные сайту и получить AJAX ответ.
На данный момент дохожу до того, что получаю данные из выпадающего списка:

driver.find_element_by_class_name("form-control").text

но как отправлять данные? Что надо использовать?

Answer 1

[Александр Момот]

То что Вы делаете называется submit, но приходит обратно не document, а AJAX-ответ, ведь страница не перезагружается, как я понимаю?
Когда Вы пытаетесь отправить данные через браузер, при этом управляя им через selenium, то Вы можете только работать с UI (пользовательский слой), а не с текстовыми данными (ну, не совсем так, но в целом - да) которые прилетают к Вам от сервера. Selenium не позволяет видеть статусы ответов на все запросы кроме первого (главного - первого запроса к документу). Но при этом, вы всё равно не сможете увидеть ответный json/xml/plain-text/whatever

Один из вариантов - ставить прокси на пути селениум-браузер и ходить через него, потом собирая из этого прокси ответы, разбивать их/отсекать ненужные и используя json.loads() получать dict в котором и будут находится данные для валидации

Иными словами, "отправить данные сайту" как Вы сказали, используя только selenium + браузер кроме как нажатием на кнопку в форме - нельзя.

Как один из вариантов, использовать HTTP-библиотеку для отправки запросов http. Например, очень хороший вариант - requests

Comments

[Artem Seleznev]

Я ошибся, не JSON мне нужен, а AJAX. Сорри, ввел в заблуждение (уже несколько дней в мануалах).
На данный момент я могу получить форму, которую мне необходимо заполнить, но вот как послать данный (там получает их JS, после нажатия кнопки).
Я нашел JS, который отвечает за передачу формы и нажатие кнопки в поиск:

//ajax Search
var engine = new SearchEngine();
engine.setUrl('/accredreestr/search/');
engine.setOnError(onError);
engine.setOnSuccess(onSuccess);
engine.setOnStart(onStart);
engine.setOnEnd(onEnd);

$('#SearchForm').on('submit', function (e) {
try {
var formData = $(this).serialize();
var orderColumn = null;
engine.setOrderColumn(orderColumn);
engine.setFormData(formData);
engine.processSearch(1);
} catch (e) {
console.error(e);
} finally {
return false;
}

}).on('reset', function () {
$('#organization').removeClass('hidden');
$('#employee, #extendSearch').addClass('hidden');
});

$(document).on('click', 'a[data-page]', function (e) {
try {
var page = $(this).attr('data-page');
engine.processSearch(page);
} catch (e) {
console.error(e);
} finally {
return false;
}
});

Наверное, можно передать заполненную форму, средствами Selenium'а

[Evgeniy _]

seleznev_artem_info: driver.execute_script()

[Александр Момот]

Evgeniy _: это очень грязное решение в данном случае, т.к. вы выполняете js в обход того что заложено на странице.

[Evgeniy _]

Александр Момот: этот код выполняется при сабмите, что заложено на странице.
В любом случае, чм гадать , было бы лучше, чтобы автоор предоставил пример. тк я так и не понял, что автор подразумевает под ajax-ответом

[Artem Seleznev]

Evgeniy _: под ajax ответом (понимаю, что не правильно формулирую) подразумеваю следующее.
Обычно работал с сайтами так:
- есть ссылка www.sitename.ru
- после передачи данный через GET, работаю с ответом на мой запрос и ссылкой типа www.sitename.ru/?page=1

Но!

Здесь я не могу ни чего послать в форму, а если я заполняю её в ручную, то ссылка не меняться, остается www.sitename.ru/, хотя содержание страницы меняется.

В инструменте разработчика, в браузере, эту страницу можно увидеть отдельно www.sitename.ru/?page=2, но если вставить эту ссылку, будет Error:Page not found

Я пытаюсь понять, как послать данные в форму на сайт (на JS форма) и получить ответ.

[Artem Seleznev]

Evgeniy _: пока ещё с терминологией сложно(((

[Александр Момот]

seleznev_artem_info: поставьте на пути запроса прокси и ходите браузером через него. Все основные реализации WebDriver-а это поддерживают. Затем вытаскивайте ответ. Или кидайте запросы через библиотеку requests, с передачей кук для пущей надёжности.

[Evgeniy _]

seleznev_artem_info: а после того, как вы увидели ответ на странице - DOM тоже изменился?
зы: driver.get_source