Задать вопрос

qlkvg

python backend developer

147

вклад
4

вопроса
148

ответов
51%

решений

Ответы пользователя по тегу Парсинг

Как получить websocket из selenium?

qlkvg @qlkvg
python backend developer

Если в кратце, то нет. Слушать вебсокетные данные через безумный костыль еще кое-как можно, а вот отправлять нельзя. selenium слегка не про это.

Ответ написан более трёх лет назад

Комментировать

Комментировать

Как распарсить html-файл на несколько файлов?

qlkvg @qlkvg

python backend developer

Вообще bs4 тут считается зашкваром, но я его все равно люблю.

spoiler

from bs4 import BeautifulSoup

src = """
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict/EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
<html lang="en">
    <head>
        <meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
        <title>Parse Me</title>
    </head>
    <body>
        <div id="my_id">
            <!-- Something -->
        </div>
        <div id="my_id">
            <!-- Something -->
        </div>
        <!-- Много <div id="my_id">  -->
        <div id="my_id">
            <!-- Something -->
        </div>
    </body>
</html>
"""

template = """
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict/EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
<html lang="en">
    <head>
        <meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
        <title>Parse Me</title>
    </head>
    <body>
        {}
    </body>
</html>
"""

bs = BeautifulSoup(src)
divs = bs.find_all("div", {"id": "my_id"})
for div in divs:
	print(template.format(div))

Ответ написан более трёх лет назад

8 комментариев

Как авторизироваться на сайте через скрипт?

qlkvg @qlkvg
python backend developer

Куки - меньшая из проблем. Любая вменяемая библиотека для работы с http умеет их держать в течение сессии, сохранять по окончании и загружать позже. Веселье начинается со всякими xsrf и прочими защитами. Пробуйте, материалов в интернетах тонна. Для примера на python+requests - https://www.youtube.com/watch?v=eRSJSKG4mDA.

Ответ написан более трёх лет назад

Комментировать

Комментировать
Ищем написанный парсер сбора спортивной статистики реализованный на Python?

qlkvg @qlkvg
python backend developer

А поискать?
https://www.programmableweb.com/category/sports/ap...
Первая же ссылка по запросу "sport api" в гугле.

Ответ написан более трёх лет назад

Комментировать

Комментировать
На чём написать кроссплатформенный crawler?

qlkvg @qlkvg
python backend developer

python/java + selenium. связка питона и селениума ведет себя одинаково на всех системах, с джавой тоже проблем быть не должно.

Ответ написан более трёх лет назад

1 комментарий

1 комментарий
Что лучше применять для парсинга Selenium(ChromeDriver) + BeautifulSoup или Scrappy?

qlkvg @qlkvg
python backend developer

Только requests, только хардкор.

Ответ написан более трёх лет назад

Комментировать

Комментировать
Как считать перевод строки при помощи библиотеки re?

qlkvg @qlkvg
python backend developer

Классика
Не забивайте гвозди микроскопом. Потратьте день на изучение парсинга с помощью lxml или beautifulsoup и познаете радость.

Ответ написан более трёх лет назад

1 комментарий

1 комментарий
Почему парсер не допарсивает ссылки?

qlkvg @qlkvg
python backend developer

Там ссылка обфусцирована довольно забавно. Для деобфускации строка разделяется по точкам, берется квадратный корень каждого числа из получившегося массива и преобразуется в соответствующий этому числу unicode-символ. Как-то так - https://jsfiddle.net/ycbxfh9e/. Код для деобфускации примитивный, повторить его на java не составит трудностей. Почему в via browser отдается необфусцированной ссылкой - хз. Может по юзер агенту определяется, кому что показывать. Я попробовал юзер агент от оперы мини - результат тот же. Можно его скопировать от via и попробовать еще раз.

Ответ написан более трёх лет назад

2 комментария

2 комментария
Аналоги selenium для python?

qlkvg @qlkvg
python backend developer

а чем selenium не устраивает? он по сути - обвязка над браузером, там тупить особо не чему. другой вопрос, что веб нынче тяжелый. у меня selenium+phantomjs с отключенными картинками работает вполне шустро.
На PyQt+webkit сам ничего не писал, но чужой проект оставил не лучшее впечатление(хотя вполне возможно, что там проблема была в руках разработчика, а не webkit'e)

Ответ написан более трёх лет назад

Комментировать

Комментировать

Самые активные сегодня

Ivan Kupala
- 5 ответов
- 0 вопросов
Everything_is_bad
- 4 ответа
- 0 вопросов
VoidVolker
- 4 ответа
- 0 вопросов
rPman
- 4 ответа
- 0 вопросов
Александр
- 3 ответа
- 0 вопросов
Сергей Горностаев
- 2 ответа
- 0 вопросов

Войдите на сайт