Задать вопрос

Artem Seleznev

https://github.com/NameArtem
Ответы

  • Как правильно запарсить сайт на python?

    @seleznev_artem_info
    https://github.com/NameArtem
    Довольно просто, надо доп. библиотеки установить и делайте так:

    На сайте необходимо делать выбор (select), так же он использует Ajax.
    Можно использовать связку Python + Selenium + CSV
    Как делать:
    Подключаете библиотеки:
    selenium
    csv

    В Selenium используем ожидания после каждого Select, до появления определенного элемента на странице.
    После получения всех необходимых данных записываем их в CSV файл (а потом, этот файл можно открыть с помощью excel)

    Хороший и быстрочитаемый мануал:
    https://kreisfahrer.gitbooks.io/selenium-webdriver...

    Кстати, Вы можете просто передавать данные в адресную строку (и работать через BeautifulSoup).
    Например вы получаете каждый value из option у select (назовем его далее №), а дальше формируете строку в Python, заменяя №, добавляя № из списка и перебирая его при помощи for.
    Каждый раз посылаете новую строку и если есть ответ, сохраняете его, так как Вам удобно.
    Там примерно такую строку передаёте (№ заменить):
    http://www.lp.edu.ua/rozklad-dlya-studentiv?inst=№...
    Ответ написан
    1 комментарий
    1 комментарий

  • Python выводит текст правильно, но не записывает в словарь с неправильной кодировкой. Как исправить?

    @seleznev_artem_info Автор вопроса
    https://github.com/NameArtem
    Вот, какой был ответ
    В начале файла:
    #-*- coding:utf-8 -*-
import sys
reload(sys)
import locale
sys.setdefaultencoding(locale.getpreferredencoding())

    А переменные и весь текст записываем вот так:
    имя_переменной = u"".join(имя_переменной).encode('utf-8').strip()


    Может быть, кому-то будет полезно.

    P.S. Проблема плохо решаемая только с кириллицей
    Ответ написан
    Комментировать
    Комментировать