Парсинг сайтов на Python, как загрузить данные которые спарсил на свой сайт?

Question

[Андрей Неумыванный]

Я особо не силён в парсинге, только пытаюсь освоить. Допустим есть сайт, написан на Django. Я хочу спарсить с другого сайта 1000 наименований товара, картинки, заголовки, title. В админке Django поля для создания нового товара прописаны. Задача вставить все поля которые спарсили в поля админки. В php и drupal есть такая штука. Для каждого поля пишешь скрипт и он парсит и в поле вставляет, потом создаёт страницу. Я так понимаю при парсинге на Python данные можно выгрузить только в Csv файл. Что делаем потом? Базы данных? Направьте пожалуйста. Как парсить есть материал, а вот дальше что то не пойму

Answer 1

[kova1ev]

Парсите напрямую в базу данных, зачем вставлять спарсенное в поля админки джанго, че за гемор. Сайт на джанге просто будет отображать инфу из этой базы.

upd: если ваш парсер выгружает данные только в csv и вам лень разбираться как там в питоне подключиться к какой-то базе данных сделайте так
-парсите, пишите все в свой csv
-запускаете для своей базы данных менеджера этой базы, phpmyadmin или еще какой
-делаете sql запрос "COPY table_name FROM 'c:/parser/my_data.csv' (format csv);"
(само собой поля в таблице должны соответствовать csv файлу)

Comments

[sim3x]

Только "напрямую" означает вставлять в БД через методы джанги
https://docs.djangoproject.com/en/2.2/howto/custom...

[kova1ev]

sim3x, я не понимаю, зачем вообще юзать джангу, если можно прямо в парсере подключаться к нужной базе и записывать туда данные.

[sim3x]

kova1ev, потому как ето кратчайший путь испортить базу

Кроме того, такой подход очень сильно упрощает написание кода

[kova1ev]

sim3x, ну ок

[Андрей Неумыванный]

я очень благодарен всем за ответы. Я мало чего знаю об этом. Вот мои знания: создал сайт главная и страница с товаром, чтобы добавить товар, я захожу в админку и заполняю все поля. На сайте 2 товара. Теперь я не хочу руками все вводить, спарсил все нужные мне данные, записал в бд. Теперь я должен прописать скрипт в основном коде, что типа for который перебирает мою бд и вставляет значение в нужное место html кода? Какой принцип добавления страниц на сайт? Как это происходит? Теоретически должна верстаться новая страница под этот товар?

[kova1ev]

Andy8888, лучше всего будет если вы не спеша и вдумчиво будете читать туториал на офсайте джанги, постепенно все поймете. Как ваш сайт будет отображать товары из базы данных никак не зависит от парсера и способа, которым вы эти товары в базу данных загоните.

[Андрей Неумыванный]

kova1ev, спасибо, будем читать

Answer 2

[FulTupFul]

Самый простой вариант это написать какую-нибудь сторку которая будет записывать ваши спарсеные данные в базу:

def save_data():
    file = open("scratch.json", 'r')  # Предположим это json
    data = json.loads(file.read()) # Загружаем json
    file.close()
    for row in data:
        Scratch.objects.update_or_create(title=row['title'], image=row['image'], price=row['price']) # Название модели и полей надеюсь вы сами подставите

Comments

[Андрей Неумыванный]

Я принцип не понимаю. Как он создаёт 1000 страниц на сайте? Как получается что он за один обход забрал нужные мне строки, создал страницу html и приступает к следующему созданию

[sim3x]

Andy8888,
Вам стоит пройти туториал по джанге https://www.djangoproject.com/start/
Тогда таки вопросы возникать не будут