Задать вопрос
Andy8888
@Andy8888
Frontend Developer

Парсинг сайтов на Python, как загрузить данные которые спарсил на свой сайт?

Я особо не силён в парсинге, только пытаюсь освоить. Допустим есть сайт, написан на Django. Я хочу спарсить с другого сайта 1000 наименований товара, картинки, заголовки, title. В админке Django поля для создания нового товара прописаны. Задача вставить все поля которые спарсили в поля админки. В php и drupal есть такая штука. Для каждого поля пишешь скрипт и он парсит и в поле вставляет, потом создаёт страницу. Я так понимаю при парсинге на Python данные можно выгрузить только в Csv файл. Что делаем потом? Базы данных? Направьте пожалуйста. Как парсить есть материал, а вот дальше что то не пойму
  • Вопрос задан
  • 3582 просмотра
Подписаться 1 Простой Комментировать
Пригласить эксперта
Ответы на вопрос 2
@kova1ev
Парсите напрямую в базу данных, зачем вставлять спарсенное в поля админки джанго, че за гемор. Сайт на джанге просто будет отображать инфу из этой базы.

upd: если ваш парсер выгружает данные только в csv и вам лень разбираться как там в питоне подключиться к какой-то базе данных сделайте так
-парсите, пишите все в свой csv
-запускаете для своей базы данных менеджера этой базы, phpmyadmin или еще какой
-делаете sql запрос "COPY table_name FROM 'c:/parser/my_data.csv' (format csv);"
(само собой поля в таблице должны соответствовать csv файлу)
Ответ написан
@FulTupFul
Самый простой вариант это написать какую-нибудь сторку которая будет записывать ваши спарсеные данные в базу:
def save_data():
    file = open("scratch.json", 'r')  # Предположим это json
    data = json.loads(file.read()) # Загружаем json
    file.close()
    for row in data:
        Scratch.objects.update_or_create(title=row['title'], image=row['image'], price=row['price']) # Название модели и полей надеюсь вы сами подставите
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы