Как организовать парсинг и автозаливку на вордпрес?

Question

[vante_scribaxxi]

Есть сайт (WordPress), на нем нужно ежедневно обновлять данные.
Данные берутся с другого сайта, т.е. программа должна их (данные) спарсить, отформатировать и грузить на сайт-реципиент.
Ранее писал только простые краулеры и selenium ботов. Т.е. в деталях я примерно понимаю как что должно происходить.
Как я это вижу: пишу управляющий модуль, запускаемый раз в 24 часа в 4:00. Он импортирует модули scrapy-пауков, запускает их в пуле потоков, а потом генерирует файлик и селениумом, через админку загружает в WordPress.
Вопросы.
1. Насколько это решение хорошо? Есть ли какие-то подводные камни? Посоветуете что?
2. Как эту задачу можно решить по другому?

Comments

[Руслан Гильфанов]

Если есть доступ к базе данных -- можно работать напрямую с ней.

[vante_scribaxxi]

Руслан Гильфанов, каким способом?

[Руслан Гильфанов]

vante_scribaxxi, с помощью соответствующих пакетов Python.

Я так понимаю, в качестве СУБД используется MySQL или MariaDB.

Для работы с этими СУБД существует python-пакет PyMySQL, смотрите документацию по нему:
https://pymysql.readthedocs.io/en/latest/

Answer 1

[Evgen]

Либо писать сразу в парсере импорт в базу (но придётся разбираться со структурой), либо можно писать, например в файл, и использовать какой нибудь плагин импорта в WP, которых масса.