Ответы пользователя по тегу Django
  • Django и таблицы с очень большим количеством данных?

    @gad26032
    1. Сбор данных:
    Копай в сторону очередей, воркеров и тд. Паралельный сбор будет быстрее. Тем более что судя по всему ты сканишь всея интернет. Вкратце:
    • Создаешь задание для сканирования и помещаешь в сервер очередей.
    • Запускаешь кучу воркеров в на vps и они из этой очереди будут брать задания и выполнять
    • делаешь еще одну очередь для записи результатов в базу и поднимаешь парочку воркеров для записи в базу. Если каждый сканящий воркер будет напрямую писать в базу то скорее всего ты сам себе заддосиш базу
    • технологии: Очереди- RabbitMQ или Redis. Воркеры - Celery, Мониторинг - Flower

    2.
    Коллеги выше написали про оптимизацию базы. Это очень важно.
    Добавляй индексацию на поля. (На те по которым делаешь фильтр. Например даты.)
    Сразу почувствуешь прибавку скорости при запросах.
    Ответ написан
    5 комментариев