Ответы пользователя по тегу MongoDB
  • Парсинг по расписанию и аплоад в БД?

    @rPman
    Тебе нужен критерий, как отличать старые записи (дубликаты или не изменившиеся, тебе виднее что там) от новых.

    Если удобного идентификатора нет, то обычно самое простое, - формировать из сравниваемых данных строку одинаковым способом, и получать из нее хеш сумму (md5 более чем подходит, если данных не 16-значное количество, т.е. не нужно заботиться о коллизиях), его и используй как идентификатор и храни где-то списком как предыдущие значения и сравнивай с ново загруженной, прямо во время анализа. Записи, хеш сумма которых, не была найдена в записях, помещай в базу данных (ну или обновляй значения, если речь идет о модификации а не добавлении новых).
    Ответ написан
    Комментировать
  • Как мне загрузить больше 24000 документов?

    @rPman
    И где код?

    Смотреть ошибки импорта, проверять сообщения об ошибках.

    В 99% случаев работы с csv у новичков и не только в самостоятельном парсинге csv файла и не знании что в его стандарте есть возможность размещения символа \n внутри строк, т.е. одна запись может быть размазана на несколько строк файла.
    Ответ написан
    Комментировать
  • Какой тип данных будет более оптимальных для поля, где будет использоваться 1 цифра?

    @rPman
    mongodb поддерживает компрессию, поэтому храни в int (причем значения от 0 до 9 а не код символа) тогда нули в базе будут оптимизированы и сжаты

    если в пределах одного документа нужно хранить много данных - используй BinData это bson сериализация, она вроде очень эффективна

    ну и если просто нужно в документе хранить список чисел - то строки

    p.s. моя чуйка чует что используется неподходящий инструмент под задачу
    Ответ написан
    Комментировать
  • Как создать бесплатный кластер?

    @rPman
    Очень внимательно читай лимиты free tier, может оказаться так что твои задачи выжрут его за сутки а потом у тебя будет указанная цена.

    Чтобы не попасться как тут https://habr.com/ru/post/532624/ (ведь могут не простить!)

    Бизнес у них такой, что нужно сначала запутать со сложными тарифами, снять с вас деньги, а потом разбираться.

    p.s. привязка банковской карты это механизм авторизации, чтобы вы не взяли на себя 100500 бесплатных аккаунтов
    Ответ написан
    Комментировать
  • MongoDB: SELECT const ?

    @rPman
    Судя по всему требуется временные заглушки на время разработки/развития проекта, либо подключение к существующей БД, структура которой отличается от требуемой.

    Универсальное решение — сделайте view в БД, в котором добавьте нужные поля.
    Ответ написан
  • C# sqlite/NoSQL посоветуйте с выбором

    @rPman
    sqlite — одна из самых медленных реализаций на запись (на средней win машине от 100ms на транзакцию), даже у ms access быстрее, но чтение шустрое, плюс совместимость высокая (если нужно отдельный файл, значит нужно переносить с машины на машину? а sqlite есть под ВСЕ платформы)

    nosql вообще сложно сравнивать с sql, наибольшая скорость (на порядок выше sql), но key -> value создает ограничения, и имеет смысл в основном для document-oriented баз данных, т.е. если у вас есть 1->m то придется сериализовать списки и следить за целостностью самим.
    Ответ написан