Как лучше организовать многопоточный парсер xml?

beduin01, идите и учитесь дальше. Тостер создан для того чтобы направлять людей, а не заниматься их обучением

Как лучше организовать многопоточный парсер xml?

beduin01, это может произойти и в обычной базе. Просто в sqlite вы это в принципе гарантированно получите. + Sqlite медленный из-за хранения данных в одном файле и работе напрямую с диском. Брокер очередей вам позволит избежать коллизий.

Ошибки там будут или повторные обработки это уже как получится. В любом случае это будет работать плохо и на отладку проблемы вы потратите МНОГО времени. Почему вы не хотите использовать инструмент, созданный для вашей задачи?

Как лучше организовать многопоточный парсер xml?

beduin01, читайте мой последний комментарий

Как лучше организовать многопоточный парсер xml?

beduin01, если коротко то sqlite это не база данных, а специальный формат хранения данных в одном файле и набор sdk для разных языков. Нормальная база имеет сервер, который и управляет потоками чтения и записи, а также ACID транзакциями

Как лучше организовать многопоточный парсер xml?

beduin01, не умеет (на моей памяти не умел). И никто вам таких вещей не будет писать на первой странице документации

Как лучше организовать многопоточный парсер xml?

beduin01, ещё смешнее. Sqlite это по сути файлики. Когда у вас туда одновременно несколько скриптов писать будет у вас появятся записи, которые один уже обновил, а другой ещё нет и в результате жесть. Вы пробовали в 1000 потоков, например, в текстовый файл писать? Попробуйте, вам не понравится

Шаблоны проектирования - с чего начать знакомство?

Ксения, что из паттернов человеку учить - его личное дело. Они все разные и для своих ситуаций. Большинство из них используются постоянно, но человеку этого даже не осознает. Учить тут ничего не надо, по хорошему. Что действительно надо - знать подходы к решению задач, а тут уже лучше больше чем глубже

Как лучше организовать многопоточный парсер xml?

beduin01, мои полномочия все. Я старался, честно, но у вас уровень подготовки на уровне плинтуса - пишите в файлики, вам пойдет

Как лучше организовать многопоточный парсер xml?

Roman Kitaev, и не говори. Но я верю что есть адекватные люди. Увы, последнее время меня многие разочаровывают

Как лучше организовать многопоточный парсер xml?

beduin01, конкурирующие потоки и транзакции

Как лучше организовать многопоточный парсер xml?

beduin01, по RabbitMQ (самый простой вариант для вас). Из БД вы можете выгребать, конечно. Что вы получите? То что вы будете делать это в 1 поток чтобы 2 раза ничего не обработать. Если будете делать в несколько потоков то вам придется придумывать как раздавать своим воркерам эти задания. То есть вы будете сами писать механизм очередей, гарантированно сделаете это через всем известное место и работать это будет по понятным причинам плохо, медленно и не качественно.

Давайте на пальцах объясню. Вы решили поесть суп. У вас есть суп. Вы взяли вилку и пробуете его есть вилкой. Я предлагаю вам ложку. Вам не нравится ложка по тому что она удобная и позволяет вам не заниматься фигней. Вы просите принести вам немного металла, газовую горелку и прочие инструменты, а так же инструкцию как сделать ложку с дырками.

Как лучше организовать многопоточный парсер xml?

beduin01,

beduin01 beduin01 Автор вопроса
Каким образом должен быть оформлен обработчик? Если обработчик упал (не смог распарсить файл) то он должен в БД это событие логгировать?

Документацию почитать лень?

Если обработчик упал (не смог распарсить файл) то он должен в БД это событие логгировать?

Обычные логи приложения просто чтобы вы знали из-за чего происходит падения. Сообщение должно вернуться в очередь если не дождется сигнала окончания обработки

И можно ли сделать подобное используя не очередь а БД? Просто из БД выгребать все таким же способом.

Можно еще спать на потолке. Удобно наверное, как думаете? От БД отказываться в любом случае не советую - туда имеет смысл сохранять задания и результат их исполнения, с временными метками и другими данными, которые вам понадобятся

Как лучше организовать многопоточный парсер xml?

beduin01, вы делаете очередь в которую отправляете задания. На другом конце очередей может быть любое число обработчиков, которые параллельно получают оттуда задания и выполняют их. Таким образом вы получаете контролируемый набор заданий, которые никуда не пропадут если обработчик (один или все) умрет + в случае если надо сделать быстро то вы просто можете увеличить число обработчиков. Вы скорее упретесь в предел диска по IOPS чем в скорость обработки. Надо 1 воркер - пожалуйста, надо 1000 воркеров - да тоже пожалуйста, только серверов докиньте) вообще из хороших практик - 1 воркер на ядро, но это относительный показатель

Как лучше организовать многопоточный парсер xml?

Roman Kitaev, я в python не силен. Просто даю гарантированное решение, которое будет работать, обеспечивает решение задачи, горизонтальную масштабируемость и at least one delivery.

Как спарсить новости с любого новостного сайта?

Страдать

Влияние доменной зоны на SEO для ИМ: ru или shop?

lukoie, я понял - мы немного о разных мирах говорим. Если вы о говносайтиках на 30к уников в месяц то тогда это еще может работать. Кое-как, наверное. Только вот не работает эта фигня на самом деле. Иначе бы вы не получали в выдаче отличные от ru домены в пределах рф. у меня есть домен в зоне racing, который перебивает все ru домены сектора по тематике. Без рекламы и продвижения

Влияние доменной зоны на SEO для ИМ: ru или shop?

lukoie, то что чтобы такое утверждать надо хоть немного понимать как работают машинные алгоритмы выбора и анализа. Я о тех, которые самообучаются на нарастающих массивах данных. Индексация зависит только от того насколько качественным и динамическим считает поисковый робот ресурс. Что до выдачи то алгоритм принимает решение на основе многих факторов, но учитывая такой важный фактор как языки, геораспределенность, скорость выдачи контента, безопасность ресурса, ну и сама семантика то даже если бы где-то была поправка на доменнное имя (что не правда) то влияние этого фактора сводилось бы к нулю

Влияние доменной зоны на SEO для ИМ: ru или shop?

lukoie, это уже обмусолено столько раз что . весь интернет заполнен информацией. Доменная зона не может влиять на индексацию по тому как не имеет отношения к контенту

Влияние доменной зоны на SEO для ИМ: ru или shop?

Cupuyc9100, это просто хайп и он давно прошел. Никогда ни на что это не влияло

Какой регион выбрать для Amazon S3?

jazzus, добро пожаловать в реальный мир