Реально на NoSQLсделать полноценный ИМ?

Question

[AlanSalamov]

Можно на NoSQL реализовать те же самые фильтры товаров что есть в стандартных ИМ?

Реально там делать такие выборки?

$query = $db->prepare("
        SELECT
            p.*,
            IFNULL(f.userid = :userId, 0) AS is_favorite
        FROM $table p
        LEFT JOIN favorites f ON p.id = f.productid AND f.userid = :userId
        WHERE cat = :cat
        LIMIT 50
    ");

?

Answer 1

[Сергей Соловьев]

Короткий ответ - да.
Длинный -
NoSQL - это обощенное название для всех НЕРЕЛЯЦИОННЫХ БД - ключ-значение (Redis), документо-ориентированные (MongoDB), графовые (Neo4J), семейство столбцов (Cassandra).
Каждая имеет свой язык запросов. Какие-то похожи на SQL (Cassandra имеет схожий синтаксис), какие-то можно превраить в SQL (у Mongo очень похож на SQL, можно сконвертировать простые запросы, как представленный например), другие вообще не похожи (Redis - это просто 1 строка команды в plain text).
Все что нужно - найти способ как транслировать этот SQL запрос в язык для целевой NoSQL.

Comments

[AlanSalamov]

а зачем тогда нужен MySQL если Cassandra лучше?

[Сергей Соловьев]

AlanSalamov, кто сказал что кассандра лучше?

[Everything_is_bad]

AlanSalamov, зачем нужен молоток, если всё можно забить кувалдой?

[Сергей Соловьев]

Everything_is_bad, вообще не понял. кассанда и mysql занимают разные области:
- mysql - это реляционная БД со всеми присущими фичами: транзации, согласованность ...
- cassandra - это БД семейства столбцов, транзакций там нет, четкой схемы нет

они нужны для разных юз кейсов и сравнивать их нельзя

[AlanSalamov]

Сергей Соловьев, twitter и youtube были на MySQL и перешли на Cassandra.

[AlanSalamov]

Everything_is_bad, большие компании были на MySQL и перешли на Cassandra. Зачем начинать с MySQL?

[Сергей Соловьев]

AlanSalamov, значит ИМ нужно было.
это не значит, что можно теперь выбрасывать РСУБД и использовать только NoSQL

[Adamos]

AlanSalamov, они не "перешли на Кассандру, потому что она лучше", они решали конкретную проблему поддержки колоссального хранилища и использовали инструмент, который для этого показал себя лучше.
А не выдумывали, можно ли съездить на работу на БТР.

[AlanSalamov]

Сергей Соловьев, а если ИМ станет очень большой то переходить на Cassandra потом? Или сразу планировать его маленьким?

[Everything_is_bad]

AlanSalamov,

большие компании были на MySQL и перешли на Cassandra. Зачем начинать с MySQL?

зачем брать молоток, чтобы забивать гвозди, давайте сразу забивать их кувалдой

twitter и youtube были на MySQL и перешли на Cassandra.

а, они что ИМ?

а если ИМ станет очень большой

вот когда станет, а точнее когда проявятся конкретные проблемы, вот тогда и будешь думать как их решить

[Сергей Соловьев]

AlanSalamov,
1. Проектировать так, чтобы было легко переходить
2. Сделать тестовый стенд и проверить все варианты на нем

[AlanSalamov]

Adamos, я слышал что MySQL может сделать всего 200 INSERT в секунду. Как в таком случае актуализировать наличие и размеры?

[Adamos]

AlanSalamov, если у вас размеры меняются чаще 200 раз в секунду - просто оставьте их в покое, покупатель все равно не сможет за ними уследить.
Пока вы задаете идиотские вопросы, явно показывая, что и маленький магазинчик напишете на чем угодно так, что работать он не будет. Хвататься за высокие технологии бесполезно, пока не овладел базовыми. Поддерживая тему молотка - никакие ювелирные надфили не помогут тому, кто не научился держать напильник.

[AlanSalamov]

Everything_is_bad, просто ИМ = актуализация наличия = очень много апдейтов.

[Василий Банников]

AlanSalamov, где услышал - там и спрашивай. Вообще звучит как сказка, тк количество вставок в единицу времени - это следствие аппаратной конфигурации.

[Everything_is_bad]

AlanSalamov,

просто ИМ = актуализация наличия = очень много апдейтов.

ага 200 раз в секунду меняется наличие.

[AlanSalamov]

Василий Банников, он приводил в пример ИМ знакомого где тот делал выгрузку из 5000 прайсов поставщиков

[Everything_is_bad]

AlanSalamov, у тебя уже такой же магазин, с такой же проблемой?

[AlanSalamov]

Everything_is_bad, это был ИМ на который каждый день загружали 5000 прайсов поставщиков

[Василий Банников]

AlanSalamov, что такое "ИМ"?

[Everything_is_bad]

AlanSalamov, ты сейчас от знакомого придумал проблему, в текущий момент времени у тебя какая именно проблема, реальная?

[AlanSalamov]

Василий Банников, интернет-магазин

[AlanSalamov]

Everything_is_bad, вчера смотрел видео про Redis на ютубе, там чел про это рассказывал, потом узнал про Cassandra и подумал тоже все делать на NoSQL

[Everything_is_bad]

AlanSalamov, т.е реальных проблем у тебя нет и ты решил себе их создать?

[AlanSalamov]

Everything_is_bad, я купил сервак, туда поставил Linux, NGINX, php, MySQL и почти платформу доделал. Вчера перед сном ютуб показал видео про Redis, я его посмотрел, там чел рассказал про проблему его знакомого с инсертами. И я задумался, зачем мне MySQL если я могу все сделать как нормальные компании на Cassandra? Если он такой слабый, то зачем он мне? Мне так-то что будет стоять без разницы.

[Сергей Соловьев]

AlanSalamov, т.е.
1. на ютубе ты нашел видео неизвестного человека про REDIS (!!!)
2. в нем он сказал что знакомый (существует ли он вообще) имеет проблемы с инсертами (неизвестно какая конфигурация, что за приложение и нагрузки)
3. ты решил, что у тебя будут проблемы (даже не делая нагрузочное тестирование), когда уже все разработал

Все правильно?

[Adamos]

AlanSalamov, мелко, Хоботов. Зачем тебе писать ИМ? Просто купи себе программиста.

[Everything_is_bad]

AlanSalamov,

Если он такой слабый, то зачем он мне?

тебе уже 100500 раз написали что он не слабый. Ты решил на своем одном серваке аналог "twitter и youtube" по нагрузке что ли поднять? Вот будет у тебя сервис которому 100 серваков нужно и с реальной проблемой с MySQL, вот тогда и будешь думать на что переходить и то, отталкиваясь именно от этой проблемы. Уже несколько раз такое повторил, но не доходит.

[AlanSalamov]

Adamos, я уже покупал и не раз

[AlanSalamov]

Сергей Соловьев, ну ок, спасибо большое за время

[AlanSalamov]

Everything_is_bad, докупить несколько серверов это 2 - 3 дня работы. Ограничение в 200 INSERT в секунду мне не подходит.

[Everything_is_bad]

AlanSalamov,

Ограничение в 200 INSERT в секунду мне не подходит.

/)_-) ладно еще раз повторю, ты притянул какую-то левую цифру к своему проекту и как попугай ее повторяешь, хотя тебе кучу раз сказали что это не так. Конкретно твой проект может держать как больше, так и значительно меньше, и виноватым в этом может быть не только MySQL.

[AlanSalamov]

Everything_is_bad, выходит что он мне наврал? Не буду больше доверять челам которые на видео не показывают свое лицо...

[Everything_is_bad]

AlanSalamov, /)_-) /)_-) еще и проблема с причинно-следственными связями, пссс, а тут ты тоже ничье лицо не видишь

[AlanSalamov]

Everything_is_bad, извините если принес неудобство...

[Adamos]

AlanSalamov,

Не буду больше доверять челам которые на видео не показывают свое лицо...

Вот это правильно! Только ради этого стоило мутить этот вопрос.
Надеюсь, челам, которые на видео показывают свое лицо, ты и раньше не доверял?
Намекну: челу, который реально разбирается в том, как работает сервер БД, на таком уровне, чтобы делать заявления о том, чего он может и чего нет - ни разу не требуется ни светить лицо на ютубчиках, ни, тем более, скрывать его.

[AlanSalamov]

Adamos, Конечно, вы правы. Экспертиза и знание в области работы сервера баз данных никак не связаны с видео на YouTube или с показом лица. Важно лишь, чтобы специалист имел глубокое понимание процессов и механизмов функционирования сервера, чтобы делать точные и обоснованные заявления о его возможностях и ограничениях. Таким образом, видео-контент и личная внешность не играют роли в оценке профессионализма и компетентности в данной области.

Намекну: я пошутил.

[Adamos]

AlanSalamov, если вы про вопрос в целом - ну, в общем, успешно, хотя и плоско.
Если только про ютуп - сочувствую.
Дело в том, что сама формулировка заявления про двести инсертов выдает ламерский источник, ни один специалист ни о чем так категорично не заявляет в принципе.

[Василий Банников]

AlanSalamov, если ты собрался делать новый Amazon на php и mysql на одном сервере, то mysql тут является наименьшей из проблем.

[Василий Банников]

AlanSalamov,

как нормальные компании на Cassandra

Эти "нормальные компании" с нами в одной комнате?
Я за 6 лет пока видел всего одно место, где неиронично использовалась кассандра, и где без неё очевидно было бы плохо и это была система, которая каждый день в реальном времени обрабатывала (боюсь соврать) 10к "транзакций" в минуту. Хранилось там в сумме чуть больше петабайта данных.

В остальных местах - легко все обходились каким-нибудь постгресом или sql server.

Если у тебя возникает желание для своего нового проекта сделать супер сложную архитектуру - вспоминай, что кроме Amazon, Netflix, Uber ещё существует StackOverflow, который сделан по монолитной архитектуре, крутится всего на двух железках и в качестве хранилища данных использует самую обычную реляционку (вроде sqlserver) - вот он эталон простоты, которая прекрасно решает свою задачу - быть крупнейшей в мире QnA площадкой для технарей.

[Сергей Горностаев]

AlanSalamov,

зачем мне MySQL если я могу все сделать как нормальные компании на Cassandra

Ну возьмите PostgreSQL, даже такой туше, как Сбер хватает. Вряд ли ваш ИМ дорастет до 40 миллионов пользователей в день и 30 000 запросов к БД в секунду.

[AlanSalamov]

Adamos, там был реальный пример с загрузкой 5000 прайс-листов от поставщиков

[Adamos]

AlanSalamov, посмотрите парой комментов выше, как реальный пример описывает реальный специалист.

[AlanSalamov]

Василий Банников, спасибо за дельный совет про постгрес, его и выберу.

[AlanSalamov]

Сергей Горностаев, спасибо! Счастья вам

[Василий Банников]

AlanSalamov, вам нужно каждую минуту 5000 прайсов грузить?

[AlanSalamov]

Василий Банников, апдейтов очень много будет. Ну если PostgreSQL подходит для Сбера то мне 1000% тоже подойдет.

[Василий Банников]

AlanSalamov, я нигде ничего про сбер не писал)

[AlanSalamov]

Василий Банников, Сергей Горностаев писал) И вы информативные примеры из реальной жизни привели