Большие объемы данных хранят точно так же, как и маленькие.
Любые отступления от этого правила должны быть продиктованы очень серьезными причинами. А не нелепыми страхами, как в вашем случае.
Сделайте нормальную таблицу. В которую заливайте денные нормальным способом, без всяких блобов.
Если нет возможности увеличить max_allowed_packet - заливайте частями.
Алексей Коновалов, понимаете, вопрос получаю ошибку "MySQL server has gone away". не имеет никакого отношения к вопросу "Как хранить данные?". И если ответить на первый, то этот топик будет полностью бесполезен тем, кого интересует ответ на второй.
А если ответить на второй, то проблема останется ровно та же самая. Потому что вопросы "Как хранить" и "как исправить ошибку" - совершенно разные.
А вопрос "как читать JSON чтобы не падать по памяти" - это уже третий , который не имеет никакого отношения к первым двум.
ну так это просто значит, что вы неправильно "монтируете вольюмы".
потому что при нормальном монтировании ничего не затирается.
Всегда задавайте конкретный вопрос по конкретной проблеме. А не ходите вокруг да около.
Приведите конфиг контейнера, в котором у вас все затирается
Slash, мне кажется, вы чего-то не понимаете. нагрузка будет такой же, если обработать 9999999999 за один раз или 10 раз обрабатывать по 999999999 файлов. Вам это не очевидно? Это транзитивность умножения, её проходят во втором, что ли, классе.
В последнем случае получится даже немного дольше из-за накладных расходов.
