Почему строка обрезается до длины 65535?

Question

[47911]

Есть Joomla! 3.9.24 + php-fpm 7.4
Вообщем, возникает ситуация: в компоненте "JomSocial" я в обсуждения, вставляю статью, жму сохранить, и выдаётся ошибка:
>>
0 - Error decoding JSON data: Syntax error
<<
В отладке нашёл место для прописи "var_dump", и выяснелось что ошибка вылазиет когда длинна входной строки достигает 65535. Собственно - как решить вопрос? Какие лимиты выкручивать?

Текст русский отправляется, html код(он сохраняется). Все русские знаки преобразуются в "\uXXXX" и вот отсюда и такое количество символов.

Answer 1

[47911]

Решение найдено.
Есть таблицы:
#__community_notifications
#__community_activities
#__community_groups_discuss
#__community_mailq
В них есть поля, куда записывается информация об обсуждении(напомню: компонент JomSocial, в обсуждение пытаюсь запихнуть текст длинной более 65535) - выдаётся ошибка, т.к. в одной или более таблице есть поля с "длинной поля" до 65535 символов - возникает ошибка. Нужно изменить длинну поля на большее(Тип поля: mediumtext - спасибо Сергей delphinpro, Дмитрий вы были правы. Просто не в 1-о место записываются данные). Название полей не даю т.к.: если вы сами не можете разобраться - лучше не лезте туда сами.

Comments

[Сергей delphinpro]

Как подсказал ниже Лентюй можно было бы включить STRICT_TRANS_TABLES и по ошибкам во время сохранения найти все глючные таблицы.

Answer 2

[Сергей delphinpro]

Колонка в базе данных, в которой хранится json строка, имеет длину 65535 байт
Учитывая, что компонент довольно старый, вероятно она имеет тип TEXT, а не JSON. Можно попробовать поменять на MEDIUMTEXT.

Comments

[Дмитрий]

Обычное поле текст или маленький блоб

[Сергей delphinpro]

Дмитрий, да, чуть дополнил.

[47911]

Так оно записывает - читает - выдаёт ошибку - но статья появляетс?

Т.е. она записывается в полном обьёме. Но ошибка выдаётся. Т.е. сама ошибка смущает, а функционал то работает.

[Сергей delphinpro]

47911, вовсе нет. данные при записи обрезаются, если они не помещаются в колонку. Ошибок при этом не будет.

[47911]

Дмитрий, Сергей delphinpro, к томуже при записи выдала бы ошибку сама база данных и не позволила бы записать данные более "длинны поля".

[Сергей delphinpro]

А вот при чтении, когда получается обрезанная json строка, парсер выдаст ошибку. Что у вас и происходит, как я понимаю.

[Дмитрий]

47911, оно бы обрезало
Ну и логично json не валидный

[47911]

Дмитрий, Сергей delphinpro, ну так сама статья записывается в полном объёме. Но ошибка выводится. В коде оно пытается, зачем-то, декодировать этот JSON и при неудаче - выдаёт ошибку. При просмотре - длинна строки оканчивается на 65535-м символе, и причём по середине "\uXXXX". Собственно: как позволить PHP иметь строку более 65535 символов?

[47911]

Дмитрий, Сергей delphinpro, Я к тому, чтобы не править JOOMLA 3, а через настройки PHP-fpm 7.4 решить вопрос, на случай если ещё понадобится.

[47911]

Ну, или через правку конфига nginx\debian10

[Сергей delphinpro]

47911, База данных режет строку. При чтении json не валиден => ошибка.

В коде оно пытается, зачем-то, декодировать этот JSON

Очевидно, эти данные нужны, не зря же они записываются. Потому и декодируются.

При просмотре - длинна строки оканчивается на 65535-м символе

Еще раз: в поле TEXT помещается только 65535 байт.
И еще раз: ошибок при обрезке данных БД не выдаст. Просто запишет столько, сколько поместилось.
Для БД ваш json в поле типа TEXT - это просто строка символов. Она никак не проверяется на валидность.

[Сергей delphinpro]

47911,

Я к тому, чтобы не править JOOMLA 3, а через настройки PHP-fpm 7.4 решить вопрос, на случай если ещё понадобится.

php здесь ни при чём. Ему какую строку выдала БД, такую он и пытается пережевать.
Не правьте джумлу. Поправьте вручную тип поля в таблице. Сделайте его MEDIUMTEXT. Туда поместится 2^24 символов.
Данная смена типа должна пройти гладко, но всё же помните про бэкапы.

[47911]

Так он записывает не JSON-строку. А саму статью, и при этом она не обрезается. А зачем он её читает(или паралейно передаёт) и зачем-то запихивает в JSON. И после пытается раскодировать из JSON. Не получается, т.к. обрезана. НО В БАЗЕ ВСЁ В ПОРЯДКЕ! Сама статья открывается и видно: всё записано нормально. Мне надо как-то разрешить строку более 65535 символов. Он не из базы её берёт.

Если важно:

Call stack

#	Function	Location
1	()	JROOT/libraries/vendor/joomla/registry/src/Format/Json.php:79
2	Joomla\Registry\Format\Json->stringToObject()	JROOT/libraries/vendor/joomla/registry/src/Registry.php:371
3	Joomla\Registry\Registry->loadString()	JROOT/libraries/vendor/joomla/registry/src/Registry.php:76
4	Joomla\Registry\Registry->__construct()	JROOT/components/com_community/libraries/parameter.php:29
5	CParameter->__construct()	JROOT/components/com_community/helpers/content.php:25
6	CContentHelper::injectTags()	JROOT/components/com_community/libraries/mailq.php:74
7	CMailq->send()	JROOT/components/com_community/libraries/cron.php:128
8	CCron->sendEmailsOnPageLoad()	JROOT/components/com_community/community.php:72
9	require_once()	JROOT/libraries/src/Component/ComponentHelper.php:402
10	Joomla\CMS\Component\ComponentHelper::executeComponent()	JROOT/libraries/src/Component/ComponentHelper.php:377
11	Joomla\CMS\Component\ComponentHelper::renderComponent()	JROOT/libraries/src/Application/SiteApplication.php:194
12	Joomla\CMS\Application\SiteApplication->dispatch()	JROOT/libraries/src/Application/SiteApplication.php:233
13	Joomla\CMS\Application\SiteApplication->doExecute()	JROOT/libraries/src/Application/CMSApplication.php:196
14	Joomla\CMS\Application\CMSApplication->execute()	JROOT/index.php:54

[47911]

Сергей delphinpro, Поле обсуждений строит: mediumtext - utf8mb4_general_ci
До начала написания поста.

Возможно есть ещё какие-то поля? Но я поиск по удачным записям(без ошибок) провёл - нигде не увидел намёка на запись JSON.

[Дмитрий]

47911, тип поля в таблице поменяйте на более длинный

[Дмитрий]

Удалить эту статью, чтобы вывод не ломало, поменять тип поля например через phpmyadmin с text на mediumtext, как посоветовали, залить статью по новой

[47911]

Дмитрий, не изменило результат. Ещё идеи?

[Дмитрий]

Всмысле не из базы берет?

[47911]

Я на 90% уверен.

[47911]

Можно косвенно убедится. Щас искуственно попытаюсь ему скормить кое-какую строку.

[Сергей delphinpro]

47911, понял. Вероятно я ошибся.

[47911]

А в функцию можно ли передать строку так, чтобы она обрезалась сама до 65535 ?

[Сергей delphinpro]

Лентюй, я не большой спец по базам. Наверное эта опция по умолчанию выключена, я ни разу не видел такой ошибки.

[Дмитрий]

47911, может кэш какой присутствует

[47911]

Дмитрий, КЕШа нет. Не в этой части функций. Т.к. я меняю код и он быстро применяется(момент сохранения).
Щас просматриваю стек вызова:
1 () JROOT/libraries/vendor/joomla/registry/src/Format/Json.php:79
2 Joomla\Registry\Format\Json->stringToObject() JROOT/libraries/vendor/joomla/registry/src/Registry.php:371
3 Joomla\Registry\Registry->loadString() JROOT/libraries/vendor/joomla/registry/src/Registry.php:76
4 Joomla\Registry\Registry->__construct() JROOT/components/com_community/libraries/parameter.php:29
5 CParameter->__construct() JROOT/components/com_community/helpers/content.php:25
6 CContentHelper::injectTags() JROOT/components/com_community/libraries/mailq.php:74
7 CMailq->send() JROOT/components/com_community/libraries/cron.php:128
8 CCron->sendEmailsOnPageLoad() JROOT/components/com_community/community.php:72
9 require_once() JROOT/libraries/src/Component/ComponentHelper.php:402
10 Joomla\CMS\Component\ComponentHelper::executeComponent() JROOT/libraries/src/Component/ComponentHelper.php:377
11 Joomla\CMS\Component\ComponentHelper::renderComponent() JROOT/libraries/src/Application/SiteApplication.php:194
12 Joomla\CMS\Application\SiteApplication->dispatch() JROOT/libraries/src/Application/SiteApplication.php:233
13 Joomla\CMS\Application\SiteApplication->doExecute() JROOT/libraries/src/Application/CMSApplication.php:196
14 Joomla\CMS\Application\CMSApplication->execute() JROOT/index.php:54

Может что интересное найду.

[Дмитрий]

47911, тут без хде баг не разберёшься (xdebug)

[SagePtr]

47911, может быть, в БД статьи хранятся в нескольких экземплярах - в оригинале и в JSON?

[47911]

SagePtr, вот и я думаю об томже. Но пока нет уже сил искать. В течении пары следующих дней посмотрю. Если решу вопрос(не минованием ошибки) - то напишу.