Ошибки в json python?

Question

[artds]

я парсю сотни json файлов, но много попадаются кривые json,

{"name":"Максимальная дальность","unit":cH,"value":"invalid_key"}

подскажите пожалуйста как добавить кавычки, что было так?

{"name":"Максимальная дальность","unit":"cH","value":"invalid_key"}

Comments

[mayton2019]

Мда.. По виду это выглядит как попытка сохранить целое число (integer)

{"name":"Максимальная дальность","unit":cH,"value":"invalid_key"}

в поле unit. Конечно я сочувтвую всем парсильщикам. Судьба ваша такая. Всегда иметь на входе
битые файловые форматы.

Совет использовать - yaml парсер - да хороший совет. Я поддерживаю.

Еще хорошо-бы найти того кто такой файл создал - и передать его домашний адрес Фредди Крюгеру, Джейсону,
Чикатило и прочим хорошим парням.

Answer 1

[Сергей П]

Проще всего опробовать загрузить такой битый файл кабудто это yaml. Любой Json-файл будет валидным yaml-файлом, но у формата yaml гораздо более гибкий парсер, менее требовательный к синтаксису.

wrong_json = '{"name":"Максимальная дальность","unit":cH,"value":"invalid_key"}'
print(yaml.load(wrong_json, yaml.BaseLoader))

Загрузит нормально, но нужно проверять на реальных данных, могут возникнуть неожиданные побочные эффекты.

Comments

[Kirgus]

Хорошо придумал)

[Сергей П]

Кирилл Гусарев, да решение напрашивается само собой.
Такое часто бывает при попытках некоторы "уникумов" собирать json не штатной сериализацией, а конкатенируя вручную из фрагментов строк. Ну или после попыток что-то подправить в готовом json с помощью регулярных выражений.

[artds]

Сергей Паньков, на некоторых файлов, возникает ошибка:
Возникло исключение: ParserError

while parsing a flow mapping
in "", line 1, column 46:
... овные характеристики","params":[{"name":""Тип":","unit":k,"value ...
^
expected ',' or '}', but got ''
in "", line 1, column 56:
... ктеристики","params":[{"name":""Тип":","unit":k,"value":"Адаптер ...

[Сергей П]

Ну там с непарными кавычками такой треш, что и ямл охренеет парсить такое. Но по стек-трейсу не понятно. Нужен сам документ целиком.

[Сергей П]

А зачем его в json парсить такой раздолбаный вообще? Пусть лежит как есть текстом в БД

[artds]

{"name":"Основные характеристики","params":[{"name":"Тип сканера","unit":d,"value":"Высокоскоростной лазерный 3D-сканер с комбинированный сервоприводом"},{"name":"Интерфейс","unit":d,"value":"Внешнее управление"},{"name":"Управление","unit":d,"value":"Полевой контроллер"},{"name":cI,"unit":d,"value":"invalid_key"},{"name":"Камера","unit":d,"value":"invalid_key"}]},{"name":"Возможности 3D-сканирования","params":[{"name":"Применение","unit":d,"value":"Наземный 3D-сканер"},{"name":"Скорость сканирования","unit":d,"value":"invalid_key"},{"name":"Класс лазера","unit":d,"value":"1 класс"},{"name":"Максимальная дальность","unit":cJ,"value":"invalid_key"},{"name":"Минимальная дальность","unit":cJ,"value":"0.6"},{"name":"Поле зрения  ","unit":d,"value":"360°\u002F282°"},{"name":"Точность 3D-модели","unit":d,"value":"3,5 мм на 20 м"},{"name":"Угловая точность","unit":"\","value":"21"},{"name":"Точность дальномера","unit":d,"value":"2 мм"},{"name":"Уровень шума","unit":d,"value":"3 мм на 60 м"}]},{"name":"Возможности визуализации","params":[{"name":"Встроенная камера","unit":d,"value":"invalid_key"},{"name":"Камеры","unit":d,"value":"invalid_key"},{"name":"Внешняя камера","unit":d,"value":cK},{"name":"HDR","unit":d,"value":"invalid_key"},{"name":"IR камера","unit":d,"value":cK},{"name":"Скорость съемки","unit":d,"value":"1 мин"}]},{"name":"Производительность системы","params":[{"name":"Тип компенсатора","unit":d,"value":"Двухосевой компенсатор"},{"name":"Разрешение ","unit":d,"value":"1\"},{"name":"Диапазон работы компенсатора","unit":d,"value":"± 5'"},{"name":"Точность установки компенсатора","unit":d,"value":"± 3\"}]},{"name":"Управление и запись данных ","params":[{"name":"Выбор области сканирования","unit":d,"value":"По видеоизображению"},{"name":cI,"unit":d,"value":"invalid_key"},{"name":"Передача данных","unit":d,"value":"WLAN, USB"},{"name":"Дисплей","unit":d,"value":cK}]},{"name":"Питание","params":[{"name":"Тип","unit":d,"value":"Съемный аккумулятор"},{"name":"Тип батареи","unit":d,"value":"Li-Ion"},{"name":"Время работы","unit":d,"value":"4 ч"}]},{"name":"Окружающая среда","params":[{"name":"Рабочая температура","unit":d,"value":"от –20°C"},{"name":"Температура хранения","unit":d,"value":"от –40°C до + 70°C"},{"name":"Защищенность","unit":d,"value":"IP55"}]},{"name":"Размеры и вес сканера","params":[{"name":"Размеры сканера","unit":"мм","value":"178 x 353 x 170"},{"name":"Вес сканера без аккумулятора","unit":"invalid_key","value":"5.8"},{"name":"Вес аккумулятора","unit":"invalid_key","value":"0.35"}]}

[artds]

Сергей Паньков, проверки характеристик у всех товаров, фильтрами их сделать.

[Сергей П]

artds, ну попробуйте уже самостоятельно смекалку включить.
Возьмите текстовый редактор с подсветкой синтаксиса (главное - подсветка парных скобок), отформатируйте аккуратно вручную проблемный документ, посмотрите в чем проблема.
Не надо быть семи пядей во лбу, чтобы увидеть, что это не один json, а много через запятую, и нужно весь документ взять в квадратные скобки.
А ещё заменить все '\"' на '\\"', Чтобы экранирование закрывающей кавычки не происходило.

Такое ощущение, что вам даёшь одну подсказку, потом другую, и вы просто вообще перестаете думать самостоятельно. Включайте мозг, там не что-то суперсложное, просто скобочки и кавычки!

[Сергей П]

artds,

, проверки характеристик у всех товаров, фильтрами их сделать.

Как это понимать? Лень развернуто написать уже? Пипец. Кому сделать? Что сделать? Идите нахрен на фриланс уже.

[Kirgus]

Сергей Паньков, :D пральна, так их!