Как убрать кавычки из JSON?

Question

[Seilordp]

Есть такой

JSON

{"Binding":"Electronics","Brand":"Amazon","Color":"Black","EAN":"0841667123295","EANList":{"EANListElement":"0841667123295"},"Feature":["The next generation of our best-reviewed Fire tablet, with up to 12 hours of battery life, a vibrant 8" HD display, a 1.3 GHz quad-core processor, 1.5 GB of RAM, and Dolby Audio. More durable than the latest iPad.","16 or 32 GB of internal storage and a microSD slot for up to 256 GB of expandable storage","Now with Alexa, for quick access to the information and entertainment you want. Ask questions, play music, check your calendar, get the news, weather, and more - just press the home button and ask.","Enjoy millions of movies, TV shows, songs, Kindle eBooks, apps and games - including Netflix, Facebook, HBO, Spotify, and more","Prime members get unlimited access to over a thousand books and magazines, millions of songs, and thousands of movies and TV episodes - at no additional cost","Watch downloaded videos anywhere with a Prime membership, Netflix plan, or Showtime subscription","Enhance your entertainment experience with features you only get from Amazon, including ASAP, X-Ray, On Deck, Blue Shade, and FreeTime Parental Controls"],"HardwarePlatform":"Unknown","ItemDimensions":{"Height":"40","Length":"840","Weight":"81","Width":"500"},"Label":"Amazon","ListPrice":{"Amount":"7999","CurrencyCode":"USD","FormattedPrice":"$79.99"},"Manufacturer":"Amazon","Model":"SX034QT","MPN":"53-005678","OperatingSystem":"Fire OS","PackageDimensions":{"Height":"228","Length":"1598","Weight":"140","Width":"1000"},"PackageQuantity":"1","PartNumber":"53-005678","ProductGroup":"Amazon Tablets","ProductTypeName":"AMAZON_TABLET","Publisher":"Amazon","ReleaseDate":"2017-06-06","Studio":"Amazon","Title":"All-New Fire HD 8 Tablet with Alexa, 8" HD Display, 16 GB, Black - with Special Offers","UPC":"841667123295","UPCList":{"UPCListElement":"841667123295"}}

В значениях встречаются другие кавычки, из-за чего распарсить JSON не выходит. Кавычек может быть несколько. С базой уже ничего не сделать, так как в ней более 40 000 000 позиций. Понимаю, что сделал ошибку, но очень хочется исправить ее.

Наткнулся тут на пост, где такая же проблема, но там исправили само API, у меня такой возможности нет.

Прошу помощи.

Comments

[Дмитрий Энтелис]

в рамках оффтопика - а как можно получить такой сбой?
или Вы вместо json_encode сами строку собирали?

[Seilordp]

Скорей всего вышло так потому что поторопился.
На входе был многомерный массив с разной вложенностью, по этому решил хранить его в одном поле. Надо было рекурсивно пройтись по нему и обработать все значения и уже после переводить в JSON. Я же перевел в JSON и по глупости обернул его в htmlspecialchars, хотя надо было просто mysql_escape_string и проблем не было бы.

Answer 1

[GTRxShock]

не пойму в чем проблема, просто возьмите функцию из ответов на вопрос, который вы привели)

echo preg_replace(
    '/(:"[^#:]*?)"([^#:]*?)"([^#:]*?"[,}])/', 
    '$1\'$2\'$3', 
    '{"status": "success","history": [{"tx":"5204759","status":"SUCCESS","date":"04.07.2017","time":"21:53:27","cash":"10,00руб.","orig":"7 000,00руб.","provider":"WebmoneyОАОБанк"ККБ"","opnum":"R14702331","comment":""},{"tx":"5204759","status":"SUCCESS","date":"04.07.2017","time":"21:53:27","cash":"10,00руб.","orig":"7 000,00руб.","provider":"WebmoneyОАОБанк"ККБ"","opnum":"R14702331","comment":""}]}'
);

Comments

[Мир]

или примерно так

$string = '{"Binding":"Electronics","Brand":"Amazon","Color":"Black","EAN":"0841667123295","EANList":{"EANListElement":"0841667123295"},"Feature":["The next generation of our best-reviewed Fire tablet, with up to 12 hours of battery life, a vibrant 8" HD display, a 1.3 GHz quad-core processor, 1.5 GB of RAM, and Dolby Audio. More durable than the latest iPad.","16 or 32 GB of internal storage and a microSD slot for up to 256 GB of expandable storage","Now with Alexa, for quick access to the information and entertainment you want. Ask questions, play music, check your calendar, get the news, weather, and more - just press the home button and ask.","Enjoy millions of movies, TV shows, songs, Kindle eBooks, apps and games - including Netflix, Facebook, HBO, Spotify, and more","Prime members get unlimited access to over a thousand books and magazines, millions of songs, and thousands of movies and TV episodes - at no additional cost","Watch downloaded videos anywhere with a Prime membership, Netflix plan, or Showtime subscription","Enhance your entertainment experience with features you only get from Amazon, including ASAP, X-Ray, On Deck, Blue Shade, and FreeTime Parental Controls"],"HardwarePlatform":"Unknown","ItemDimensions":{"Height":"40","Length":"840","Weight":"81","Width":"500"},"Label":"Amazon","ListPrice":{"Amount":"7999","CurrencyCode":"USD","FormattedPrice":"$79.99"},"Manufacturer":"Amazon","Model":"SX034QT","MPN":"53-005678","OperatingSystem":"Fire OS","PackageDimensions":{"Height":"228","Length":"1598","Weight":"140","Width":"1000"},"PackageQuantity":"1","PartNumber":"53-005678","ProductGroup":"Amazon Tablets","ProductTypeName":"AMAZON_TABLET","Publisher":"Amazon","ReleaseDate":"2017-06-06","Studio":"Amazon","Title":"All-New Fire HD 8 Tablet with Alexa, 8" HD Display, 16 GB, Black - with Special Offers","UPC":"841667123295","UPCList":{"UPCListElement":"841667123295"}}';

$pattern = '/(\s|\d|\w)"(\s|\d|\w)/';
$replacement = 'rep';
echo preg_replace($pattern, $replacement, $string);

думаю идея автору понятна

[Seilordp]

mir546, Чудесно это сработало. К сожалению в патернах не силен, по этому сам бы не написал.
на данный момент у меня было что то на подобии этого:

feature = str_replace('"', '\"', $feature);
                    $feature = str_replace('\"},\"', '"},"', $feature);
                    $feature = str_replace('\":\"', '":"', $feature);
                    $feature = str_replace('\",\"', '","', $feature);
                    $feature = str_replace('{\"', '{"', $feature);
                    $feature = str_replace('\"}', '"}', $feature);
                    $feature = str_replace('\":', '":', $feature);
                    $feature = str_replace('[\"', '["', $feature);
                    $feature = str_replace(',\"', ',"', $feature);
                    $feature = str_replace('\"],"', '"],"', $feature);

И оно работало :) Если ковычка 1, если 2 уже не то;

[Мир]

Seilordp, только моё решение не совсем корректное т.к. оно заменяет вместе с символами которые рядом. То есть из примера 8" заменит не только " , а целиком 8"
Думаю имеет смысл сделать перебор совпадений " в цикле, а уже там отсеивать ненужные а с нужными работать детальней.

А это поможет в подборе правильного паттерна

[Seilordp]

mir546, Еще раз большое спасибо! И за ссылку так же, буду экспериментировать. Главное что уже можно будет запустить проект, то что где то может потеряться цифра или слово пока что не критично. Я подумал проверять на вилидность JSON и если он с ошибками, то помечать данную запись, что бы ее демон обошел заново и записал с корректными данными.

Если я доработаю регулярку, то выложу ответ сюда, что бы если еще у кого то будет такая же проблема, смогли с ней разобраться.

[GTRxShock]

Правда под эту задачу надо допиливать, как mir546 показал
Seilordp я немного модифицировал чтобы цифра не пропадала + кейс когда дюймы в конце поля и идет двойная кавычка (конечно надо потестировать, но должно работать во всех случаях)

echo preg_replace(
    '/(\s|\d|\w)"(\s|\d|\w|\")/', 
    '$1\"$2', 
    '{"Binding":"Electronics","Brand":"Amazon","Color":"Black","EAN":"0841667123295","EANList":{"EANListElement":"0841667123295"},"Feature":["The next generation of our best-reviewed Fire tablet, with up to 12 hours of battery life, a vibrant 8" HD display, a 1.3 GHz quad-core processor, 1.5 GB of RAM, and Dolby Audio. More durable than the latest iPad.","16 or 32 GB of internal storage and a microSD slot for up to 256 GB of expandable storage","Now with Alexa, for quick access to the information and entertainment you want. Ask questions, play music, check your calendar, get the news, weather, and more - just press the home button and ask.","Enjoy millions of movies, TV shows, songs, Kindle eBooks, apps and games - including Netflix, Facebook, HBO, Spotify, and more","Prime members get unlimited access to over a thousand books and magazines, millions of songs, and thousands of movies and TV episodes - at no additional cost","Watch downloaded videos anywhere with a Prime membership, Netflix plan, or Showtime subscription","Enhance your entertainment experience with features you only get from Amazon, including ASAP, X-Ray, On Deck, Blue Shade, and FreeTime Parental Controls"],"HardwarePlatform":"Unknown","ItemDimensions":{"Height":"40","Length":"840","Weight":"81","Width":"500"},"Label":"Amazon","ListPrice":{"Amount":"7999","CurrencyCode":"USD","FormattedPrice":"$79.99"},"Manufacturer":"Amazon","Model":"SX034QT","MPN":"53-005678","OperatingSystem":"Fire OS","PackageDimensions":{"Height":"228","Length":"1598","Weight":"140","Width":"1000"},"PackageQuantity":"1","PartNumber":"53-005678","ProductGroup":"Amazon Tablets","ProductTypeName":"AMAZON_TABLET","Publisher":"Amazon","ReleaseDate":"2017-06-06","Studio":"Amazon","Title":"All-New Fire HD 8 Tablet with Alexa, 8" HD Display, 16 GB, Black - with Special Offers","UPC":"841667123295","UPCList":{"UPCListElement":"841667123295"}}'
);

[Seilordp]

GTRxShock, Спасибо. Скоро попробую Ваш вариант. Сейчас хочу пройтись по большему объему таких значений.

Answer 2

[Stalker_RED]

В вашем примере достаточно сделать замену "(кавычка и пробел) на \"
Вероятно среди 40 млн записей есть и другие проблемные места, нужно больше примеров битых строк.

Comments

[Seilordp]

Да, это я видел, но есть значения где могут быть двойные кавычки. На самом деле объем данных большой, по этому наверняка в них может быть и другой мусор.

[Stalker_RED]

Seilordp, ну так уберите тот мусор который можете, посмотрите что осталось, возможно там тоже простые решения подойдут. Вполне вероятно, что под конец останется небольшое количество строк, которые проще будет вручную обработать.