Как распарсить большой JSON файл > 500mb?

Question

[Nubzilo]

Есть огромный json файл с записями такого вида:

[
{"id":95689,
"name":"Имя",
"type":"message",
"description":"Описание",
"count":138},
{"id":959,
"name":"Имя",
"type":"message",
"description":"Описание",
"count":38}
]

Как эффективно распарсить такой файл? Какой библиотекой? Пожалуйста, с примерами.
Все, что нагуглил - либо работает не эффективно, либо я просто не разобрался как правильно это использовать...

Answer 1

[Сергей Озеранский]

А в чем проблема? не устраивает скорость парсинга, что вы пробовали?

Comments

[Nubzilo]

Использую Json.Net
Пробовал из примеров:
james.newtonking.com/json/help/index.html?topic=ht...
Не подходит, слишком маленькая скорость даже на 37mb файле.
using (StreamReader r = new StreamReader("large.json"))
{
string json = r.ReadToEnd();
dynamic array = JsonConvert.DeserializeObject(json);
}
Чуть лучше, но скорость тоже маленькая и много уходит памяти на том же 37mb файле.
www.drdobbs.com/windows/parsing-big-records-with-j...
Просто не смог понять, что и как делать.

[Сергей Озеранский]

Nubzilo: а что Вы потом делаете с данными полученными из JSON?

[Nubzilo]

После вопросов будет помощь или это так, для личного интереса? )
Выбираю те обьекты, которые мне нужны и дальше обрабатываю.

[Сергей Озеранский]

Nubzilo: помогать предметно удобнее, когда задача ясна, был смысл определиться, точно ли в парсинге узкое место. А так да, как советуют ниже, потоковый JSON-парсер

Answer 2

[Сергей]

Вам надо использовать потоковый парсер JSON. Погуглите.

Comments

[Nubzilo]

Как ответили ниже - JsonTextReader
А дальше из полученных данных собирать нужные обьекты?
Думал, может есть более удобный способ...

Answer 3

[asd111]

В JSON.net есть JsonTextReader.
Скорее всего он потоковый.

string json = @"{
    'CPU': 'Intel',
    'PSU': '500W',
    'Drives': [
      'DVD read/writer'
      /*(broken)*/,
      '500 gigabyte hard drive',
      '200 gigabype hard drive'
    ]
}";

JsonTextReader reader = new JsonTextReader(new StreamReader(json));
while (reader.Read())
{
    if (reader.Value != null)
        Console.WriteLine("Token: {0}, Value: {1}", reader.TokenType, reader.Value);
    else
        Console.WriteLine("Token: {0}", reader.TokenType);
}

// Token: StartObject
// Token: PropertyName, Value: CPU
// Token: String, Value: Intel
// Token: PropertyName, Value: PSU
// Token: String, Value: 500W
// Token: PropertyName, Value: Drives
// Token: StartArray
// Token: String, Value: DVD read/writer
// Token: Comment, Value: (broken)
// Token: String, Value: 500 gigabyte hard drive
// Token: String, Value: 200 gigabype hard drive
// Token: EndArray
// Token: EndObject

Comments

[marked-one]

Нужно использовать не StringReader, а StreamReader - тогда будет потоковый.

[asd111]

Владимир: спасибо за уточнение

[Nubzilo]

Да, этот вариант я видел. Но можно конкретный пример удобной работы таким способом?
Тоесть нужно выбрать обьекты, в которых скажем "type" : "title".

Answer 4

[Nubzilo]

Попробовал ServiceStack.Text
Парсит быстрее чем Json.Net, но я не смог понять как добавить туда что то вроде фильтров, что б не парсить всю коллекцию.
Попробую еще через JsonTextReader, чуть позже отпишу.

Comments

[Aleksandr]

ServiceStack.Text - падал по памяти на больших объёмах, JSON.Net - единственное рабочее решение, которое я нашёл.

Answer 5

[Aleksandr]

/// <summary>
		/// Deserialize json string in file to specified object
		/// </summary>
		/// <typeparam name="T">Specified object type</typeparam>
        /// <param name="filepath">Path to text file contained json string</param>
		/// <returns></returns>
		public static T DeserializeJsonFromFile<T>(string filepath)
		{
			T obj;

            using (var reader = new StreamReader(filepath))
			{
				using(var jsonReader = new JsonTextReader(reader))
				{
					var serializer = new Newtonsoft.Json.JsonSerializer();
					obj = serializer.Deserialize<T>(jsonReader);
				}
			}

			return obj;
		}

Comments

[Nubzilo]

Да, пока действительно лучший вариант.
А на этапе десериализации можно делать отбор по конкретным полям? Например, что б на выходе было только "count":45? Или если нужен такой фильтр, то это только через JsonTextReader.Read()?