Как грамотно извлечь данные из таблицы в JSON?

Question

[dhat]

Есть сайт футбольной статистики, к примеру https://24score.com/football/italy/serie_a/2014-20...

Как грамотно и наиболее легким способом извлечь нужные данные из таблиц в JSON?

Пробовал небольшой свой скрипт на основе Фантома и Каспера, но удается выдирать только по одному значению из клетки, а если делать массовый сбор, то остальное выдирается сплошной кучей, и как ее систематизировать в ключ-значение ума не приложу.

Может быть есть какие-то более-менее готовые решения? Например, сначала извлеч таблицу, потом в JSON с соблюдением наименований колонок. Ну просто, там к примеру есть таблица, у которой есть подчиненные столбцы (или как это назвать правильно не знаю). Т.е. 4 главные колонки - Команда, Всего, Дома, Гости. В свою очередь Всего, Дома, Гости делятся еще на 3 колонки каждая.

Подскажите пожалуйста куда копать хотя бы, направте мысль, ибо они уже разбегаются.

Answer 1

[Максим Тимофеев]

Для получения данных в json надо найти сайты, которые предлагают эти данные в виде json через api

Comments

[dhat]

Дорого! Я не профи, балуюсь для себя. Или есть бесплатные альтернативы с нуным функционалом?

[dhat]

Ну и хотелось бы иметь свою базу, а не зависить от сторонних сервисов. Мне на самом деле не так много данных надо.

[Максим Тимофеев]

dhat: 1 раз взяли базу и все

[Максим Тимофеев]

dhat: Или есть бесплатные альтернативы с нуным функционалом? - провел месяцы в поисках. Все что бесплатно либо не актуально, либо редко обновляется либо еще где проблема

Answer 2

[dhat]

Ну вот к примеру задача попроще: я тупо руками выдрал из сайта хтмл-код таблицы. Как это автоматически переконвертировать в JSON? Пробовал какой-то онлайн конвертер, но он не разделил вот эти главные колонки, которые по отдельности еще имеют по 3 колонки каждая.

Answer 3

[fetis26]

Напишите скрипт, который будет проходить по таблицы и загонять данные в объект, потом этот объект можно в JSON. А скрипт можно хоть руками к сохраненной странице подключать. Можно на Ноде, чтобы сразу по урлу парсить. Это несложно.

Comments

[dhat]

Подскажите плз материалы для изучения, чтоб самому осилить эту задачу?

[dhat]

Интересует информация именно по самому скрипту, загону данных в объект из таблицы и потом форматирование в нужном виде в JSON

[dhat]

Нашел https://www.dynatable.com но из документации вообще нихрена не понял как заюзать в моем случае.

[fetis26]

да тут никакой документации не нужно. обычный jquery

условно
var arr = []
$('tr').each(function() {
$(this).children('td').each(function() {
arr.push(this.innerHTML)
})
})

у вас в массиве данные всех ячеек

[dhat]

fetis26: но ведь мне нужно их ассоцировать в виде ключ-значение, а судя по этому коду, я просто в массив запихну все вместе.

[fetis26]

dhat: это без разницы. вам все равно пробегаться по всем строкам. а там уже либо в массив, либо в объект с генерируемым ключом. Если нет проблем с JS, то не вижу сложностей.