Какие есть сервисы для обработки данных из таблиц Excel?

Question

[Дмитрий Быстров]

Здравствуйте! У меня имеется некоторое количество разнообразных excel-файлов. Один из них имеет следующую структуру (см. скриншот)

Он представляет собой таблицу должников. Данные располагаются в столбцах "Группа" (номер группы), "Физическое лицо" (ФИО студента), "Зачетная книжка" (номер зачетной книжки), "Дисциплина" (наименование дисциплины), "Вид контроля" (зачет, экзамен и т.д.), "Отметка" (незачет, неудовл и т.д.), "Период контроля" (номер семестра), "Тип ведомости" (основная, пересдача), "Индивидуальная ведомость" (да, нет).

Может быть существуют какие-либо сервисы, программы для того, чтобы хранить подобную информацию в течение долгого времени, на основании этих данных выполнять различные запросы, сравнения, анализ?

Таких файлов несколько. Их можно разбить на несколько групп. Каждый файл в группе имеет одинаковую структуру.

Проблема в том, что до этого идёт выгрузка этих документов в формат excel-таблиц, и необходимо именно из них получать различные выборки на основании запросов

Comments

[longclaps]

Очень хороший вопрос. Только непонятный.

до этого идёт выгрузка этих документов в формат excel-таблиц

до чего?
Но всё равно вопрос отличный.

[akelsey]

Давно замечал что при "обфускации" на большом экране все выглядит нечитаемым, но когда вставляешь скриншот - происходит магия и персональные данные начинают просачиваться.
Например в строках 24-26 угадывается Петров Сергей - отчество не понятно,
В 8-10 некий Илья Вячеславович...

[Дмитрий Быстров]

longclaps, происходит неизвестная мне манипуляция с данными в 1С и выгрузка полученных результатов в excel

[Дмитрий Быстров]

akelsey, не было большого намерения скрыть персональные данные. В данном случае я применил фильтр в фотошопе, выбрав маленький показатель размера клетки мозаики.

Answer 1

[Saboteur]

Если вы хотите делать различные запросы, сравнения и анализ, то зачем было выгружать данные в Excel?

Пусть данные останутся в базе данных, в которой есть инструменты для запросов, сравнения и анализа.
А в Excel выгружайте результаты для просмотра и печати.

Собственно базы данных и предназначены для работы с данными в таблицах.

Comments

[Дмитрий Быстров]

Как уже предположили ниже, я получаю только xls-файлы, а выгрузкой занимаются другие ответственные за это люди.

Насколько я могу знать, есть крупная проблема в 1С. Из-за этого нормальная работа внутри системы уже 3й год не может быть поставлена на ноги, и необходимо придумать какое-то временное решение, имея только xls-файлы, которые есть возможность получать.

[Saboteur]

Вообще совсем не проблема поднять другую базу - mysql, mssql, oracle, postgre
Загрузить в нее xls файлы и работать с данными в базе.

Тем более, что из 1С можно выгружать не только в xls, но и в более удобный для последующего импорта CSV.

Но для этого нужен программист, тех задание и время.

А самостоятельно вы еще можете поковырять такую базу как MS Access, тоже входит в офис. Может импортировать из Excel и довольно визуально делать отчеты.

Answer 2

[DDDsa]

Я думаю, проблема в том, что выгрузку делает кто-то другой и к автору попадают уже эти xls-файлы, с которыми автору приходится работать.

Это стандартная задача для всяких финансовых ERP-систем. Например, надо загружать накладные от разных банков, причём у каждого банка свой формат и набор данных в файлах накладных. Никакой магии тут нет — просто пишется обработчик для каждого банка, который считывает данные с файла и загружает их в БД. А уж в БД можно играться с ними как угодно.
В вашем случае это будет (довольно тривиальный) скрипт, например, на python, который данные из колонок грузит в БД (возможно, предварительно удаляя старые данные из таблицы).

Натыкался также на какой-то плагин для Excel, который позволяет делать запросы к данным как будто это БД. Возможно, это будет выход проще, гугл в помощь.

Answer 3

[Антон Киселёв]

Может быть существуют какие-либо сервисы, программы для того, чтобы хранить подобную информацию в течение долгого времени

Зависит от размера данных:
Десятки тысяч строк или меньше — Excel достаточно
Миллионы записей или больше — то БД, например, на SQL.
Сотни тысяч строк — пробовать, если Excel тормозит — переезд на БД.

на основании этих данных выполнять различные запросы, сравнения, анализ?

Excel: гуглите "Сводные таблицы". Источников может быть несколько.
БД: нужная выдача формируется на основании запросов, которые вам напишет программист.

Comments

[Дмитрий Быстров]

Всё, что Вы перечислили, имеет место быть. Но вот какая особенность: в дальнейшем необходимо проводить некий анализ, к примеру, сравнить два файла (за текущую неделю и за предыдущую) и выяснить, кто из студентов какие долги закрыл/сдал, сколько у студента осталось долгов и в таком духе.

У меня мало опыта, и как провернуть такое с помощью БД, к сожалению, не знаю.
Необходима именно та аналитика, что я привел сверху.

[Антон Киселёв]

сравнить два файла (за текущую неделю и за предыдущую)

1. Это сделает функция =ВПР
2. Готовая надстройка: perfect-excel.ru/publ/excel/makrosy_i_programmy_vb...
3. Еще ссылки из моей "базы знаний"
topexcel.ru/8-sposobov-kak-sravnit-dve-tablicy-v-excel
https://www.planetaexcel.ru/techniques/2/99/
https://www.planetaexcel.ru/plex/plex-features.php...

Answer 4

[Иван]

Сразу видно выгрузку данных из 1С, соответственно зачем выделять обработку данных и вычисления в другую систему если удобнее и логичнее делать это в той же системме.

Comments

[Дмитрий Быстров]

Вы правы! Это выгрузка из 1С. Текущая система нестабильна в течение долгих лет и, всё, что возможно сделать, - это получить выгрузку в xls-файлы.

В дальнейшем необходимо проводить некий анализ, к примеру, сравнить два файла (за текущую неделю и за предыдущую) и выяснить, кто из студентов какие долги закрыл/сдал.