Выбор инструментов для расчета данных?

Question

[kolyaya1]

Здравствуйте. Вопрос теоретический:
Какие инструменты лучше использовать?
1. На данный момент изначально данные поступают в текстовом виде (csv)(около 60 гб в месяц), так же есть возможность импортировать их напрямую в бд mysql.
2. В отдельном excel файле происходит фильтрация данных путем запросов PQ каждые 3 часа, что бы влезть в 1 млн. строк. соответственно в ежедневном файле по 8 листов данных.
3. Далее в следующем excel файле каждые 3 часа путем запросов PQ происходит сравнение строк данных на предмет изменения цены, а также расчет величины изменения.
4. В следующем файле данные за день объеденяются и перепроверяются.
В итоге есть структура папок с excel и csv (исходные данные) структурированные по датам.
В конечном итоге Выбирается товар из отдельной структуры и по ID выискиваются все данные по изменениям цены за последние 15 дней.
На данный момент все работает, медленно и уверенно (хотя есть предчувствие что через одно место). Но возникают идеи о расширении количества пользователей данных (на данный момент использование только локально). И есть идея о переходе от структуры по датам в структуру по ID в виду очень долгого поиска.
1. Есть ли смысл переходить в формат БД? (Например Mysql, знания на уровне установки CMS на хостинг и небольшие изменения структуры БД)
2. Какие варианты есть для обработки (расчетов, групировки) данных. Какой софт для этого можно использовать? Стоит изучить какие либо языки программирования? Возможно ли производить расчеты аналогичные запросам PQ путем sql-запросов?
3. Это не извращение хранить данные в бд, импортировать в excel обрабатывать с помощью запросов pq и экспортировать обратно?

Заранее благодарен.

Answer 1

[ComodoHacker]

>1. Есть ли смысл переходить в формат БД?

Если нужна многопользовательская работа, то да, думаю это единственно верный путь.

>Какой софт для этого можно использовать?

Для начала можно тот же Excel, он умеет подключаться к БД и брать данные оттуда.

>Стоит изучить какие либо языки программирования?

Большой разницы между популярными языками для этой задачи нет. Если не знаете ни одного, лучше будет нанять профессионалов. :)

>Возможно ли производить расчеты аналогичные запросам PQ путем sql-запросов?

Да, во всяком случае большую часть. Не знаю всех возможностей Power Query, возможно что-то придется реализовать в коде.

>3. Это не извращение хранить данные в бд, импортировать в excel обрабатывать с помощью запросов pq и экспортировать обратно?

Нет, не извращение. Если Power Query решает ваши задачи, почему нет.
Правда насчет "экспортировать обратно" не уверен. При многопользовательской работе кто-то должен следить, чтобы пользователи не мешали друг другу. Не затерли результат чужой работы, например.

Answer 2

[Василий Банников]

1. Мне кажется, при таком объёме данных - да.
Но нужно более конкретно смотреть на характер данных. Может быть, лучше подойдёт какое-нибудь специализированное решение, типа clickhouse, а не mysql
2. Надо смотреть, какие именно вещи в Экселе происходят. Если очень нравится Ексель, то можно посмотреть на power bi.
3. Мне кажется, что делать бд->ексель->бд, это извращение.

Мне кажется, уйдя от екселя, вы сможете сэкономить много времени. Можете написать мне на почту - могу более конкретно по вопросам подсказать.