Альтернативы Google Sheets для обработки больших объёмов информации?
Добрый день, уважаемый форум!
Обрабатываем на работе данные через Google Sheets - скачиваем из разных источников (несколько сервисов), потом объединяем и получаем на выходе результаты этого анализа. Проблема в том, что у некоторых файлов больше 400,000 строк и порядка 20 колонок, что неизменно приводит к тому, что гугл "ложится".
Боролся разбиванием на более мелкие файлы, но сейчас уже это невозможно. Excel тоже не выход - нужно всё онлайн. Видел, что скоро появится Google Sheets с поддержкой BigQuery, но насколько понял, это решение, чтобы вытаскивать большие данные из БД, а не из просто разных файлов.
Буду благодарен, если подскажете, что в этом случае делать лучше? Есть ли альтернативы или, может, возможно протюнить google sheets, чтобы вытаскивал больше данных.
Есть майкрософтовский облачный office.live.com попробуйте его, интерфейс почти как эксель.
p.s. что же у вас такое ложит гугловские документы? Просто документ на сотни тысяч записей не должен торморзить, но вот сложные формулы, так такие и для маленьких документов можно придумать тормозными.
какие действия вы делаете с данными? когда то для работы с данными майкрософт предлагало ms access (фактически база данных с интерфейсом формочек и запросов), можно было открывать в локальной сети одновременно несколькими пользователями, не уверен, на сколько оно поддерживается сейчас, как продукт оно существует, несколько лет назад, когда вышел метростайл, оно выглядело заброшенным (то и дело выскакивали формы и интерфейс из 2000-го)
Много формул очень.
Высчитывается эффективность различных действий, соединяются несколько страниц, ужас один словом) Не big data, но близко к тому уже))
Влад Базаров, почитайте что такое технический долг
Похоже вы выбрали немного не тот инструмент для своей задачи, и я так понимаю с каждым днем ресурсов ваше решение будет кушать все больше и больше, а выбрали таблицы с красивым интерфейсом, потому что разбираться со специализированными инструментами было лень.
p.s. вам нужна sql база данных, формулы в таблицах у вас это вьюхи в базе данных.
к сожалению я не знаю доступных (дешевых) инструментов с красивым интерфейсом, по работе с данными для построения еще и графиков, с этим графические инструменты работы с БД вам не помогут (понадобятся сторонние).
Я видел как с базой данных работали из эксель, тот еще ужас но как дешевое решение - почему нет.
Правильное решение - вам нужен программист, не аутсорс а свой, который ваши задачи бы реализовывал в виде красивого интерфейса.
rPman, всё именно так про ресурсы. Касательно доступности, программиста и лени [:-)] : это большая компания, а-ля яндекс еда, только крупнее.
Поэтому всё что нужно уже автоматизировано уже достаточно хорошо. То о чём я говорю касается больше исследований (типа, а что если это сделать, а что если то). Это, скажем, доп обязанности моего логистического отдела, которые не совсем пересекаются с основными задачами. Отсюда и вопрос, про мощный аналог Google Spreadsheets.
Вы упомянули какие-то аналоги, не могли бы поделиться?
Я и сказал - это оффисный пакет от майкрософта и их свободный аналог - libreoffice
И все равно это не то, правильное решение - разделить задачу на подзадачи (хранение, аналитика, представление) и выбирать под каждую свой инструмент, для этого и нужен программист.
Если в вашей задачи нет графиков и диаграмм (или они простые) то по уму вам будет достаточно sql базы данных (практически любой но лучше с поддержкой процедурного языка) и лбого GUI для работы с таблицами в этой базе и построения запросов.
В этом случае порог объема данных может отодвинутся за миллионы и сотни миллионов строк.
