Какие веб-инструменты оптимальны для построения HTML-таблицы по принципам сводной таблицы Excel из увесистого .CSV?
Добрый день!
Есть очень большой массив данных в .csv: ставки различных банков по вкладам + различные параметры этих вкладов ( валюта, сумма, срок, тип вклада, возможность пополнения/снятия и др.) + дата, на которую указанные ставки актуальны.
Каждую неделю файл дополняется новыми актуальными данными и быстро становится неподъемным для работы в Excel. Сейчас у меня работает в Excel, но понимаю, что дальше будет только хуже (кол-во строк в массиве стремится к миллиону)
Задача:
1. Построить HTML-сводную таблицу, где по банкам в разрезе сроков и сумм вклада в ячейке показывается МАКСимальная ставка. Кроме этого над таблицей предполагается реализация различных фильтров. Например, выбрал "Тип вклада" --> "Пенсионный" и/или "Возможность пополнения" --> "Есть" и в сводной таблице данные автоматически обновились бы в соответствии с выбранным фильтром. Плюс дополнил исходную таблицу более актуальными данными и данные автоматически обновились на более актуальную дату.
2. Историю ставок собираю в один файл, т.к. в перспективе рядом с этой таблицей будет визуализация динамики максимальных ставок, которая также автоматически должна обновляться в соответствии с выбранными фильтрами.
Вопрос.
Не прошу конкретного решения, прошу подсказать, в каком направлении двигаться. Программиста в какой области мне нужно найти, чтобы реализовать задачу? Сам я в веб-инструментах разбираюсь очень поверхностно. Пытался поискать варианты решения в Интернете, но еще больше запутался. Можно ли решить задачу только при помощи библиотек JS или понадобится все-таки что-то рассчитывать на серверной стороне? Какие веб-инструменты оптимальны для решения задачи?
Благодарю за подсказки.
Уточнение: Планирую реализацию в HTML, т.к. такой отчет рассылается в разные банки. По ссылке всем было бы гораздо удобнее пользоваться отчетом.
Мне кажется вам надо для начала нужно :
1 ) создать БД для хранения этих данных.
2) Реализовать импорт данных в нее из .CSV
далее, когда у вас будут структурированные данные , вы сможете делать с ними что угодно.
1) отображать пользователю в удобном виде (модерируя доступ к той или иной части информации)
2) генерировать любые отчеты
3) выгружать отчеты в необходимом формате (xls, pdf etc)
4) добавлять новые отчеты не изменяя основную структуру данных
для реализации БД, вам нужен сервер. Самый распространенный инструмент MySQL (есть и другие)
P.S. JS ,как правило, используется на клиенте (хотя, конечно не всегда). На сервере наиболее часто PHP.
Т.е. для реализации задачи мне нужно найти человека с опытом работы с базами данных при помощи PHP и mySQL?
+Точно знаю, что для оформления клиентской части потребуется опыт рабты с JS. Насколько распространены программисты с опытом и по серверной и по клиентской части? Хочется все-таки, чтобы это реализовал 1 человек.
hohlandrik: Да, конечно. Вам нужен full stack программист. Это не редкость. По себе знаю :)
Разумеется , на клиенте нужен и JS и в любом случае верстка (сейчас она еще и желательна адаптивная - например, на bootstrap)
Плюсую coderisimo и немного добавлю про бюджетный вариант без нанимания программера.
CSV можно загружать в Access и точно также манипулировать с ним, как и в Excel, а также сохранять в виде HTML различные сложные выборки по многим условиям. К примеру, вы можете отобразить на странице только топ-10 максимальных ставок с возможностью пополнения и не тянуть за собой все млн.+ записей.
Для интерактивной работы с HTML-таблицами существует множество JS-решений (напр., dynatable). Если я правильно понял и в вопросе был посыл к тому, что JS может быть освоен самостоятельно, то это хороший повод, там ничего сложного и много примеров.
Ну, и размещать сгенерённые HTML можно на любом облачном диске, причём для каждого банка можно создать свою папку cо своей индивидуальной ссылкой.
P.S. Если не ошибаюсь, то Excel разрешает максимум 2 в степени 20 строк на одном листе, а это 1 048 576 строк.
