Всем привет, для кого-то будет максимально простой вопрос, но для меня он очень важен.
Есть сервис который выгружает списки с информацией, делает он это только в формате .csv в кодировке win1251
Спарсить что либо из этого сервиса нельзя, также нет апи.
Единственный вариант - можно выкачать csv и анализировать его, но порой файл может содержать 100 тысяч строк, а иногда миллион и 10 миллионов. Столбцов около 100.
Мазохизм-скажите вы, да, верно. В самом интерфейсе сервиса все тоже не быстро работает и очень даже виснет.
Но только таким образом можно сделать анализ файла. Для того, чтобы в дальнейшем сделать анализ файла - быстрее и проще было принято решение сделать скрипт на js, который в браузере считал суммы по разным столбцам с разными параметрами, автоматически строил графики, но позже, когда файлы стали становиться размером более 500 тыс.строк, то есть более 500 мб, браузер стал умирать.
было принято решение искать выход.
так как мои знания заканчиваются на html css js node js
сейчас есть мысль все это перенести на серверную часть в node, вопрос как раз в этом- стоит ли?
Скрипт должен выполянть такую функцию: загружать файл, обрабатывать его, считать показатели и выводить все в веб интерфейсе.
будет ли сильная нагрузка на браузер?
Или вообще лучше выучить что-то вроде питона и потом на нем разработать и отложить тем самым эту идею в долгий ящик.
Или может кто-то подскажет другие решения?
сразу скажу: айтишников у нас нет, спасение утопающих-дело рук самих утопающих. Вояем с коллегой сами. Денег на разработку у фирмы нет, но такой скрипт спас бы как минимум 2 часа работы в день и автоматизировал аналитику для тети Зины из отдела экономистов и еще пары человек.
Если вопрос: почему нельзя все это делать в экселе-это долго, делать разбор по столбцам и т.д. -макросы постоянно бьются, + нужен удобный сервис - автоматически отсмотр в вебинтерфейсе.
это не готовое решение, а просто наброски:
я бы делал так:
1) ночью автоматически выкачивал CSV. Пусть там 10 миллионов строк, неважно.
2) грузил в БД - я хорошо знаю только MySQL, поэтому MySQL. Хотя, по моему опыту, такие объёмы она не любит. ( Не любит - в смысле отвечать начинает не за секунды, а за минуты) ) Может, спасло бы партицирование.
3) наваять поверх этого веб-морду, с постраничной навигацией, с предустановленными выборками, с фоновой генерацией какой-то аналитики - тривиальная задача.
Может, там попутно можно нормализовать данные, сэкономить дисковое пространство
Тем не менее, у фирмы есть деньги на оплату 40+ часов ежемесячно для 4х человек минимум. Допустим, вы работаете на захудалую фирму в Мухосранске и получаете 50 тыс. рублей на руки ежемесячно. Нехитрый подсчёт показывает, что затраты фирмы только на Вашу работу с этим сервисом ~24к рублей ежемесячно, почти 300к рублей ежегодно.
А там ещё три сотрудника задействованы
Михаил Ливач, это слишком сложная логика для подавляющего числа руководителей, которые принимают окончательные решения. А если это промежуточный руководитель, то он вдвойне не заинтересован в этом.
А вот если зайти еще с одной стороны
Например вайб коддинга? Адекватно ли будет и ускорит ди процесс если с помощью какого-нибудь Gemini все это писать а не самому разбираться в коде и изучать язык снова и снова?)
De Slow, чтобы понять, что вам гемини насоветовал, нужно ну хоть чуточку быть в теме.
Юпитер установите, пыхтон тоже. По туториалу вольете в sqlite свой csv.
Ну и далее, по туториалу будете дергать данные из него и отображать в нотебуке.
А волшебной палочки у меня нет, не фея я зубная.
Простой
