Как сделать тяжелый импорт из excel 800к товаров?

Максим Тимофеев, я за час могу и 20 000 российских рублей заказчику выставить.
но если за мною будут следить, то явно его жаба задушит...

Как сделать тяжелый импорт из excel 800к товаров?

Максим Тимофеев, нет, спасибо.
мы не рабы, рабы не мы.

Где зацепить стреляющие стартапы в основном IT сфера?

там тоже 99,99% - гуано.

Какие существуют методы поиска изменившихся объектов на карте?

На какой карте?
Растровой, векторной?

Как сделать тяжелый импорт из excel 800к товаров?

Максим Тимофеев,

1) так себе метод )))
2) надо тестить, не буду спорить, не уверен.

Нормальный метод.
Использую уже несколько лет в проекте.
Раньше была проблема с обновлением каталога товаров из-за обрывов связи и лишней нагрузки на сервер.
Сейчас все замечательно.
Распаковка занимает мизер ресурсов по сравнению с ресурсами сэкономленными на поддержку приема/передачи большого файла.

Уже не говоря о том, что сейчас у нас обновление данных реализована очень часто, что при передаче большого файла вообще невозможно было сделать - так как передача могла занять больше.

Но все равно вариант с работой на клиенте мне кажется более разумным.

Лишняя трудоемкость.
Если вам платят по часам и заказчик согласен это оплатить по полной - то, да.
Или если другого способа нет - то, да.

Как сделать тяжелый импорт из excel 800к товаров?

Максим Тимофеев,

1) Ага. Берем имеющийся файл. Сжимаем. Если он заведомо меньше с запасом - то довольно велика вероятность, что так будет и в будущем.

2.а) Пересылать сжатый - менее ресурсоемко. Меньше нагрузка на веб-сервер.
2.б) Распаковка - тратит меньше ресурсов сервера, чем сетевая работы с большим файлом. Проверно.
2.в) Не забываем, что текстовые данные сжимаются очень хорошо. Посмотрел только что на свою ситуацию - тоже файл с товаром - сжимается примитивнейшим zip в 12 раз. Можно было бы использовать и более эффективный 7z, но это в одном месте неудобно, поэтому мы используем zip - а с 7z был бы выигрыш в 27 раз. Овчинка стоит выделки.

С чего начать путешествие в Backend?

AVKor,

Как можно "советовать" БД?

ты че придираешься.
в контексте же понятно, что речь идет о СУБД, а не БД.

С чего начать путешествие в Backend?

AVKor,
видимо, придется пожевать:

Начинать следует с любого движка реляционных СУБД и их языка SQL: sqlite, mySQL и пр.
Этот путь обучения достаточно обкатан (примеры, консультирование у великого анонимуса на форумах и пр. и пр.).

Как сделать тяжелый импорт из excel 800к товаров?

2. проверяем файл на размер и на лимиты при отправке через post
3. вероятно стоит его разбить на части, а не обрабатывать весь

Можно сжать перед отправкой.
Текстовые данные очень хорошо сжимаются.

Как добавить dkim подпись для сайта?

love_fishing, можно написать в тех. поддержку.
на моем хостинге в правилах сказано "открытие доступа к SMTP решается в индивидуальном порядке путем обращения в тех. поддержку"

Как добавить dkim подпись для сайта?

Дмитрий Шицков, многие хостеры блокируют порты на firewall

С чего начать путешествие в Backend?

sim3x,

что?

Любой реляционный

С чего начать путешествие в Backend?

Илья Шапка,

Какие-то аргументы в пользу Python?

Внятный язык.
Достаточно распространен.

Если же вам сааааамый распространенный - то это однозначно ПЫХ

С чего начать путешествие в Backend?

Илья Шапка,

И какую БД посоветуйте, также аргументируйте, пожалуйста.

От задач зависит.
Можно начать с простейшей SQL

Почему в Go перезаписываются элементы массива, когда я изменяю копию этого массива?

Это сделано для оптимизации по скорости.
Типа предполагается, что программист умный и сам знает, где будет реально сделана копия, а где копия всего лишь алиас.

В каких случаях желательно разделение данных по отдельным БД?

При какой нагрузке-то?

Почему нет профсоюза IT-работников?

Владимир Проскурин, А вы в каких именно нормальных странах жили в периоды народных волнений?

Почему нет профсоюза IT-работников?

Владимир Проскурин,

Только в нормальных странах на эти фигни как раз и выходят люди на улицу, и у них это не так "зашкварно" как у нас.

То есть это нормально, когда подобные выходы на улицу во Франции или США разгоняют пожарными шлангами и выстрелами?

Как распарсить XML в Go?

Александр, да.