• Big прайсы, обновлять или удалять и заново записывать?

    Melkij
    @Melkij
    PostgreSQL DBA
    Суть такова, что есть прайс(ы) ~5млн и его нужно быстро обновлять (раз в 2 часа).

    Это НЕ много и совсем НЕ часто.

    обновлять или удалять и заново записывать

    Ложный выбор, это одна и та же операция. MVCC update = delete + insert
    Но что важно - не делать update который вам действительно не нужен. Postgresql не анализирует данные в поиске пустых обновлений, update table set id = id; вам честно удвоит таблицу, хотя ничего на логическом уровне не изменится.

    Профилируйте, на что реально тратите время - pg_stat_statements ответит хорошо на этот вопрос со стороны базы. Пальцем в небо - вы работаете в автокоммите и естественно 5млн пишущих операций для любой честной ACID базы - это порядком медленного IO (даже для SSD)
    Ответ написан
    4 комментария
  • Переводят ли легаси .net на .net core?

    mindtester
    @mindtester
    http://iczin.su/hexagram_48
    каждый отдельно взятый
    Интерпрайс
    сам принимает решение, исходя из каких то собственных внутренних причин
    Ответ написан
    Комментировать
  • Windows рядом с Linux?

    CityCat4
    @CityCat4
    //COPY01 EXEC PGM=IEBGENER
    Нет. Винда не умеет использовать ext4, так что она его будет просто игнорировать. Линух спокойно смонтирует виндовые разделы.
    НО:
    Как совершенно верно заметил xtress - винда непременно завалит бут и скорее всего придется грузиться с livecd и бут восстанавливать :)
    Ответ написан
    2 комментария
  • Не запускается apache ubuntu?

    @LemonFox
    stateless mind
    Если внимательно прочитать, то можно увидеть что вам говорят - в файле /etc/apache2/mods-enabled/dir.conf в сроке 3 ошибка.
    Ответ написан
    Комментировать
  • В чём приемущество SQLite перед Excel?

    saboteur_kiev
    @saboteur_kiev
    software engineer
    1. Excel - платный продукт, который есть не везде. SQLite - бесплатный движок, доступен под любой язык программирования, есть огромное количество бесплатных программ, которые могут с ним работать. Также можно на любой языке написать простенькую визуализацию данных из sqlite

    2. Excel - электронная таблица. SQLite - база данных. Это разные продукты. По сути надо сравнивать SQLite и Access. Просто Excel достаточно мощная программа, в которой средства, чтобы справляться с рядом не слишком сложных задач, которые пора бы уже ложить в базу данных.

    3. Для работы с SQLite нужно писать запросы, Excel более распространен и популярен - почти любой может в экселе посмотреть данные и что-то с ними сделать при помощи мышки.

    А насчет конкретно вас - никто не скажет, ибо структура данных, требования к быстродействию и вообще - знаете только вы. Просто подучите SQL и освойте SQLite, чтобы решить надо оно вам или нет.
    Ответ написан
    8 комментариев
  • В чём приемущество SQLite перед Excel?

    DevMan
    @DevMan
    преимущество sqlite в бесплатности, возможности встраивания, и, собственно, sql.
    если excel вы используете только для себя и вас он устраивает, то преимущества sqlite вам ни к чему.
    Ответ написан
    Комментировать
  • Что может заменить c++?

    BasmanovDaniil
    @BasmanovDaniil
    Геймдизайнер-телепат
    Теоретически Rust, но он ещё свеженький, инфраструктура по части игр не развита. Может быть через пару лет что-нибудь для него и появится.
    Ответ написан
    3 комментария
  • С чего начать разрабатывать приложение на NativeScript и Vue.js?

    ulkoart
    @ulkoart
    Начать стоит с изучения документации, что бы потом не получилось так, что вы хотите одно, а NativeScript это не умеет.
    Ответ написан
    Комментировать
  • Как построить инфраструктуру большого проекта?

    DexterHD
    @DexterHD
    Software Engineer, Teamlead, CTO
    Для начала изучите принципы приложения 12 факторов: https://12factor.net/ru/ Эти рекомендации позволяют создавать приложения которые легко и просто масштабируются, как горизонтально, так и вертикально.
    После можете посетить хороший ресурс со статьями на тему высоких нагрузок: https://ruhighload.com/
    Ответ написан
    2 комментария
  • Почему происходит сброс текстовых файлов при перезапуске python воркера на heroku?

    sergey-gornostaev
    @sergey-gornostaev Куратор тега Heroku
    Седой и строгий
    Хоть кто-нибудь читает документацию? На Heroku файловая система временная. Платформа может в любой момент убить ваш инстанс, запустить несколько его копий или перекинуть его на другой сервак.
    Ответ написан
    6 комментариев
  • Как сделать так, чтобы собранный код под 4.5 .net заработал на компе с 3.5?

    profesor08
    @profesor08
    Никак. Компилируй под 3.5. Компилируя под 4.5 не жди совместимости с 3.5. Твои проблемы с doc и zip наверняка можно решить, а как только ты их решишь, то и все остальное решится само собой.
    Ответ написан
    Комментировать
  • Анализ крови с использованием нейронных сетей?

    DanilBaibak
    @DanilBaibak
    Machine Learning engineer
    Для начала было бы хорошо провести exploratory data analysis и посторить baseline используя линейные модели или деревья решений. Дальше можно будет вернуться к вопросу о нейронных сетях - нужны ли они и достаточно ли у Вас данных для обучения НС.
    Ответ написан
    Комментировать
  • Как увеличить скорость работы приложения на слабом ПК?

    GavriKos
    @GavriKos
    Для того чтобы увеличить быстродействие - нужно смотреть где "бутылочное горлышко". Берите профайлер и смотрите, что у вас тормозит в программе.
    Ответ написан
    2 комментария
  • Как подключить базу MySQL Workbench к C#?

    dimonchik2013
    @dimonchik2013
    non progredi est regredi
    Комментировать
  • Чем открыть файл расширением .dataset?

    Комментировать
  • Качество работы штатного программиста. Как оценивать?

    AlexXYZ
    @AlexXYZ
    O Keep Clear O
    О, да. Я разработчик и надо мной есть начальники и у меня обратная ситуация, что считают, что я слишком много уделяю внимания обработке ошибок.)))
    Видимо кто-то не очень готов к своей работе. Поясню. Любая программа решает не меньше двух задач. Первая - сделать всё правильно при правильных исходных данных и Вторая - не делать первой работы при неправильных исходных данных.
    Поскольку первую часть работы сделать относительно просто в силу очевидности, то делать вторую всегда качественно сложнее по причине именно неочевидности. Ну и ещё этому обычно не учат. Обычно все заканчивается на try/catch и думают, что этого достаточно.
    Что касается программистов, то обычно с них трудно спросить, почему они не предусмотрели ту или иную обработку ошибок, т.к. они могут быть не в курсе контекста решаемой задачи и что там могут быть за ошибки и за это скорее должен отвечать руководитель проекта (единственная очевидная ошибка - деление на ноль. Всё остальное нужно рассматривать в контексте).
    С другой стороны, когда вы выбирали программистов, то стоило бы проверить у них чувство «вкуса» на ошибки, так что тут вопрос тоже к вам.
    Не могу дать именно вам однозначного совета, но я бы пообщался с разработчиками на предмет желания делать качественно свою работу, обозначил срок проверки и довёл бы прозрачные параметры оценки работы (возможно и с субъективной оценкой, вы же начальник))). После окончания срока самого слабого увольняете. Ещё до окончания срока оценки можно начать искать сотрудника на бушующее вакантное место, ну, чтобы лучше мотивировать остальных. Понятно, что это стресс для всех, но вполне себе радикальное средство, как химиотерапия, к которому можно прибегнуть, когда ситуация критическая.
    Но вам тоже нужно и над собой поработать, чтобы научиться избегать таких проблем, чем их решать. Если вы человек опытный, то делитесь своими знаниями, чтобы ваши разработчики учились у вас, но и вы тоже должны у них учиться, т.к. их опыт тоже постоянно увеличивается и его можно позаимствовать. В общем у вас сейчас слабая обратная связь, раз вы узнаете о проблеме уже после выполнения работы. Я бы какое-то время посидел бы с разработчиками, чтобы посмотреть как они вообще работают, но, чтобы не отсвечивать делал бы какую-то задачу. Вдруг у вас в технологии разработки какая-то проблема, которая мешает качеству?
    Ответ написан
    Комментировать
  • Тест (benchmark) графических оболочек linux?

    sotvm
    @sotvm
    Умный поймёт, а дураку и так всё равно.
    если не работает аппаратное ускорение(а оно не работает) ,то будут зависоны ,не зависимо от системы.
    сам сижу на минт 19 мате
    комп 10-ти летней давности AMD Athlon 64 X2 5200+ и карта ни о чём - radeon hd5450
    youtube 720p в firefox - грузит проц 60-80%
    1080p - 100%
    то же самое видео ,открытое в vlc - кушает в два раза/три раза меньше
    зы
    зачем тебе 1080 ?
    у тебя монитор метр на метр :) ?
    720p на 25" мониторе = вполне приличное качество
    Ответ написан
    2 комментария
  • Что значит плоский код?

    @afanasiyz
    Javascript-разработчик
    Код, который написан и читается, словно он вовсе не асинхронный (все вызовы друг за другом).

    пример из js
    const parseAdminsData = async ()=>{
      const token = await getToken();
      const users = await getUsers(token);
      const admins = users.filter(({isAdmin})=>isAdmin);
      return admins;
    }


    вот тут два асинхронных запроса, но в коде они выглядят просто как вызовы функций. (без колбэков)
    Ответ написан
    10 комментариев
  • Какие эффективные методы для обработки больших массивов данных?

    @dmshar
    1. 500 тыс. чего? Записей? Какой объем записи? Но вообще-то говоря, данные такого объема "большими" считать не приходится - это вполне умеренные объемы для практически любых современных задач и соответственно - современных инструментов работы с данными.
    2. Данные указанного типа - относятся к т.н. временнЫм рядам. Классика жанра, если временнЫе метки задают равные интервалы, но и в противном случае - можно работать с такими данными относительно легко - главное, понимать, что же с этой информацией вы хотите сделать.
    3. Форма визуализации времаннЫх рядов - различного рода графики. Ось Х - время, ось Y - значения ряда. Впрочем, могут быть и другие представления, в зависимости от цели такой визуализации.
    4. С такими данными обычно решают два класса задач. Либо по набору значений ряда в прошлом выполняют предсказание значений, которые ряд будет принимать в будущие моменты времени. Либо обнаружение в прошлых значениях ряда некоторых аномалий. Тут может быть два варианта - либо выявление выбросов, т.е. единичных точек, чье поведение противоречит модели поведения ряда, либо выявление момента смены собственно самой модели поведения ряда.
    5. Да, "специалисты по статистике" тут - наверное, к вашему удивлению - тут есть.
    6. "не могу сформулировать задачу, т.к. не владею предметной областью статистики -- а вы сформулируйте свою задачу в своей предметной области, а специалисты по статистике вам потом помогут.
    Ответ написан
    8 комментариев
  • Язык программирования для собственных нужд?

    angrySCV
    @angrySCV
    machine learning, programming, startuping
    JS
    Ответ написан
    Комментировать