Задать вопрос
  • Попадает время в промежуток между двумя time или нет?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Тут надо сначала смысл разобрать. Вот как ты себе понимаешь что магазин открылся в 22.00 а закрылся в 5.00 ?
    Закрылся в 5.00 утра следующего дня? Работал всего 7 часов. Это один кейс. А другой кейс - если свапнуть время - то получается что работал 15 часов. Выводы? Свапать нельзя никак.

    А вот когда смысл проверки мы поймем - тогда можно и код писать. В крайнем случае - хранимую функцию написать.
    Ответ написан
  • Как сделать чтобы строка не вставлялась в БД, если не соблюдается формат поля?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Обычно в продуктовых системах загрузка данных идет в 2 этапа.
    1) Грузят данные в специальные сырые таблицы (staging area). Грузят без первичных ключей и без проверок вообще. Вот как есть. С мусором и с битыми кодировками.
    2) Запускают специальные процедуры (раньше хранимки) а сейчас - процессы в application которые гоняют все-все бизнес-валидации и загружают то что есть в продуктовые таблицы (бизнес-факты). А по всем битым данным формируют отчёт. Типа не удалось загрузить сто тыщ телефонов.

    А то что в топике предлагают на триггерах или на чеках - это так щас не делают. Просто ... головняка много. И никто не будет помнить что за чек или триггер там висит.
    Ответ написан
  • Как реализовать колоду карт через классы на python?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Для проверки свойств карты я-бы использовал представление кода карты как битовое число. Биткарта.
    К примеру - карты делятся на красные и черные масти. Это один бит. Далее цвета делятся на трефы, пики
    и т.п. Еще один бит. Тоесть двумя битами от 00 до 11 мы полностью кодируем масть. И ранг карты в игре
    (он может менятся в зависимости от вида игры) можно закодировать еще четырьмя битами. Итого шесть бит.
    Плюс еще отдельно остается джокер как карта универсал. Для нее можно ввести один бит масти как признак
    того что масть игнорируется например. Итого 7 бит. Такой код карты удобно сортировать например или представлять различные проверки условий.
    Ответ написан
    2 комментария
  • Как в блокчейне постоянно проверяется корректность транзакций?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Невозможная ситуация. Дерево Меркла хранит цепочку хешей от корня до листьев и чтобы что-то изменить безследно - надо менять все дерево до корня.
    Ответ написан
    Комментировать
  • Как отлавливать нужные строки регулярным выражением?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Тут вообще не нужна никакая регулярка. Обычный императивный цикл будет более supportable. Тем более что формат этого торгового сообщения настолько простой насколько может быть например простой http-протокол.

    Разделители - переводы строк и двойные переводы строк. Красота.
    Ответ написан
  • В чем особенности ОС для квантовых компьютеров?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Дело в том что квантовый комьютер (КК) не является машиной Фон-Неймана. Тоесть у него нету как таковой памяти, процессора и шины ввода-вывода. Вернее сказать память есть. Но она настолько не похожа на классические ячейки что для нее пока еще не придумали классификации.

    Поэтому КК выглядит с нашей точки зрения как очень тупой микро-контроллер. Поэтому ОС ему не нужна. Хотя в лаборатории будет полным полно классических компьютеров с ОС задача который обеспечивать весь техно-процесс но эти ОС не будут иметь прямого отношения к КК. Их можно будет заменять на другие и это никак не будет оказывать влияния на квантовость или не-квантовость изучаемого явления.
    Ответ написан
    Комментировать
  • Что не так с моим резюме?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Не указал предыдущий опыт работы. Вот - главная причина.
    Ответ написан
    6 комментариев
  • Обязательно ли кабель должен быть проведён к роутеру через модем или использование модема необязательно?

    mayton2019
    @mayton2019
    Bigdata Engineer
    В настоящее время модем уже не нужен. Это морально-устаревшие технологии 2000х годов когда интернет пускали по сетям телефона или по коаксиальному кабелю телевидения. Вот для таких стеков и ставился модем. Более того. Такие квази-телевизорные сети работали очень хреново (у меня был максимум 25 мегабит) и еще и асимметрично. Тоесть скорость в upload была раз в 10 медленнее чем в download.

    Сейчас вне нормальные провайдеры домашнего инета тянут ethernet (витая пара) до каждой квартиры. А модемы остались только у ваших бабушек.
    Ответ написан
    4 комментария
  • Если JPG с компрессией 85% пересохранить еще раз с компрессией 85%, качество ухудшится?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Если обсуждать конкретно приложение ACDSee то чорт его знает. Вообще JPEG кодек управляется большим набором параметров (progressive, chroma subsampling) и это всё идет вне самого параметра сжатия.

    Я думаю что после десятка пережатий картинка должна достигнуть некого стационарного состояния (аттрактор типа) и после этого уже не изменятся. Но достигать этого состояния явно не стоит.

    А к автору возникает здравый вопрос. Для чего собственно надо что-то пережимать? В мире и так много электроэнергии тратится впустую. Майнинг крипты и прочее. Зачем еще добавлять безсмысленного нагревания атмосферы?
    Ответ написан
    Комментировать
  • В чем разница между программистом и пентестером?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Я-бы сказал что пен-тестер - это должность весьма экзотическая. Кто тут в топике сидит? Готов спорить что все кто ни попадя и девопсы и PM-ы и тестировщики.

    Вот пускай сюда пентестер зайдет и расскажет о себе. Только с пруфами.
    Ответ написан
  • Как проверить внешний ключ?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Не совсем понятно о каких гарантиях тут идет речь. Когда база создается с нуля (таблицы еще пустые) то после создания таблиц (или во время создания) делаются contstraints которые описывают связи между таблицами и реакцию на delete/update. Типа

    .... CONSTRAINT `child_ibfk_1` FOREIGN KEY (`parent_id`) REFERENCES `parent` (`id`) ON DELETE
      RESTRICT...;


    И после этого из базы нельзя удалять родительские ключи пока на них есть дочерние связи.
    Ответ написан
    Комментировать
  • Почему я в поиске по хештегу нашел свой давно удаленный пост? Как удалить удаленные посты 10000%?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Есть европейский закон или право. Право быть забытым ( https://en.wikipedia.org/wiki/Right_to_be_forgotten ) или еще вариант GDPR.
    На основании его гражданин может попросить google или другие поисковые системы удалить сведенья о нем при поиске и поисковик обязан эти данные добавить в такой-себе стоп-лист чтоб не гуглилось никогда. Как быстро они этот запрос отработают - я не знаю. И действует это кажется для Европы.

    Для РФ вряд-ли кто-то будет рассматривать такое обращение. Но можно попробовать.
    Ответ написан
  • Как изучать машинное обучение?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Машинное обучение это вообще не про Python. Это больше к мат-статистике и обработке больших данных.
    Задачи - классификация, регрессия и кластеризация e.t.c.. Алгоритмов и названий очень много. Некоторые из них могут повторяться в вариациях или иметь неточные русские переводы.

    Фреймворк Apache Spark имеет следующий классификатор алгоритмов: https://spark.apache.org/docs/latest/ml-guide.html
    Ignite - вот такой : https://ignite.apache.org/docs/latest/machine-lear...

    По поводу Python или Scala. Знающие маш-обучение таких вопросов вообще не задают. Для специалистов язык - вообще не имеет значения. Язык в данном контексте это как приложение калькулятор или spreadsheet. Это вспомогательный инструмент. Собственно эта наука вообще не про программирование. А про наблюдение глазами за процессом обучения и корректировку мета-параметров.

    Тоесть инженер по маш-обучению не интересуется языком. Его глубже интересуют какой метод. И почему та или иная модель подходит а другая не подходит. Почему коэфф. детерминации такой и почему такая дисперсия. Почему факторы такие-то и такие-то и какие между ними существуют взаимо-влияния.

    На собеседовании тоже будут спрашивать про опыт. Что делал. Какие методы знаешь. Язык - опционален. Могут спросить - но будут предполагать что 99% ты выучишь новый язык если надо.
    Ответ написан
    Комментировать
  • Можно ли перебрать переменные по имени?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Если-бы cor были полями класса тогда через рефлексию наверное можно. Но это - путь в никуда.

    По уму надо было изначально cor делать массивом.
    Ответ написан
    Комментировать
  • Как создать сущность с настраиваемыми параметрами?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Посмотри модель EAV. Может поможет.
    Ответ написан
    Комментировать
  • Как следует подходить к именованию API в микросервисной архитектуре?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Надо описать в документации все методы и endpoins. Лучше в открытом формате типа Swagger/OpenAPI. И показать их заинтересованным лицам. Тем кто будет этот API использовать. Вот если у них не будет вопросов - значит все понятно и хорошо. Если они будут говорить WTF - то надо все эти вотафаки аккуратно записать и исправить.
    Ответ написан
    Комментировать
  • Какую программу выбрать для построение графиков сети предприятие?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Посмотрел что такое ciscopacket tracer. Это рисовалка диаграмм наподобие Microsoft Visio.
    Ответ написан
    1 комментарий
  • Почему S3 выдает ошибку XML?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Непотятно какой это язык? Go что-ли? Тут ошибка не про работу с AWS S3 bucket а просто про то что сериализация структуры params почему-то на выходе выдала НЕ-Xml строку. А ожидалась Xml.

    Вот тут пишут как структуры сливать в XML

    https://www.golangprograms.com/golang-write-struct...
    Ответ написан
    Комментировать
  • Возможно ли заменить Excel?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Если это одно-пользователькая система то ее можно попробовать переписать на Access. Но в задачах с Excel обычно самое слабое звено - это пользователи. Они слишком любят Excel и никогда не хотят ничего другого. У меня был опыт работы с немецким банком. И я заметил что у них это прям национальная особенность. Любые записи. Расчеты. Они делают в Excel. Очень часто для них Excel является стандартом обмена. Мы грузили Excel в реляционные базы и выгружали потом обратно. Уже в другом виде. Вот такой был странный подход.

    Сможете-ли вы убедить пользователй или переобучить их - вот в чем вопрос. А сама задача выглядит несложной.
    Ответ написан
  • Как обстоят дела с работой в Украине?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Работы есть. Многие компании (Intellias, Epam) задекларировали больше дохода и сделали больше найма.
    Есть риски связанные не с Украиной а с иностранными заказчиками. Они, зная о ситуации рассматривают
    it-шников с Украины как рисковых. И стараются формировать команды где для каждого есть backup. Или есть
    специалист который дублирует знания и способен заменить в случае релокаций.
    Ответ написан