• Как вести базу знаний всех обновлений, исправлений и изменений, вносимых в проект?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Можно в git коммитах писать комментарии с тегом. И задача хранения уже будет решена.
    Задача поиска - это тоже интересный вопрос. Ну как вариант можно список коммитов раз
    в сутки сливать в текстовый отчет и индексировать через ElasticSearch.
    Ответ написан
    Комментировать
  • Как правильно удалять элементы хэш таблицы?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Судя по всему метод открытой адресации - это проосто нехороший метод для решения проблем хеширования. Я не знаю, толи преподаватели пошли очень душные. Толи студенты любопытные, но всех
    тянет как магнитом к open addressing (OA), хотя многие продуктовые библиотеки коллекций C++/C#/Java
    просто не используют OA по дефолту. Они берут Separate Chaining и это работает всегда хорошо.

    Я-бы сделал следующую рекомендацию. Поскольку удаление элемента при OA - тяжелая операция,
    которая требует перепроверки всех элементов цепочки ключа
    , то лучше вообще не удалять а
    пере-создавать новую таблицу или отказаться от OA в пользу Separate Chaining.
    Ответ написан
  • Как ведут себя данные при удалении?

    mayton2019
    @mayton2019
    Bigdata Engineer
    В реляционных БД не существует гарантий относительно порядка записей внутри таблицы. Этот порядок
    - это особенности технической реализации хранения данных внутри блоков и сегментов. Это - "know how"
    и это будет зависеть от типа DBMS (Postgres, MySQL, Oracle) и от типа таблицы (heap, index-organized, clustered e.t.c)

    Если говорить грубо, то записи (data-rows) лежат не плотно а вразнобой с пробелами с выравниванием
    к блокам. Ну тоесть вообще-вообще не так как в Excel. Удаление data-rows в Postgres насколько я помню
    физически не удаляет запись а помечает ее мертвой используя служебные поля. Впоследствии VACUUM
    делает работы по уплотнению.

    Поэтому порядок ты сам обеспечиваешь, делая запрос с опцией ORDER BY some_date_time.
    Ответ написан
    1 комментарий
  • Плавный переход анимации атаки от шага до бега?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Тут - сложно. Физика я имею в виду. Шаг от бега отличается тем что шагающий всегда касается земли.
    А бегущий как-бы делает прыжки по воздуху.
    Ответ написан
    Комментировать
  • Куда приложение Обо мне(mugshot) записывает данные о созданном пользователе?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Попробуй запуск приложения в docker container. Потом поищи средства поиска
    изменений в файловой системе контейнера. Кажется docker diff.
    Ответ написан
    Комментировать
  • Фреймворки для кросс-платформенной разработки. Практикуют ли переписывание под разные платформы?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Сам UI не делал. Но слышал мнение от опытных UI-щиков что кросс-платформенная разработка
    на практике проваливается. В мелочах. Где-то какие-то фичи кросс-платформ не может одинаково воспроизвести.

    Обычно конторы побогаче для разработки своего мобильного приложения под Android / iOS нанимают 2
    команды и каждая делает UI на нативных фреймворках. Конторы победнее - страдают от нехватки фич.
    Ответ написан
    Комментировать
  • Какая структура с лимитом памяти позволит ускорить поиск по огромному файлу с набором бинарных данных?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Коробочным решенеим задачи может быть префиксное дерево (Trie) с лимитом в 100Мб
    которое в листовых узлах должно хранить списки искомых записей.

    Учитывая объемы, списки не влезают. Поэтому можно хранить ссылки на файлы или
    на offsets внутри большого файла. Тут уже не теория а эксперимент больше покажут
    что подойдет.

    Мы также исходим из некого оптимистичного предположения что данные - это все таки
    не рандомный шум а какие-то тексты, что позволит делать дерево максимально компактным.
    (Чтоб каждый узел не содержал 1 байт а хотя-б цепочку букв).
    Ответ написан
    Комментировать
  • Как разместить web api на FTP сервере?

    mayton2019
    @mayton2019
    Bigdata Engineer
    На одном физическом сервере можно размещать Web и Ftp. Они будут разделяться по номеру порта.
    Например для FTP обычно берут 21 порт а для веба 80.

    Не любой сетевой севис сразу-же становится виден предприятию. Тебе надо поговорить с админами
    и безопасниками чтоб они с помощью настроек файрвола разрешили всем сотрудникам иметь доступ туда.

    каким способом я могу запустить webapi на ftp-сервере и как его настроить, чтобы к нему можно было обратиться?

    Для этой задачи тебе нужен программист.
    Ответ написан
    4 комментария
  • Как подставить значение в запрос sqlite?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Коробочное решение этой задачи называется SQL-Builder.

    Вот пример такого https://pypika.readthedocs.io/en/latest/2_tutorial...

    Использовать string interpolation здесь технически возможно, но не выдерживает критики
    по инфо-безопасности. Атака на инжекцию - это Top 10 уязвимостей софта в 21 веке.

    Вот об этом коллеги тоже пишут в ответах.
    Ответ написан
    Комментировать
  • Как заставить провайдера предоставлять стабильное интернет соединение?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Последние пол года теряю пакеты буквально до ВСЕГО что есть в интернете.

    Потеря пакетов это нормальная ситуация для TCP/IP протокола. Он реагирует на это повторами
    и некоторым замедлением средней скорости.

    Если серъезно занялся оценкой качества связи то тебе надо брать некий эталон (другой провайдер)
    и сделать сравнительную таблицу метрик соединения. Чем больше метрик соберешь - тем лучше.

    Без такого сравнения невозможно вести диалог с техническими специалистами. Они воткнут
    свой speed-test и просто покажут что ты неправ и вообще некомпетентен. Пригласи к себе
    домой специалиста. Пусть также посмотрит на весь твой стек оборудования. Wifi здесь тоже
    при делах. Обычно в 8 часов вечера Wifi в панельных домах сильно падает просто по причине
    помех создаваемых соседями в этоих же диапазонах Wifi. Особенно это касается старого протокола
    который на 2.4 ГГц работает.
    Ответ написан
    Комментировать
  • Как можно выкачать файлы с помощью java.rmi через удаленное соединение?

    mayton2019
    @mayton2019 Куратор тега Java
    Bigdata Engineer
    Скачивать можно без rmi.

    Вот пример простой качалки https://stackoverflow.com/questions/921262/how-can...

    RMI это сложная и крайне неудобная технология для Java разработчика. По хорошему
    вам надо знать хотябы еще один язык C или С++ чтоб продолжать разработку.
    Ответ написан
    Комментировать
  • Как доказать, что a³+b³+c³=3?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Похоже на диофантово уравнение. Не по математическому виду а скорее по подходу.
    Можно попробовать генетические алгоритмы. Хромосома (a,b,c).
    Ответ написан
  • Можно ли заменить ссд без потери данных?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Лучше обратитесь к специалисту.
    Ответ написан
    Комментировать
  • Есть ли ИИ для бизнеса, которая может собирать информацию по компании (ОКВЭД, выручка) из интернета?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Это называется сбор сведений. К ИИ не имеет никакого отношения.
    Ответ написан
    Комментировать
  • Утечка DNS или как соц. сети узнают мое местоположение?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Существуют базы (IPLocation) которые связывают IP адрес и локацию (Обычно Страна-Регион).
    Точность связности при этом очень грубая. Вряд-ли можно узнать что-то подробное.

    Как узнают соц-сети - это загадка. В простейшем случае они извлекают coockies из твоих
    сеансов браузера в ПК и телефоне а там может лежать информация о другой локации.

    А само приложение Инстаграм и Тик-ток не знаю... Проходило ли хоть раз проверку на безопасность.
    Какую информацию приложение знает о профиле телефона? Что оно передает по своему протоколу?
    Да что угодно. Вот я-бы и передавал что угодно если-бы был заинтересованным в сборе сведений.

    Бесплатные VPN/Proxy и прочие анонимайзеры здесь не помошники а скорее инсайдеры.
    Забезплатно они скорее вас сольют быстрее чем окажут помошь. Поэтому им ни на копейку
    доверять нельзя.
    Ответ написан
    Комментировать
  • Как получить цепочку кластеров занимаемых файлом?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Попробуй как-то так:
    handle = CreateFile("\\\\.\\PhysicalDriveC", .......);

    Это на С++ под Windows. И запускать надо будет под Суперпользователем.

    Updated 2/26/2024
    Ответ написан
    1 комментарий
  • Расширение для браузера, поднимающее тревогу, если на какой-либо из открытых вкладок найдена заданная подстрока?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Шутки ради, можно закинуть в социальные сети и форумы твою искомую строку и тебя будет из них
    выкидывать. Тебе это надо?

    Если заниматься антивирусами - то пускай этим занимается специальные extensions. Зачем тебе
    улучшать то что уже улучшено?
    Ответ написан
  • Как удаленно включить стационарный пк с андроид устройства?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Схема с wake-on-lan пока является самой надежной. По крайней мере других технологий включения
    для рабочей станции нету.

    Вообще.... нет никакого смысла включать рабочие станции удаленно. Если у тебя дома стоит сервер,
    то сервер всегда содержит порт управления вот ходи на него и включай. И купи белый IP.

    Короче, скупой всегда заплатит дважды.
    Ответ написан
  • Как автоматизировать запросы в Postgresql?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Современные аналитики обычно не работают с БД напрямую. Особенно с той БД, где ходят клиенты
    и активно работают короткие транзакции (OLTP).

    В крупных конторах наподобие банков и торговых сетей обычно для аналитиков отгружаются
    все-все исторические данные
    , что проходили в БД. В денормализованном виде. Обычно
    такие себе широкие таблицы по 100 - 500 колонок. И эти таблицы сливаются во всякие
    аналитические системы (Databricks) в формате column-oriented tables (Delta-table). И аналитики
    работают с этими данными на языках SQL/Python/R e.t.c. Строют всякие графики, краcивые
    картинки и агрегации.

    ОИБ здесь конечно при делах и не при делах. Рациональное зерно такого разделения
    состоит в том что с БД транзакций снимается ненужная I/O нагрузка и БД работает легче
    и аналитики не натворят бед с denial of service.
    Ответ написан
    Комментировать
  • Что можно разработать на C++ кроме нативных GUI-приложений и серверной части веб-приложений?

    mayton2019
    @mayton2019
    Bigdata Engineer
    По поводу разработки ОС. Кажется BeOS и HaikuOS были созданы с использованием языка С++.

    Все остальные не используют С++ для разработки СОБСТВЕННО ядра. При этом С++ может
    быть использован для разработки графической части (KDE например). Но твой вопрос скорее
    всего не в этом.
    Ответ написан
    2 комментария