• Утечка DNS или как соц. сети узнают мое местоположение?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Существуют базы (IPLocation) которые связывают IP адрес и локацию (Обычно Страна-Регион).
    Точность связности при этом очень грубая. Вряд-ли можно узнать что-то подробное.

    Как узнают соц-сети - это загадка. В простейшем случае они извлекают coockies из твоих
    сеансов браузера в ПК и телефоне а там может лежать информация о другой локации.

    А само приложение Инстаграм и Тик-ток не знаю... Проходило ли хоть раз проверку на безопасность.
    Какую информацию приложение знает о профиле телефона? Что оно передает по своему протоколу?
    Да что угодно. Вот я-бы и передавал что угодно если-бы был заинтересованным в сборе сведений.

    Бесплатные VPN/Proxy и прочие анонимайзеры здесь не помошники а скорее инсайдеры.
    Забезплатно они скорее вас сольют быстрее чем окажут помошь. Поэтому им ни на копейку
    доверять нельзя.
    Ответ написан
    Комментировать
  • Как получить цепочку кластеров занимаемых файлом?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Попробуй как-то так:
    handle = CreateFile("\\\\.\\PhysicalDriveC", .......);

    Это на С++ под Windows. И запускать надо будет под Суперпользователем.

    Updated 2/26/2024
    Ответ написан
    1 комментарий
  • Расширение для браузера, поднимающее тревогу, если на какой-либо из открытых вкладок найдена заданная подстрока?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Шутки ради, можно закинуть в социальные сети и форумы твою искомую строку и тебя будет из них
    выкидывать. Тебе это надо?

    Если заниматься антивирусами - то пускай этим занимается специальные extensions. Зачем тебе
    улучшать то что уже улучшено?
    Ответ написан
  • Как удаленно включить стационарный пк с андроид устройства?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Схема с wake-on-lan пока является самой надежной. По крайней мере других технологий включения
    для рабочей станции нету.

    Вообще.... нет никакого смысла включать рабочие станции удаленно. Если у тебя дома стоит сервер,
    то сервер всегда содержит порт управления вот ходи на него и включай. И купи белый IP.

    Короче, скупой всегда заплатит дважды.
    Ответ написан
  • Как автоматизировать запросы в Postgresql?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Современные аналитики обычно не работают с БД напрямую. Особенно с той БД, где ходят клиенты
    и активно работают короткие транзакции (OLTP).

    В крупных конторах наподобие банков и торговых сетей обычно для аналитиков отгружаются
    все-все исторические данные
    , что проходили в БД. В денормализованном виде. Обычно
    такие себе широкие таблицы по 100 - 500 колонок. И эти таблицы сливаются во всякие
    аналитические системы (Databricks) в формате column-oriented tables (Delta-table). И аналитики
    работают с этими данными на языках SQL/Python/R e.t.c. Строют всякие графики, краcивые
    картинки и агрегации.

    ОИБ здесь конечно при делах и не при делах. Рациональное зерно такого разделения
    состоит в том что с БД транзакций снимается ненужная I/O нагрузка и БД работает легче
    и аналитики не натворят бед с denial of service.
    Ответ написан
    Комментировать
  • Что можно разработать на C++ кроме нативных GUI-приложений и серверной части веб-приложений?

    mayton2019
    @mayton2019
    Bigdata Engineer
    По поводу разработки ОС. Кажется BeOS и HaikuOS были созданы с использованием языка С++.

    Все остальные не используют С++ для разработки СОБСТВЕННО ядра. При этом С++ может
    быть использован для разработки графической части (KDE например). Но твой вопрос скорее
    всего не в этом.
    Ответ написан
    2 комментария
  • Реализация шифрование части исполняемого кода на Си?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Можешь зашифровать ddl-ку и после успешной расшифровки - динамически подгружать ее к коду.
    Но тут возможны нюансы с антивирусом.
    Ответ написан
    Комментировать
  • Как организовать передачу файлов с FTP сервера?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Установите рядом с браузером FileZilla
    https://filezilla-project.org/

    Я думаю этого будет достаточно чтоб закрыть вопросы с скачиванием ftp ссылок.
    Ответ написан
    Комментировать
  • Как увеличить скорость wifi в linux?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Speedtest не меряет скорость Интернета как таковую. Он имеет специальный
    алгоритм разрешения хостов-провайдеров которые стоят физически максимально
    близко к тебе. И меряет скорость к ним.

    Поэтому результат Speedtest можно рассматривать как такой забавный частный случай.
    Поэтому при "при загрузке какого либо файла" фактическая скорость
    будет иметь мало связи с тем что Спидтест намерял.

    Результаты спидтеста обычно показывает вам провайдер что-б вы просто не приставали
    к нему с глупыми вопросами
    . Типа выж видите. У нас все хорошо.
    Ответ написан
    Комментировать
  • Как определить способ запуска процесса?

    mayton2019
    @mayton2019 Куратор тега Java
    Bigdata Engineer
    Jconsole, JVisualVM поднимают очень много информации по Java-процессу. Посмотри.
    Ответ написан
    Комментировать
  • Возможна ли автоматизация проектирования с помощью ИИ?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Мне кажется что такую сеть будет сложно обучать. Необходима очень большая выборка проектов
    чтоб ее назначить учебным датасетом.

    И непонятен тип ИИ. Это не лингвистическая модель. Имеет место графика. Значит нужно думать
    том как переиспользовать имеющиеся графические модели. Или создать свою.

    Мне кажется что для 1-2 проектов нет смысла создавать такую автоматизацию. Проще вручную сделать.
    Ответ написан
  • Как создают текстуры для игр?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Вообще не стоит задача менять разрешение текстур для 8К и выше моника. Обычно его вешают
    подальше на стену из-за габаритов и сохранения угла поля зрения. И поэтому гнать
    разрешение чтоб попадало точка-в-точку обычно не нужно. Все равно возможности
    зрения ограничены. Разве что пользователь нажмет на паузу. И будет подходить
    к экрану пока не уткнется носом чтобы что-то там разглядывать. Но это не игровой кейс.

    Еще с 2000х разработчики знали хитрости. Bump-mapping, это когда на low-res текстуру
    накладывся рельеф (повторяющиеся фактура дерева или камня) и это создавало иллюзию
    высокого разрешения.

    И процедуральные текстуры, которые можно рендерить для любого разрешения на заказ.
    Они экономили память диска но не памяти текстур. Поэтому с ними есть нюансы.
    Ответ написан
  • Как избавляться от ненужных записей в бд?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Если использовать такие БД как DymanoDb, CosmosDb, Cassandra или кеш Redis, то там сразу
    можно создавать записть с отметкой TTL и указывать сколько времени запись будет актуальна.
    Впоследствии эту отметку можно продлить или сделать живщуей вечно.

    По поводу реляционок типа Postgres.

    В хранении ненужных записей я не вижу проблемы до тех пор пока вы в состоянии такие
    токены идентифицировать и почистить отдельно с помощью джоба который запускается
    раз в сутки например и просто удяляет их по признаку например "состояние ожидания
    ввода числа из СМС". Трекайте это состояние и все будет ОК.
    Ответ написан
    Комментировать
  • Как бы вы оптимизировали большую сцену в 2D игре?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Когда объекты крупные в сцене то пользователь видит их скорость кадров. Можно ставить 60 fps.
    Когда пользователь смотрит на объекты размером с пиксель - то и не нужно их обновлять часто.
    Сделай хоть 10-15 fps и будет норм.

    Ну тоесть я как-бы взял level of detalization но применительно не к пространству а ко времени.
    Ответ написан
    6 комментариев
  • Что выбрать в качестве промежуточного хранилища в проекте?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Идея выгрузить все в Redis провалилась, так как на более 120К записей поиск начал тормозить сильнее прямого запроса к БД.

    Нужно более подробно изучить этот кейс. В момент "торможения" что происходило? Шла выгрузка?
    Redis упал в swap? Дело в том что структуры данных Redis спроектированы так что дают
    постоянный отклик почти на любом объеме данных лишь бы хватало памяти. Этот эффект
    который вы поймали говорит скорее всего о неверном использовании.

    Попробуйте value хранить в разных форматах. В JSON. В бинарном (protobuf). В gzip. Оптимизируйте
    бизнес данные. Я всегда находил способы не хранить длинные url. И заменить их на что-то.

    В качестве промежуточного хранилища можно использовать много чего. Apache Ignite, Hazelcast,
    LevelDb, RocksDb, CouchDb, Riak
    . Но мне кажется что проблема ваша не в том какую
    dbms взять а как грамотно реплицировать бизнес-данные в слой кеширования.

    Поговорите с бизнесом какое отставание кеша от данных является приемлемым и исходите из этого.
    В некоторых случаях отставанее в сутки является норм. А иногда даже милисекунда - уже нельзя.
    Ответ написан
    Комментировать
  • Где хранится информация и откуда её берет нейросеть для ответа?

    mayton2019
    @mayton2019
    Bigdata Engineer
    В самой нейросети. Нейросеть - это и есть память. Она конечно загадочным образом сочетает
    в себе и память и процессинг но в этом вся идея.
    Ответ написан
    Комментировать
  • Как можно посмотреть базу данных компьютерной игры?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Каждый производитель игры хочет защитить ресурсы игры от просмотра и от изменений.
    В этом есть определенный бизнес-интерес. Игра должна быть закрытым продуктом.
    Поэтому такая задача будет очень нетривиальной. Если у вас до этого не было опыта
    реверс инжинеринга кода и данных, то скорее всего ничего у вас не выйдет.

    Но для популярных игр эпохи 90х-2000х были готовые редакторы и просмотрщики
    уровней и ресурсов (Doom, Quake, Warcraft). Можете там поискать.
    Ответ написан
    Комментировать
  • Как ослуществляется выборка данный в модульной или микросервисной архитектуре?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Т.к. мы не можем сделать выборку всех заказов в статусе X, т.к. их очень много, но мы и не можем сделать выборку с лимитом т.к. не знаем точно, что данные заказы будут оплачены платёжной системой Y и наоборот, если будем строить выборку от оплат. В общем получается, что мы решаем вопросы, которые легко решены в БД, но мы их пытаемся решить в коде. Как поступать то?

    Это типичная проблема которая возникает после распила монолита на части. Если раньше
    монолит ходил в базу и делал любые SQL, то после разделения отвественностей уже такие
    игры не работают.

    Вы говорите что не знаете точно какие заказы оплачены. Вам нужно создать новый метод
    который в правильном сервисе выдает только оплаченные заказы. А в базу ходить не надо.
    Она вообще может быть недоступная по инфо-безопасности для прочих модулей.

    Вот и есть правильная микросвервисная архитектура.
    Ответ написан
    Комментировать
  • Как адски нагрузить поведенческого бота на сайте?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Не претендуя на ответ я просто перечислю здесь все советы, которые уже звучали в комментариях и
    добавлю свои.

    Развитие этого вопроса - плавно приводит к нарушению законов. Например,
    что можем сделать с несчастным владельцем бота, зная его IP. Развивать не будем.
    Пускай будет просто http-responce. Я думаю модератор одобрит сухое перечисление
    с чисто академическим интересом.

    - Отдавать боту безсмысленный трафик. Набор непарсящегося по html содержимого. (/dev/random)
    - Отдавать мееееедленно контент. Еще медленнее....
    - Отдать майнер или любой JS который создает безсмысленную нагрузку.
    - Отдеть веб-ассембли создающую нагрузку.
    - Отдать gzip-бомбу (сжатый трафик который переполняет память при распаковке (очень быстро))
    - Отдать xml-бомбу (очень старая уязвимость XML/DTD которая не везде работает)
    - Отдать png/gif картинки переполняющие память при открытии.

    В конечном счете эффект от этих сюрпризов будет сильно зависеть от самого бота. Я подозреваю
    что никакого эффекта в целом не будет. От игнора содержимого до незначительных ошибок и
    резкого закрытия соединения.
    Ответ написан
    Комментировать