Задать вопрос
  • Обучение базы для OpenCV Python, где изучить?

    mayton2019
    @mayton2019
    JRBRO, ты выше написал что датасет уже готов. В каком виде он у тебя лежит?
  • Есть ли быстрое хранилище с возможностью подписаться на обновления?

    mayton2019
    @mayton2019
    Выше по топику кто-то советовал Redis. Вот - хороший кандидат. Бери и храни последнюю координату в Redis.
  • Есть ли быстрое хранилище с возможностью подписаться на обновления?

    mayton2019
    @mayton2019
    Володимир Паламар, насчет Kafka я точно не скажу. Но если нет балансировок и перезагрузок - тогда пропускная способность кафки почти бесконечна. Вот сколько машин в кластер загонишь на столько и умножать можно. Ну это грубая формула. Там на самом деле есть еще репликация.

    А RabbitMQ - это я просто для общности сказал чтоб было с чем сравнивать. Можно даже взять Apache ActiveMQ. Это все из бесплантного. А по поводу недостатков. Эти все штуки хорошо работают в топологии точка-точка. Но если у тебя модель топиков-подписок то эти архитектуры ведут себя гораздо хуже чем кафка. Собственно ... Кафка это даже не MQ система. Это скорее распределенное хранилище логов сообщений. Вот поэтому ее и часто советуют в оппозицию к стандартным системам.
  • Google chrome потребляет трафик?

    mayton2019
    @mayton2019
    Скачивает - это не страшно. Мы с женой телесериалов в месяц на 100Гб качаем.

    А вот если он будет ОТПРАВЛЯТЬ видео... вот тогда точно ойойой.
  • Есть ли быстрое хранилище с возможностью подписаться на обновления?

    mayton2019
    @mayton2019
    Володимир Паламар, сколько клиентов одновременно присутствуют? Согласно архитектуре Kafka каждый клиент - это consumer и его нужно настроить на топик или есть еще опция топик + партишен или ключ.

    Успех архитектуры kafka будет зависеть от того сможете ли вы разложить producers/consumers/partitions оптимальным образом иначе у вас все будут вычитывать всё.

    При скорости в 500 машин по 0.05 сообщений в сек получаем средний канал 25 сообщений в сек. При такой нагрузке Kafka не нужна. Можете брать RabbitMQ.
  • Соблюдается ли очередь данных при нескольких bulk-insert операциях?

    mayton2019
    @mayton2019
    Василий Банников, есть некие побочные эффекты от вендоров. Например Oracle поддерживает так называемую ORGANIZATION INDEX таблицу. Это по сути гибрид таблицы и индекса. И он поддерживает физический ордеринг в соотвествии с ключом или группой ключей.

    И если вставлять так в первой сессии так.
    INSERT INTO test_table (session_id, name) VALUES ('2022/06/09-SID001','A');


    И в другой сессии загрузки так session_id='2022/06/09-SID002' то строки будут группироваться вокруг сессионного ключа. И при select мы будем видеть иллюзию ордеринга по сессии.

    Но другое дело что в Oracle IOT-таблицы не расчитаны на bulk и имеют другие лимиты на длину данных.

    Разумеется это в PG не работает.

    И конечно реляционная алгебра вообще понятия не имеет об IOT таблицах.
  • Как сделать универсальную файловую помойку?

    mayton2019
    @mayton2019
    Я не согласен с советчиками, которые советуют автору что-то купить или куда-то перейти. У него Linux/Samba и он ищет дешевое решения для реализации своих потребностей. Дешево и сердито.

    Если его желание невозможно - то надо наверное написать что Samba так не умеет. Но никто пока этого не пишет.
  • Соблюдается ли очередь данных при нескольких bulk-insert операциях?

    mayton2019
    @mayton2019
    Хочется понять, какую выгоду ищет автор. Какие-бы решения или хитрости ему не посоветовали для PG, это совсем не будет работать в других БД (Oracle, Mysql).

    Реляционная алгебра определяет строки как множество. Это - не массив. Более того, даже если вы пинками ухитрились создать видимость порядка, любая операция вакуума или прочая усушка и утруска сегмента данных - разрушит это.
  • Имеет ли смысл хранить в БД информацию о разных разрешениях картинки?

    mayton2019
    @mayton2019
    Там ничего вообще не надо переименовывать. Мы живем в век децентрализованных систем и облаков данных. Берите сразу имя картинки в виде UUID и пускай себе лежит хоть сто лет.

    Еще никто не жаловался.
  • Как обойти шум на картинках для нейронной сети?

    mayton2019
    @mayton2019
    dostoevkiy22, мне кажется что у вас просто никогда не будет окончательно варианта капче-сети. И самое позорное что надо в этот стек втаскивать человека.
  • Как обойти шум на картинках для нейронной сети?

    mayton2019
    @mayton2019
    dostoevkiy22, ну вот представь ты только прикрутил фильтр цвета и ФНЧ и пошла другая капча которая делает XOR шахатной доской. (Очень злой фильтр я с кажу). Человек его кое-как различает. А все машинные системы не могут обобщающее формулы подогнать. И шахматная сетка еще и дрожит и деформируется чтоб вы не смогли ее подогнать никак.
  • Где используется Nim?

    mayton2019
    @mayton2019
    Я присоединяюсь к вопросу.
  • Как обойти шум на картинках для нейронной сети?

    mayton2019
    @mayton2019
    dostoevkiy22, у тебя что все учебные картинки 100х100 пикс?
  • Как обойти шум на картинках для нейронной сети?

    mayton2019
    @mayton2019
    dostoevkiy22, ты приложил какую-то иконку. Есть с нормальным разрешением?
  • Как обойти шум на картинках для нейронной сети?

    mayton2019
    @mayton2019
    Grayscale - хорошая тема. Я в детстве любил крутить настройки старого аналогового телевизора. Там были регуляторы цветности. И когда цветность убираешь - то особо информации не теряется но шумы (красно-синий снег) просто убираются. Фильм выглядит как нуар но вполне себе смотрибельно. Спустя лет 10 я учился в техникуме по электронике и там узнал как работает советская система вещания SECAM. Она в первую очередь - черно белая. Тоесть львиную часть спектра отдает под сигнал черно-белой картинки. И лишь 2 узенькие полосочки дает под 2 цвето-разностных сигнала. Не помню точно какая формула но вобщем в композиции с черно белым сигналом эти 2 полосочки давали полный RGB,

    Сейчас конечно Секам никому не нужен но принципы цвето-восприятия - примерно такие-же остались. И например формат JPEG до сих пор использует подобный эффект. Только цвето-разностные каналы он прореживает не по частоте а по разрешению картинки. Грубо говоря если вы создали JPEG 4K качества то на самом деле Ч.Б картинка качественная а на цветах там будет отфильтрованный по ФНЧ FullHD. Кажется это называется chroma subsampling но я не уверен что это оно.
  • Как обойти шум на картинках для нейронной сети?

    mayton2019
    @mayton2019
    Какая ставится задача? Если придумать синтетический фильтр который давит эти завитушки - то мы получается что решаем другую задачу. Создаем комфортные условия для сети.

    А зачем это делать? Нет я конечно понимаю что есть предварительная фильтрация обучающей выборки.

    Если инструктор курсов вам ставит конкретно задачу - сделать конвейер из фильтра и обучения - то делайте. Но если-бы я был заказчик - то я сказал-бы что мне не нужны фильтры. Пускай сеть учится в боевых условиях. А завтра я подкину еще более шумных картинок.
  • Как правильно защитить форму от спама?

    mayton2019
    @mayton2019
    MultiGramen, я тоже считал капчу идеальной защитой. Но потом узнал что угадывание капчи делегируется ... просто другим людям. Которые к примеру очень хотят зайти на порносайт. Вот такая вот ерунда получается.

    Радикально в последнее время Microsoft решил. Хотят вообще убрать пароль с входа в Windows. Как будут аутентифицировать ХЗ. Наверное биометрия. И многофакторка. Без смартфона хрен зайдешь в десктоп.
  • Как правильно защитить форму от спама?

    mayton2019
    @mayton2019
    Капча раздражает обычных пользователей IMHO.

    Вообще надо делегировать задачу установления личности третьим сервисам на базе OpenId. Какие из этих есть - я не помню. Возможно фейсбуки, гуглы и вконтакты поддерживают этот стандарт.

    К вам в форму должен приходить уже определённый пользователь с JWT-токеном.
  • Не работает видео html?

    mayton2019
    @mayton2019
    А попробуй это на 3 разных браузерах. Chrome, Mozilla, Edge...
  • Как расчитать шанс вещи от цены?

    mayton2019
    @mayton2019
    pola_pumpkin, в этой задаче как-будто-бы не хватает еще одного параметра.

    В строгом варианте решения - мы могли-бы просто очертить границы. Например от 0 до 25 рублей - вещь номер 1.
    от 25 до 40 - вторая вешь. Я границы специально расставил одинаково от центров (или от мат-ожиданий). Это первый вариант.

    Но четвертая вещь явно нелинейно зависит от цены.

    И автор хочет частичное перекрытие. Тоесть вокруг центров цен для каждого класса вещи мы как-бы рисуем ... толи гауссиану, толи треугольное распределение как в FuzzyLogic. И еще и с неизвестным средним квадратическим отклонением. Тоесть форма и это отклонение являются неизвестными параметрами этой задачи во втором варианте.