• Насколько сложно сделать простое web приложение на python?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Хостинг стоит денег. Бесплатные аккаунты быстро заканчиваются а учитывая трафик студентов
    могут закончиться прямо сразу.

    Вы уже решили кто это безобразие оплатит?
    Ответ написан
  • Что быстрее SQL или Javascript?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Мужские мужчины уже ответили на основной вопрос.

    Я добавлю что чем больше данных мы обрабатываем тем дороже становиться цена передчи
    информации из места где оно храниться в блок вычислений. В концепции трехзвенки которая
    описана RDS(Postgres)/NodeJS/Python/Web удобнее всего вычилсять прямо в Postgres. Поскольку
    данные рядом и сетевых расходов на передачу нет. Если Postgres по каким-то причинам не может
    вычислять или не владеет API то в этом случае мы с помощью курсора (SELECT) передаем
    нужный датасет на клиента (в данном случае это Python/Node) и там вычисляем. При этом
    мы должны понимать что это займет время и сетевой канал да еще и результат вычислений
    тоже надо отослать обратно. Тоесть данные будут бегать как рейсовый автобус туда-сюда.

    Для однозначного решения что хорошо и что плохо - надо ставить эскперимент. Но предварительно
    мне и присуствующим уже очевидно что лучше всего вычислять прямо в хранимых процедурах
    Postgres. Единственным доводом против может быть несовершенство языка PL/pgSQL
    но я-бы этот факт тоже проверил. Для реляционных задач его обычно хватало.

    Данная проблема (рейсовый автобус для данных) еще более сильно выражена в BigData. Там стараются
    дизайнить систему так что данные - write-only и после загрузки в хранилище (ETL/ELT) больше никогда
    не изменяются и лежат неподвижно (т.н. Bronze Level информации). И джобы которые бегают
    по ним - запускаются в вычислительном кластере физически рядом с дисковым хранилищем.

    Вот. А на клиента отдаются обычно сводные отчеты и кака-то аналитика. Это то что в 100-10000 раз меньше
    по размеру обычно чем основные данные.
    Ответ написан
    Комментировать
  • Почему не могу объединить разделы на флешке?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Флешка обычно небольшого размера. Ее дешевле отформатировать заново чем заниматься
    задачами volume management.
    Ответ написан
  • Может нейросеть оценить синусоидальность сигнала?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Данная задача решается с помощью анализа Фурье. Ну по крайней мере в науке и технике
    методу Фурье всегда доверяют поиск периодов и фаз на сигнале.

    А по составу спектра уже смотрят какие примеси есть. Например Чистый синус будет иметь один пик
    в части основной гармоники. Прямоугольные периодические импульсы - нечетные гармоники убывающие
    по определенному затуханию.

    Спектр представляет собой вектор комплексных чисел. Где есть частота и комплексная амплитуда.
    И вот этот спектр уже можно подавать на вход нейросети.

    Линию вида y=kx+b можно представить как очень низкую частоту (инфразвук) с большим периодом.
    Впрочем возможность детектировать такой инфразвук будет заложена у вас в самом методе Фурье.
    С какой частоты начнете анализ - то и получите.
    Ответ написан
  • Как удаленно установить и запустить OS в режиме lite?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Это скорее всего не сработает. Т.к. нужны настройки wifi. Их надо где-то указать. Но со стороны действительно
    выглядит как некий злой умысел. Будто ты втихаря хочешь рабочие станции занять каким-то нехорошим делом.
    Ответ написан
  • С чего начать учить Kotlin?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Можно рассмотреть 2 Котлина. Или два варианта использования.

    Первое - это разработка под Adroid. Тут как бы понятно. Если Google его поддерживает то его стоит
    изучать и использовать. Но это означает - связать свою жизнь с клепанием формочек в мобилах.

    Второе это Spring/Kotlin/Java/Groovy e.t.c. Стек современного ентерпрайза. Тут - я бы не был так уверен.
    Дело в том что Java технологии - в силу генезиса опирается на достаточно старый и консервативный стек.
    И почти все стектрейсы ошибок будут неизбежно содержать сущности мира Java (JDK). От этого не уйти.
    Это как С++ разработчик вынужден знасть ассемблер когда дело касается анализа крашей приложения
    и вопросов ABI. Короче "не отпускает мать-земля"! Сколько ни придумывай абстракций а как жахнет
    черный или синий экран - сиди и вспоминай назначения регистров и что в них функция положила.
    Из позитивных моментов. Kotlin очень часто хвалят за лаконичный синтаксис и null-safety. Но последние
    несколько лет java community взяло бешеный темп развития (иначе я это назвать не могу) и начинает
    вносить изменения в спеку языка. Records, Pattern matching все эти штуки сильно приближают
    Java к Scala и Kotlin и возможно через лет 5 матрица фич этих языков будет одинаковой по всем
    позициям. Просто будут по разному называться. Вместо какого-нибудь "оператора Элвиса" будет
    оператор "Джона Леннона". Вобщем стоит ли рваться в Котлин "любой ценой" - я не знаю.
    Ответ написан
    Комментировать
  • Монитор + подвешенный к нему системный блок это лучше чем моноблок? И подойдет ли такой комп для видеомонтажа?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Тебе для монтажа что надо? Многоядерный процессор. И быстрый диск.
    Вот и смотри не в то чего там куда подвешено а смотри в бенчмарки.
    Ответ написан
    2 комментария
  • Какой Ардуино подарить ребенку на 10 лет?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Не забывайте что самое лучшее время которое ребенок может провести - это время с отцом.
    Все эти умные игрушки не имеют никакого значения если вы лично с ним не играете в них.

    Даже бумажный самолетик сделаный с отцом будет ребенку интереснее и ценнее чем Playstation
    и прочее.
    Ответ написан
    2 комментария
  • Правильно ли я выбрал структуру базы данных, создав 2500 одинаковых таблиц?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Andrew_Novikov,

    Пользователь выбирает имя спортсмена, например "Petr_Yan", дальше идет запрос к БД "select * from Petr_Yan",

    нет-нет дружище так нельзя. Переделывай. Никто не создает по таблице на пользовательский
    запрос. Таблица - слишком дорогой ресурс чтобы ей так просто бросаться.

    Над таблицами думают. Их рисуют на архитектурных диаграммах. Ты чисто случайно словил
    дефект в различиях файловых систем Linux/Windows и мы пришли вообще к тому что ты
    сделал невернй дизайн БД.

    После того как переделаешь - проблема сама собой уйдет. А когда будешь придумывать
    имена таблиц - делай все в одном регистре. Так - проще жить. Меньше в будущем
    будет архитектурных косяков.
    Ответ написан
    6 комментариев
  • Какой размер кэш процессора на одно ядро?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Обычно L3 - общий для всех ядер а L2/L1 - персональные кеши для каждого Thread/Kernel.
    Но технологии меняются. И я не думаю что это какая-то окончательна архитектура. Могут быть
    и исключения.
    Ответ написан
  • Где научиться профессионально искать и анализировать информацию?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Есть платные курсы, но они дорогие, мне хотя бы основы узнать.

    Я-бы не доверял подобным курсам. Они балансируют на грани гуманитарных знаний - а там нет
    хорошего критерия оценки на выходе. Тоесть тебе впарят какое-то знание но как его эффект оценить - непонятно.
    Сертификат о том что ты - хорошо умеешь гуглить? Согласись это странно.

    Есть курсы связанные со скоро-чтением. С тайм-менеджментом. Это мне кажется более полезно.
    Хотя самый главный курс - это твои родители. Чему они тебя научили. Потом садик. Школа. Универ.
    Профессия чему научила. Вообще есть у людей мозг. И он от рождения - разный. И несмотря
    на всяких коучей есть у людей лимиты по возможностям. Я вот например никогда не мог запоминать
    расположение фигур на шахматной доске. Сколько не пытался. Не дано такое мне умение. Длинные
    телефоны не могу запомнить. Да много лимитов в башке есть. Ты подумай - может это просто насилие
    над твоим разумом заставлять тебя анализировать и искать информацию? Может это просто не твоё?
    Ответ написан
    Комментировать
  • Какой уровень блокировки строк по умолчанию в запросе SELECT?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Документация гласит

    https://www.postgresql.org/docs/current/transactio...

    Read Committed is the default isolation level in PostgreSQL.


    P.S. В Оракле - тоже самое.
    Ответ написан
    Комментировать
  • Какие есть стандартные наборы данных для тестирования и сравнения нейронных сетей?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Если зайти в вики по ключевому слову MNIST - можно найти наборы для распознавания рукописного ввода. И еще от самой странчки MNIST еще 2 ссылки идут на аналогичные тестовые сеты.

    +UPD

    https://en.wikipedia.org/wiki/MNIST_database
    https://www.kaggle.com/datasets
    Ответ написан
    3 комментария
  • Какова причина долгой подгрузки страниц в окнах браузера?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Я думаю что проблема автора не имеет окончательного решения в части браузерной оптимизации.

    Я какое-то время покупал разные вещицы на аукционах и я заметил что иногда имею дело с ботами-снайперами
    которые перебивают мою ставку за 1 секунду до завершения аукциона. Это было в 2012-2013 году. Тогда еще
    про ботов мало знали. Но в принципе я догадался что мои конкуренты - это какие-то торговые программы на python e.t.c.

    По поводу 10 окон. Я не помню какой там лимит. Кажется для http2/http3 там вообще другие подходы к организации сокетов и сеансов. Поэтому дело может быть не в лимите на сеансы а просто в сетевом трафике.

    Я-бы предложил автору во первых провести эксперимент. Поторговать не в 10 окон а в 2 например. Будет-ли разница?

    И если сильно-сильно хочется торговать с нулевой реакцией то браузер - здесь вообще не друг. Нужно искать
    программиста который напишет торгового бота и не забывать этому программисту доплачивать регулярно
    за дорабоки бота (в связи с неизбежной эволюцией сайта). Такова судьба таких приложений.

    Еще лучше если торговая площадка сама разработала API и предоставляет его за абон-плату. Это - идеальный
    вариант решения проблемы. Тоже требует разработки. Но это right-way.
    Ответ написан
    Комментировать
  • Как сделать все грани (faces) 3D модели плоскими в Blender?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Кроме технической задачи обычно еще стоит и художественная. Тоесть сделать визуализацию хотя-бы приятной для глаза. И мне кажется что автор поставил другую задачу. Хотелось-бы увидеть примеры или эскизы того что хочет автор на выходе. Пока это выглядит как рисование ювелирных камней. Но мне кажется что камни - это недостаточно для того чтобы иметь художественный интерес в целом для зрителя.
    Ответ написан
    1 комментарий
  • Ноутбук для инфобеза?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Ноутбук береться под задачи. Опиши что ты будешь на нем делать. Инфобез - это очень широкое понятие и оно может быть связано просто с чтением почты и документов. Опиши короче свой рабочий день. И какие единицы софта будут нужны.
    Ответ написан
    7 комментариев
  • Поиск по большим файлам python?

    mayton2019
    @mayton2019
    Bigdata Engineer
    1) Ну. Как бы я делал. Наверное проще загрузить это в SQLite и проиндексировать. Как то так.

    file.csv
    id;name;phone;price
    1;Игорь;79287777777;20
    2; Дмитрий;79287777888;25
    ...

    В базе
    sqlite> create table tab1(id text,name text,phone text,price text);
    sqlite> .mode csv
    sqlite> .separator ";"
    sqlite> .headers off
    sqlite> .import file.csv tab1

    Это одноразовая операция и ее можно сделать вручную.
    Желательно создать композитный индекс по 2 полям
    sqlite> create index idx1 on tab1(name,price);
    А дальше из python подключиться к SQLite и гонять запросы вида
    SELECT * from tab1 WHER name='Игорь' AND price='20'


    2) Можно еще придумать сценарий с загрузкой таблицы в Python dictionary но это наверное
    увеличит нагрузку на память. Может вместо 2Гб будет 10Гб. Who knows! Вобщем это повод для
    экспериментов с замером памяти. Кроме того dictionary жестко нас привяжет к полям name + price
    и это будет неудобно.
    Ответ написан
    Комментировать
  • Как закинуть файлы на локальную машину, не имея внешнего IP?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Онлайн сервис формирует документ, кидает его по sftp на принтсервер и тот печатает.

    Пускай он просто публикует документы в вебе.

    А онлайн сервис раз в 5 минут заходит и забирает их.
    Ответ написан
    1 комментарий
  • Редактор кода, удобный для больших длинных файлов -?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Да. Atom и Sublime, Notepad++ - это хорошие кандидаты на роль универсального редактора на все
    случаи жизни. Многие из них работают с Markup/Markdown языками.

    Если эти редакторы не подошли или не справились с задачей - то хотелось-бы узнать почему. Вряд-ли
    мы сможем найти им замену с таким-же числом фич.

    Вот. Все современные IDE (Visual Studio Code, Eclipse, Netbeans) тоже являются текстовыми редакторами
    и автору я советую их тоже проверить и приходить сюда с выводами. Споры об годности IDE - это
    вкусовщина. Я о них уже не спорю никогда и всегда соглашаюсь с выбором любого участника.

    Выбирай. Проверяй.

    Насчет AST деревьев, синтаксиса и графов и прочее. Автор должен понимать что все эти техники нагружают
    оперативную память и такой редактор может стать узким местом в системе похуже браузера
    Интернета. Откроешь проект на 100 файлов и уйдешь гулять и пить кофе пока он все откроет
    и проиндексирует.
    Ответ написан
  • Как хранить часто используемые большие объемы данных в игре?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Я не знаю что такое TerrainData в понимании Unity. Но обычно в игровых технологиях большие
    локации режут на квадраты. Так что если главный герой покидает квадрат то всю картографию
    в этом квадрате можно сохранить на диск. Главное - правильно расставить дистнцию видимости, туман,
    или какие-то порталы чтобы максимально ограничить бесконечную локацию.
    Ответ написан