Задать вопрос
  • Как начать парсинг csv с нужной строки?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Если csv.reader поддерживает интерфейс iterable то можно сделать фильтр как тут пишут https://learnpython.com/blog/map-filter-reduce-python/

    filter(function, iterable)
    Ответ написан
    Комментировать
  • Как строку или таблицу превратить Map?

    mayton2019
    @mayton2019 Куратор тега Java
    Bigdata Engineer
    Вот заготовка.
    Map<String, List<Integer>> list = new LinkedHashMap() {{
               put("Петя", Arrays.asList(1, 2, 3));
               put("Развитие", Arrays.asList(3, 4));
            }};
    
            String res = list.entrySet().stream().map(
                    entry -> entry.getKey() + " ; " + entry.getValue()
            ).collect(Collectors.joining("\n"));
    Ответ написан
    Комментировать
  • Как оставить в UTF-8 строке только 2х байтовые символы?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Вот по такой маске 110xxxxx 10xxxxxx (где x - это произвольный бит) можно выделить двухбайтные символы.
    Со ссылкой на вики https://en.wikipedia.org/wiki/UTF-8

    Но я думаю что ты делаешь что-то не то. Тоесть тебе надо делать другое.
    Ответ написан
  • Влладалаьаьыджввла?

    mayton2019
    @mayton2019
    Bigdata Engineer
    но к сожалению спустя чуть меньше чем через 1,5 месяца работы был забанен(разрабы юзают easy anti cheat).И после бана у меня встал вопрос продолжать двигаться к очеловечиванию бота или же меня подвела винда(как я предполагаю она выдаёт эмулированные действия,это я вычитал на каком то форуме)

    Я боюсь что никто не сможет спасти твоего бота до тех пор пока у нас не будет точной причины бана.
    Оперировать предположениями - это значит терять зря время и играть в астрологию. Вот ты пишешь что
    тебя подвела "винда".

    При чем тут винда? Как ты решил что винда? Какие были логи? Нужно - больше фактов.

    Меня лично тема ИИ и НС интересует. И я готов ее обсуждать. Но я сейчас вообще не нахожу ни одного основания что здесь обсудить.

    Вобщем подумай над анализом. Ты еще создашь 100500 ботов. Но тебе нужен лог сетевого трафика и полный анализ действий во времени. Без этого никак.
    Ответ написан
  • Как получить прошлые версии сайтов на githab.io?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Можешь сделать
    git log
    и посмотреть историю изменений
    Потом
    git checkout xxxxxx
    и указать хеш коммита.
    Ответ написан
  • Чем асинхронность лучше многопоточности для чат-бота?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Насчет чят бота не скажу. Вообще скажу.

    Если задача связана с вычислением численных метдов например. Или рендерингом 3D. Или крипто-майнингом. Или нейро-сетей - где
    CPU -> 100%, I/O -> 0% то тогда тебе прямая дорого в мультипоточность (мультипроцессность). Количество тредов расчитывается обычно по формуле = количество ядер (иногда АЛУ/Threads) умноженное на коєффициентик. Подбирается экспериментально для конфигурации и среды исполнения. У меня для Java-11 выходило что на 4 ядра Core-i3 надо было 5 вычислительных потоков.

    Если в задаче главным дирижёром является канал I/O а нагрузка на расчет малаая (парсер) - то используют технологи асинхронизма. Это когда ваши вычисления подписываются на события I/O и 80% времени ничего не делают а только ждут события от I/O. При благоприятных условиях хендлеры могут потреблять вообще 0% ресурсов. Нет событий. Поэтому таких хендлеров можно поднять очень много. Пример - акторные технологии. Хендлер. Актор. Горутина. Пример 10 000 акторов обслуживается 10 потоками исполнителями.
    Ответ написан
    2 комментария
  • Раньше, файл создавался сам, а теперь перестал, почему?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Обработай Exception

    except Exception as e:
            print 'Reason: ' + e.errno
    Ответ написан
    Комментировать
  • Как установить Windows 98 на телефон?

    mayton2019
    @mayton2019
    Bigdata Engineer
    А я поддержу автора. Но в другой части. Не в Windows 98.

    Иногда возникает желание позапускать на телефоне некоторые REPL command line приложения.
    Вот изучал недавно Clojure. Возник такой интерес. Язык я все равно не изучил но сознание себе
    расширил.

    Можно конечно запускать ideone. Но... ощущения не те.
    Ответ написан
    Комментировать
  • Как правильно написать мультипоточность на питоне?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Blankspace у

    1) тебя все задачи - независимые. Ты можешь запускать 6 отдельных процессов на Python. В таком случае тебе не надо думать о синхронизации потоков.
    2) ты описал задачу максимальной утилизации ресурсов. Это - неверная задача. Это все равно что ты захотел сжечь побольше бензина. Цель - быстрее закончить парсинг N сайтов например используя M proxy серверов.
    3) Твой вопрос
    Сколько максимально я могу парсить сайтов по такой схеме, ориентируясь на мощность процессора

    Ответ - никто не знает. Не существует такой расчетной формулы. Есть скорее сет экспериментов которые ты сам будешь запускать на своей конфигурации и в зависимости от параметров (M,N) и получать результирующее время в секундах или в минутах. Процессорные мощности здесь скорее всего нипричем. Здесь сильнее влияет канал ввода вывода. Тоесть скорость сети и скорость с которой ты сохраняешь на диск разобранные данные.

    Точно также поступают архитекторы когда думают о дизайне очень сложной системы. Просто берут аналог. И его цифры. И пытаются осторожно экстраполировать цифры.

    Мегагерцы и мегафлопы и количество ядер процессора - эти метрики можно использовать в других задачах не похожих на твою.

    Почитай также про закон Амдала. Он сработает в твоём случае.
    Ответ написан
    Комментировать
  • Как отдать объект без некоторых полей?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Можно сделать базовый класс сущности без пароля. И от него унаследовать все+пароль.
    Дальше - дело техники.
    Ответ написан
    Комментировать
  • Как вывод strace записать в файл?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Попробуй так

    strace -p <pid> 2> file
    Ответ написан
    6 комментариев
  • Стоит ли учить assembler для реверсинга?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Под реверсингом насколько я понял имеется в виду реверс-инжинеринг. Скорее всего - по ситуации. Какими тулами ты пользуешся? Если они выдают достаточно информации - то тогда не надо.

    Но я-бы учил не для реверса а для понимания например железа и архитектуры. Просто это часть стека который мы каждый день используем. Как арифметика в быту. Деньги считаем. Значит знаем.

    Хотя мне кажется что в наше время зарабатывать на реверсе так-же бесполезно как и на трейдинге. Какие-то редкие случайные заказы. Вот на собственной разработке - поднимешь больше всегда.
    Ответ написан
    2 комментария
  • Нужен ли data science этичному хакеру?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Мне удивительно что хакер не умеет сортировать данные. Как же он до этого работал?

    По поводу нужности или не нужности data science. Я думаю что основы этой науки должен знать любой разработчик. По крайней мере понимать как кластеризовать сет данных. Или найти в данных какие-то положительные взаимо-влияния между различными атрибутами данных.
    Ответ написан
    4 комментария
  • Указываются ли комментарии в листинге кода?

    mayton2019
    @mayton2019
    Bigdata Engineer
    К сожалению комметарии всегда не формализованы. И разработчик не являясь техно-писателем не может их написать настолько грамотно чтобы они представляли интерес для заказчика. Поэтому для заказчика пишутся отдельно сопроводительные документы по софту. А комментарии в коде разрабы пишут для самих себя типа "todo: оптимизировать".

    Более того если насильно заставлять разрабов писать комментарии то получается как в той поговорке где заставили дурака богу молится. Будет тонна безсмыслленного текста которая тоже заказчику будет неинтересна. Кроме того у комментариев в коде есть другая беда. Обычно код эволюционирует быстрее и независимее от комментариев. Поэтому часто бывает ситуация когда коммент не соотвествует коду или просто устарел.

    Существуют системы авто-генерации документации типа Javadoc, Doxia, но они не получили распространения как в области техно-писательства именно по причинам которые я описал выше.
    Ответ написан
    Комментировать
  • Как исправить программу для пирамидальной сортировки?

    mayton2019
    @mayton2019 Куратор тега Java
    Bigdata Engineer
    Возьми маленький рандомный массив на 10 элементов. И распечатай его стостояние на каждом цикле сортировки.
    Там будет сразу видно где ты боков напорол.

    И процедуру хипифай проверь отдельным тестом. Для всех i должен работать инвариант:
    heap[i] >= heap[i*2 + 1]
    heap[i] >= heap[i*2 + 2]
    Ответ написан
    Комментировать
  • Математические операции в значении столбца бд MySQL по умолчанию?

    mayton2019
    @mayton2019
    Bigdata Engineer
    А зачем во всю таблицу прописывать магическую дату которая к тому-же равна какому-то NOW?
    Уж лучше оставить null. Так хотя-бы места в индексах не будет занимать. Да и вообще.. null в базах несет особый смысл.

    Вобщем создатели диалекта MySQL были по своему мудры и не дали возможности ленивому разработчику просто так мусорить в таблицах.
    Ответ написан
  • Docker vs Bare Metal — сравнение производительности?

    mayton2019
    @mayton2019
    Bigdata Engineer
    При разработке docker не ставились задачи - догнать bare-metal. Главная задача - виртуализация и оркестрация.
    Если у вас нет таких задач то возможно и docker вам просто не нужен. Ставьте софт на железо и
    не будет таких вопросов.
    Ответ написан
    5 комментариев
  • Как скачать файл скрипта с сайта?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Если разрешать качать back-скрипты - то это был-бы взлом всех веб-ресурсов.
    Ответ написан
    Комментировать
  • Как проверить в регулярном выражение ip адрес на java?

    mayton2019
    @mayton2019 Куратор тега Java
    Bigdata Engineer
    Мне кажется что если не решать эту задачу только регулярками а сделать такое.
    - проверить что строка состоит из 4х чисел разделенным точками
    - проверить что каждое число в диапазоне [2..255] (проверять уже как Integer)
    то тогда функция проверки будет простая и наглядная. Это для кейса 10.80.212.195.

    Для масок подсети и IPBlocks единая функция проверки все равно безсмысленна - ведь на следующем уровне API
    нам надо различать классы { IP, IP+Mask, IPBLock } и нам выгодно сделать 3 функции-предиката. Тем более что классы результата различны.
    Ответ написан
  • Жизненный цикл Go?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Обычно на Go пишут микросервисы. А они не должны умирать. Как раз совсем наоборот должны работать очень долго.
    Ответ написан