mayton2019

Предположительно BinHex. Но надо проверить все символы.

movchans ваша фраза (заголовок вопроса) просто выдает в вас неопытного разработчика который еще с базой не работал.

MongoDb помимо хранения json файлов (на самом деле внутри она хранит bson) предлагает опции масштабирования (можно поднимать несколько нодов одной базы) и командную строку запросов. Кроме того можно создавать индексы, по разным полям документа - это коробочная фича Mongo.

И я даже не знаю сколько у вас уйдет времени на то чтобы просто повторить этот функционал. Даже атомарная работа с документами. Если вы не опытный разработчик - то работая с файлами вы наделаете таких дел что ойойй. Я готов даже спорить на коньяк что наделаете. Интуиция такая вот.

По остальным пунктам что написал Roman Kitaev я полностью согласен.

Первое. Тема топика Python + PowerShell. Тоесть непонятно тебе нужно программировать и развивать этот софт или решить задачу 1 раз и забыть. В зависимости от желания - будет разная реализация.

Второе. Есть коробочные утилиты fc (Windows) diff (Linux) которые такое сравнение делают. Но обычно для исходников и при условии что изменений мало. Почитай про них. Возможно это частично решит твою задачу.

Третье. Ты хочешь сравнивать одну строку со всеми из другого файла. Это декартово произведение. В данном случае тебе можно сортировать оба файла и тогда одинаковые значения будут кластеризованы рядом. Sort + Diff решают твою беду.

Вобщем думай. Но лучше 1 раз сделай покрывающий пример двух файлов. И результат чего надо на выходе. Это сэкономит время.

В науке это называется факторизация или разложение числа на простые множители.

$ factor 50
50: 2 5 5

50 раскладывается на 2 умножить на 5 в квадарте.

Но ты почему-то решил что надо делить только на 2. Да еще и с каким-то недоказанным округлением.

Если csv.reader поддерживает интерфейс iterable то можно сделать фильтр как тут пишут https://learnpython.com/blog/map-filter-reduce-python/

filter(function, iterable)

Вот по такой маске 110xxxxx 10xxxxxx (где x - это произвольный бит) можно выделить двухбайтные символы.
Со ссылкой на вики https://en.wikipedia.org/wiki/UTF-8

Но я думаю что ты делаешь что-то не то. Тоесть тебе надо делать другое.

но к сожалению спустя чуть меньше чем через 1,5 месяца работы был забанен(разрабы юзают easy anti cheat).И после бана у меня встал вопрос продолжать двигаться к очеловечиванию бота или же меня подвела винда(как я предполагаю она выдаёт эмулированные действия,это я вычитал на каком то форуме)

Я боюсь что никто не сможет спасти твоего бота до тех пор пока у нас не будет точной причины бана.
Оперировать предположениями - это значит терять зря время и играть в астрологию. Вот ты пишешь что
тебя подвела "винда".

При чем тут винда? Как ты решил что винда? Какие были логи? Нужно - больше фактов.

Меня лично тема ИИ и НС интересует. И я готов ее обсуждать. Но я сейчас вообще не нахожу ни одного основания что здесь обсудить.

Вобщем подумай над анализом. Ты еще создашь 100500 ботов. Но тебе нужен лог сетевого трафика и полный анализ действий во времени. Без этого никак.

Можешь сделать
git log
и посмотреть историю изменений
Потом
git checkout xxxxxx
и указать хеш коммита.

Обработай Exception

except Exception as e:
        print 'Reason: ' + e.errno

А я поддержу автора. Но в другой части. Не в Windows 98.

Иногда возникает желание позапускать на телефоне некоторые REPL command line приложения.
Вот изучал недавно Clojure. Возник такой интерес. Язык я все равно не изучил но сознание себе
расширил.

Можно конечно запускать ideone. Но... ощущения не те.

Blankspace у

1) тебя все задачи - независимые. Ты можешь запускать 6 отдельных процессов на Python. В таком случае тебе не надо думать о синхронизации потоков.
2) ты описал задачу максимальной утилизации ресурсов. Это - неверная задача. Это все равно что ты захотел сжечь побольше бензина. Цель - быстрее закончить парсинг N сайтов например используя M proxy серверов.
3) Твой вопрос

Сколько максимально я могу парсить сайтов по такой схеме, ориентируясь на мощность процессора

Ответ - никто не знает. Не существует такой расчетной формулы. Есть скорее сет экспериментов которые ты сам будешь запускать на своей конфигурации и в зависимости от параметров (M,N) и получать результирующее время в секундах или в минутах. Процессорные мощности здесь скорее всего нипричем. Здесь сильнее влияет канал ввода вывода. Тоесть скорость сети и скорость с которой ты сохраняешь на диск разобранные данные.

Точно также поступают архитекторы когда думают о дизайне очень сложной системы. Просто берут аналог. И его цифры. И пытаются осторожно экстраполировать цифры.

Мегагерцы и мегафлопы и количество ядер процессора - эти метрики можно использовать в других задачах не похожих на твою.

Почитай также про закон Амдала. Он сработает в твоём случае.

Можно сделать базовый класс сущности без пароля. И от него унаследовать все+пароль.
Дальше - дело техники.

Под реверсингом насколько я понял имеется в виду реверс-инжинеринг. Скорее всего - по ситуации. Какими тулами ты пользуешся? Если они выдают достаточно информации - то тогда не надо.

Но я-бы учил не для реверса а для понимания например железа и архитектуры. Просто это часть стека который мы каждый день используем. Как арифметика в быту. Деньги считаем. Значит знаем.

Хотя мне кажется что в наше время зарабатывать на реверсе так-же бесполезно как и на трейдинге. Какие-то редкие случайные заказы. Вот на собственной разработке - поднимешь больше всегда.

Мне удивительно что хакер не умеет сортировать данные. Как же он до этого работал?

По поводу нужности или не нужности data science. Я думаю что основы этой науки должен знать любой разработчик. По крайней мере понимать как кластеризовать сет данных. Или найти в данных какие-то положительные взаимо-влияния между различными атрибутами данных.

К сожалению комметарии всегда не формализованы. И разработчик не являясь техно-писателем не может их написать настолько грамотно чтобы они представляли интерес для заказчика. Поэтому для заказчика пишутся отдельно сопроводительные документы по софту. А комментарии в коде разрабы пишут для самих себя типа "todo: оптимизировать".

Более того если насильно заставлять разрабов писать комментарии то получается как в той поговорке где заставили дурака богу молится. Будет тонна безсмыслленного текста которая тоже заказчику будет неинтересна. Кроме того у комментариев в коде есть другая беда. Обычно код эволюционирует быстрее и независимее от комментариев. Поэтому часто бывает ситуация когда коммент не соотвествует коду или просто устарел.

Существуют системы авто-генерации документации типа Javadoc, Doxia, но они не получили распространения как в области техно-писательства именно по причинам которые я описал выше.

Возьми маленький рандомный массив на 10 элементов. И распечатай его стостояние на каждом цикле сортировки.
Там будет сразу видно где ты боков напорол.

И процедуру хипифай проверь отдельным тестом. Для всех i должен работать инвариант:

heap[i] >= heap[i*2 + 1]
heap[i] >= heap[i*2 + 2]

А зачем во всю таблицу прописывать магическую дату которая к тому-же равна какому-то NOW?
Уж лучше оставить null. Так хотя-бы места в индексах не будет занимать. Да и вообще.. null в базах несет особый смысл.

Вобщем создатели диалекта MySQL были по своему мудры и не дали возможности ленивому разработчику просто так мусорить в таблицах.