Алан Гибизов, найти дубликаты строк за минимальное время и записать их в новый файл, память, процессорное время. Порядка 26 млн строк. Задача не подразумевает наличие БД, максимум SQLite3, да и то, скорее всего, задача на умение находить нестандартные решения в плане оптимизации.
Алан Гибизов, цель - анализировать большой csv файл, разбив его на много частей. После разбивки, поочерёдно, каждый файл подгружается, оптимизируется, и соединяется с основным DF. И по моим подсчётам, сделав оптимизацию и вытянув только необходимые данные, я сэкономлю порядка 24 Гб оперативной памяти (по сравнению с представлением CSV в DF).
Дмитрий, в каком направлении нужно двигаться, чтобы решить данный вопрос? Я сделал апдейт вопроса. В целом, так можно всё сделать, дополнительно в настройках апаче скрывать расширение файла. Но это вроде бы, затратный по памяти на сервере вариант.
Посмотрел видео разные, некоторый все токены и команды кидают в один файл, и на основе эвента используют ту или иную сессию, но это все боты в одном файле, хотел бы другие варианты узнать
Спасибо большое за столь понятное и полное объяснение. Теперь я начал понимать что нужно в теории. Я думаю с вашим объяснением точно разберусь. Спасибо.
"Не совсем понятно пишете ли вы клиентсткую часть или серверную, так как в вашем вопросе освещены обе стороны." Клиент нужно доработать что бы происходила отправка, а сервер с нуля.
Добрый вечер, я правильно понял что я должен написать API на серверной стороне для приёма base64 с последующим декодированием? А на клиенте просто отсылать строку base64 к API? Сервер должен просто хранить фото и текстовый файлик.
devdb, с старых версий кода осталось. Возможно что сессии сбиваются из за этого, если это так, то что делать с переменной html? Мне в ней нужно хранить страницы для парсинга и перезаписывать её постоянно.
dollar, это уже последнее. Всё будет через сеть Тор, для каждого аккаунта новая цепочка. Мне нужно просто узнать как реализовать одновременную, немного хаотичную работу 30 аккаунтов.
