Как разделить множество чисел на треки?

Все еще не понятно, у вас эти айдишники с разных серверов вперемешку имеются? И надо разделить на множества которые, скорее всего, принадлежат разным серверам?

Да всё так и в последствии имелась идея идти по этим трекам от разных серверов что бы видеть все новые id в независимости от серверов.

Входных данных по сути нет, имея сет ids и сегментировав эти ids на треки ids для разных серверов думал суметь находить новые id для этих серверов для каждого в отдельности и идти по ним. По сути поиск новых данных и независимость от их системы синхронизации данных между разными базами.

Как разделить множество чисел на треки?

Илья Николаевский, Это вывод системы идентификаторов facebook у них система выделения id сообщению/изображению/посту основана на том что разным серверам выданы диапазоны ids и они присваивают их объектам на сколько понимаю по возрастанию без переиспользования. Это порождает проблему того что с разных ip виден не весь объём данных что уже есть в системе была идея восстановить его и на гипотезе того что выделенные диапазоны id достаточно велики и не пересекаются у разных серверов попытайся увидеть всю информацию обращаясь к объектам по их идентификатору.

Как разделить множество чисел на треки?

Илья Николаевский, Хотя видимо я ошибся что получиться дать разделение на треки стоило отсортировать эти id как ситуация прояснилась.

Слева id занесения номера в базу а справа id из этих треков и предположение о непересекаемости вероятно не работает.

136559	130660635278385
74326	130680625206861
64439	130709961862667
127493	130713795254452
99022	130742938591839
110769	130796875274146
68352	130802048518387
89443	130860375214416
135229	130983055285542
76668	131029145179572
112362	131035558569795
79248	131047518514871
121629	131066401927814
113450	131069661900273
133285	131090035266307
131810	131098165260659
78422	131112448498001
128012	131134878593683
123251	131234161908131
117383	131267118564808
130954	131275921906867
116600	131282305227752
118272	131290675226483
71981	131311975137113
70058	131338248468017
88874	131355885168572
75166	131379261794021
79378	131410061791718
98027	131419818511757

Как разделить множество чисел на треки?

Илья Николаевский, Нет пропуски есть они достаточно большие но на порядки меньше чем различия между сабсетами. Вообщем-то верное замечание пропусков как раз таки очень много от того и нужен алгоритм для корректного поиска этих треков. Точки треки не пересекаются между собой это точно но на этом и всё.

Как записать большие файлы лога в mssql на python?

Может всё же переписать логи на более компактный вариант? Если это высер легаси то сделайте обработчик который сожмёт лог, либо вместо одномоментной задачи организуйте непрерывный конвейер по перегону данных в базу.

Не работает бот в телеграмме, хотя вроде правильно написан? бот не отправляет текстовое сообщение, но изображение отправляет?

Оформите код в вопросе.

Откуда могут быть сбои при постоянной работе скрипта без перезапуска интерпретатора??

javedimka, Проблема в том что система мониторинга digital ocean не показывает этого. Да и я сам тоже мониторил потребление памяти(ночью 9% днём до 13% стабильно) процессами и не увидел никаких проблем с этим. OEMКiller мог бы сработать но обработка паков id производится чанками специально что бы случайно не вылезти за пределы конкуренси прокси провайдера и за пределы памяти.

Pet projects для уровня junior+ и выше?

Developer, Окей глупый вопрос, в текущие нужды записал тот код который обычно для заказчика. А вот как раз тестирование гипотез и средства автоматизации сбора данных и интегрирование данных со своими/стороними сервисами для проверки гипотез на предмет выгодности того или иного начинания видимо можно записать в pet projects.

Pet projects для уровня junior+ и выше?

А если нет такого который можно назвать pet все под текущие нужды и тестирование гипотез?

Как открыть экранную клавиатуру с помощью Python?

# ., Первый же гуглинг показывает osk.exe - Экранная клавиатура
Запускайте его.

Какой продвинутый парсер есть для браузера или приложение для десктопа?

Karen Kratyan, Увы другого способа не знаю можете на чанки разделить слишком большие данные. Единственное что приходит на ум завязка на сторонние сервисы или написание своего небольшого сервиса который будет собирать данные для файла. Но вероятно это можно сделать и на машине пользователя просто я не знаю такого подхода. Правда тут возникает вопрос оправданности работы всего этого на машине пользователя и не выноса всего этого на свой сервер.

Какую бд использовать?

Думаю те кто их задаёт и с postgress справятся. =)

Как можно записать по другому асинхронную функцию?

Dr. Bacon, Да я понял орнул в голос года дошло. ))

Как можно записать по другому асинхронную функцию?

Dr. Bacon, А всё понял XD вопросов не имею. )))

Как можно записать по другому асинхронную функцию?

Dr. Bacon, Ну про циклы там путаница с переменными _url и link. А касательно остального я имел ввиду что предположительно этот фрагмент

async def loadpg(url_):
        return session.get(url_, timeout=30)

Как я понимаю будет работать в синхронном варианте так как не прописан явный await к методу get и поток попав в функцию остановит поток исполнения на ожидании ответа данного метода и не освободится. Хотя возможно он вернёт саму функцию и await loadpg(url_=link) будет работать корректно но вроде бы нет.

Как можно записать по другому асинхронную функцию?

MOV_UA, Поправьте ошибки в циклах там не совсем те переменные стоят. Касательно самой логики оба варианта рабочие но первый будет работать так же как синхронный код.

Как переместиться на сайте в парсере, оставаясь авторизованым?

Страница с сайтом не обязательна. Видимо или что-то не увидели в запросах или вас детектят. Так же не зачем светить паролём и логином.

Как ускорить или запустить многопоточно pupeteer?

За статью спасибо и правда оказалась полезна. )

ValueError: I/O operation on closed file. Как обработать ошибку?

swwwo, Почитайте про метод get он как раз для таких ситуаций, ошибку обрабатывать можно через класс ошибок KeyError.

Как мониторить работу скрипта?

Юрий, Ну про бд думаю не особо и стоит того таим фрейм в 6 минут меня устроит и даже при проверке раз в секунду это всего лишь 360 точек данных в рантайме. Редкие ложно положительные срабатывания как таковые не проблема. Ну вот тоже пришел к той же мысли там нужно будет только с логикой определения pid поработать. Но всё равно решил спросить вдруг есть какие нюансы.