xmoonlight

Побайтово (блоками) качайте с сервера и читайте с локального диска.
Выставите лимит для валидации байт-совпадения.

И сравнивайте между собой:
1. Совпало до лимита - файлы одинаковы, прерываем скачивание.
2. Нет - качаем до конца обновлённый файл.

6 минут (или меньше) - для получения полной частотной статы по всем словам за один проход.
Ещё быстрее: можно читать файл в несколько потоков, а разрывы - склеить по ориентиру байт-смещения.

Поэтому:
PS: для PHP можно использовать pthreads, создав асинхронную очередь обмена данными и добиться тех же результатов.

Как правильно угадать кодировку символов в файле?

Заверните API в React-приложение - смонтируйте на тот же серв (чтобы адрес домена был один) и всё.

Напишите "мост" между API и базой (ClickHouse) на C в виде микро-сервиса.
И просто, и быстро.

1. Зачем вы мучаете каждую минуту ресурс-донор?!!!!
Если какие-то посты там мониторите, то достаточно мониторить RSS/Atom-ленту каждые 3-5 минут, а при появлении изменения - уже закачивать новый контент по линку из новости для дальнейшего парсинга к себе.
2. Кравлер должен парсить Round-Robin'ом ("каруселью"): линк ресурса 1 -> линк ресурса 2 -> ... ->линк ресурса N->LOOP (начинаем сначала). А не проходить все линки ОДНОГО ресурса забивая ему канал!
3. Качественный ресурс - необходимо кравлеру прикинуться обычным пользователем: не запрашивать часто, под одной сессией смотреть 5-6 слинкованных страниц.

Тогда Вам спокойно хватит 2-3 прокси-адресов на долгое время.

Советую пока что остаться на PHP и подключить Redis
Проблема у Вас не в обработке, а в хранилище.

обычный нативный сокет с помощью gcc делаете и никаких проблем нет.
раз
два