spaceatmoon

Используй всегда ограничение на время ожидания ответа.

curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 5); //5 секунд

По скриншотам всё у тебя находит. У тебя искомый элемент динамический и подгружается отдельно. Тем более у тебя нет проверки на количество элементов.

using OpenQA.Selenium;
using OpenQA.Selenium.Firefox;
using OpenQA.Selenium.Support.UI;
....
....
....
using (IWebDriver driver = new FirefoxDriver())
            {
                WebDriverWait wait = new WebDriverWait(driver, TimeSpan.FromSeconds(30));
                driver.Navigate().GoToUrl("https://www.youtube.com");
                wait.Until(web => {
                    var result = driver.FindElements(By.CssSelector("ytd-rich-item-renderer"));
                    return result.Count > 70;
                });
                var result = driver.FindElements(By.CssSelector("ytd-rich-item-renderer"));
                foreach (var element in result)
                {
                    Console.WriteLine(element.Text);
                }
            }

Я попробовал так. Когда я скролю браузер, подгружаются элементы и как только их становится больше 70 тут же переходит к следующему блоку кода.

Вот для питона. Сам не пробовал, но понял принцип что вам надо общаться через сокс. Поймете принцип, сделаете и для java

https://jarroba.com/anonymous-scraping-by-tor-network/

Фишка гугловской рекапчи, что она сидит в коде на требуемом вам сайте. При прохождении капчи отправляется форма вместе с секретным ключом, который проверяется у гугла, что секретный ключ правильный и после этого идет обычная работа сайта.

Так что скорей всего у вас не получится "на изи", там все же специалисты не за 40к зп сидят.

У меня получалось обойти проверку на Яндексе через правильно подставленные заголовки и подмена куков, может и здесь проканает. Самое главное это ведь максимально притвориться человеком.

Используй API

Получение постов

Почему ты просто не сделаешь так?

if (isset($categories[$category]) {
 echo $category;
}

А еще не понятно зачем ты делаешь запрос к базе и прокручиваешь свое условие внутри результата, у тебя точно что-то приходит с бд?

Вы неправильно решаете задачу. Большинство типовых задач нужно решать от кого-то к себе, а не от себя кому-то.

Вот возьмете вы базу, а за актуальностью кто будет следить? Один вам вариант уже предложили, вполне неплохо.

Могу сказать что делать маппинг из пустого в порожнее это просто, а сделать приложение которая решает жизненные проблемы это другое.

Поэтому только через опыт. Я вот писал 2 парсера. Оба они на что-то заточены. Первый товары в любом объеме может парсить прямо в сайт. Второй мой последний может парсить для последующего каркаса будущего сайта. Сейчас в скором времени буду писать мегакомбайн способный парсить любой контент руками домохозяйки. Ибо самому даже задрало настраивать одно и тоже. Актуально это для соцсеточек, всяких фото галерей. Но тут с SPA, js и весь этот бред, нужно какое-то решение.

Желательно чтобы на калькуляторе работало. Я думаю на js лучше не писать парсеры, только в ноги стрелять им. Очень прикольный и костыльный язык - люблю и ненавижу его.
C#, python, PHP, GO думаю норм будет.

Я вот пишу на PHP и мне норм, если меня не устраивает скорость, то я просто фигачу новый 24МБ поток и все.

Все зависит как вы архитектуру умеете строить. Я вот не смотря на опыт, все равно пишу чувствуя что пишу ересь и поэтому можно переписать. Помните, рефакторинг - зло. Можно переписывать тысячу раз Фибоначчи и все равно это будет мусор.