1. Получить список IP адресов, ассоциированных с целевым сайтом. В простейшем случае - через DNS запрос, но в некоторых случаях это может быть сложнее (например, сайт использует CDN).
2. Получить список активных TCP соединений, у которых удалённый порт 443 (опционально, 80). Определить удалённые адреса.
3. Проверить, пересекаются ли два множества адресов.
Этот подход обломается, если браузер использует прокси, или если на машине поднят VPN.
Альтернативно, установить системный прокси сервер, который будет отслеживать открываемые сайты. Но браузер не обязан его использовать, так что это тоже ненадёжно.