Расширение не требуется, можно использовать PAC-файл (или WPAD чтобы автоматически выполнять такую конфигурацию).
Например, для PAC-файла, сделайте файл, c:\proxy\proxy.pac примерно с таким содержимым:
function FindProxyForURL(url, host)
{
if (url.substring(0, 5)=="http:") RETURN "PROXY 1.2.3.4:8080";
return "DIRECT";
}
этот скрипт направляет http:// трафик на прокси, остальной трафик - напрямую. Пропишите
file:///c:/proxy/proxy.pac
В настройках сети/использовать сценарий автоматической настройки/адрес
(так же можно положить этот файлик на внутренний сервер и указать там URI или прописать этот файлик как wpad.dat для WPAD)