Uno

Uploadcare.com делает именно все то, что ты описал

раз это file:///, значит это локальный файл. js/html+js. устанавливал тебе куки при открытии него очевидно.
удалить не можешь потому что его уже нет, а браузер не может нормально эксепшн такой обработать, твои аверы уже скорее всего его давно потерли, либо по любым иным причинам.

Все решения по противодействию системам защиты направлены только на существующий в них функционал. Вывод - изучай существующие системы защиты, т.е. антивирусы.
Что в них есть в общих чертах?
- сигнатурное детектирование, исполняемый файл пилится на кусочки и все эти кусочки сравниваются с бд, далее скоринг, при наборе определенного кол-ва баллов - файл - вирус.
- несигнатурное, - поведенческое, эвристическое, любое другое, - нигде ничего не сранивается, а в код антивируса вшиты в общем виде злоумышленнические паттерны поведения, что тоже в совокупе отправляется на скоринг из первого пункта.

Наиболее эффективными в последнее время оказались не черные списки (как сами антивирусы), а белые - смарт скрин от виндоус итд. Когда у тебя запускается не что угодно, и в процессе проверяется, и если вирус - не запустится уже ни у кого (у кого есть такой же антивирус), а изначально, у первого кто запустил - централизованного поставщика функционала белого списка ПО проверяется большим количеством инструментов, и если ок - запускается у кого угодно навсегда.

Надежда выявить злонамеренное программное обеспечение сводится лишь к надежде, что все вместе взятые антивирусные компании работают хорошо, правильно и грамотно. От словосочетания "вместе взятые" додумывается самый эффективный локальный способ выявлять злостное ПО - установить на виртуальную машину как можно больше неконфликтующих между собой антивирусных решений, и проверять семплы там. У кого эвристика лучше работает, у кого - статика. Отсюда и антивирусные компании поняли, а почему бы и нам не взять на вооружение подобие данного способа - и начали перед запуском любой программы запускать её сначала в песочнице, и смотреть на её поведение там. Вирусы научились детектировать песочницы, и в них не делать ничего опасного и выдающего их.

В общем, это - "кошки-мышки". Твой вопрос достаточно общий - по типу "а как поисковые системы копят столько информации, я слышал о каких-то кроулерах, но неужели все так просто?" - ну да, не так просто, а с какой целью интересуешься? Думаешь, с вопроса на тостере сможешь начать самую успешную в будущем антивирусную компанию, или наоборот, сделать вирус, который обойдет все их системы защиты?