Результат ожидаемо лежит посредине между примерами с 0 и -1.
Дело в том, что для конструирования set необходимо проити по всем элементам массива в любом случае. А поиск в сете действительно проработает быстро, так как set является hash map с поиском за O(1).
Линейный поиск же имеет шанс найти позицию не доходя до последнего элемента, что отлично видно на случае с поиском 0.
-1 гарантированно отсутствует в массиве, поэтому мы проходим по всему массиву и наблюдаем худший случай для линейного поиска. Стоит заметить что даже в этом случае конструирование сета более чем в 5 раз медленнее, так как требует дополнительных операций с вылелением и копированием памяти.
Но, разумеется, это не значит что set не нужен. Просто паттерн его использования совершенно другой. Если бы нам нужно было произвести поиск 100 различных чисел в коллекции, то тогда перевес был бы на стороне set.