преобразовать list в set , в сете останутся только уникальные элементы (тк не все функции могут принимать set вместо list, можно на всякий случай преобразовать снова в тип "список")
но тут не набор уникальных элементов нужен, а обрезать всё, что после инстаграмма. Если именно так, то, зная, где резать, можно в каждом элементе в генераторе списка отбрасывать первые 26 символов и последний
i=[i.find_element_by_tag_name('a').get_attribute('href')[26:-1] for i in all_urls]
если не получится, то еще раз прогнать
i=[x[26:-1] for x in i]