Что за ИДЕ? Эклипс вроде бы ищет тупо перебором файлов, а если у вас много памяти, эти файлы постепенно оседают в кеше и поиск фактически ведется в памяти.
Другие ИДЕ могут создавать для этого индексы. Индексы бывают разные. Самый примитивный индекс — когда исходный код разбивается на слова, но он не позволяет искать по кусочкам слов или маске.
Понятно, что, к примеру, гугловцев такой примитивный подход не устроил. Потому, когда они делали в google code поиск по регулярным выражениям, они придумали свой алгоритм построения индекса: один из вариантов построения триграмного индекса для поиска по регулярным выражениям:
swtch.com/~rsc/regexp/regexp4.html Можете почитать, если интересно.