Какой язык программирования лучше использоватьна поиска по ftp?

Question

[Ольга Пономарева]

Есть файлы на ftp а также у каждого пользователя есть список с названиями документов по которым будет производиться поиск. Названия документов представлены в виде 123456.[расширение файла] (pdf, xls и др.) Необходимо ввести в поисковую строку названия файлов разделенных точкой с запятой. А далее происходит поиск файлов и выдается список, который можно заархивировать и переслать по почте.
Подскажите пожалуйста на каком языке программирования наиболее эффективно будет написать такое приложение.

Comments

[skrimafonolog]

Алла, а почему ты называешь себя Ольгой?

Answer 1

[skrimafonolog]

Любой. Любой язык программирования, каким лучше владеешь лично ты или каким лучше владеют нанятые тобой люди.

Comments

[Ольга Пономарева]

php подойдет? И если файлов более 300 000?

[skrimafonolog]

Ольга Пономарева,

php подойдет? И если файлов более 300 000?

без разницы.
дело не в языке программирования, а в умении им пользоваться.

Если накладываются ограничения по скорости поиска, то при наличии 300 000 имен файлов я бы уже подумал об индексе. Причем индекс будет нужен независимо от языка программирования.

Если нет ограничений на скорость - то задача решается тупым перебором.
Будет задача реализована на PHP, Python, C#, Golang, Java - по сути ничего не изменит.

[Ольга Пономарева]

Причем здесь индексы? Я ведь на диске файлы буду искать.

[skrimafonolog]

Ольга Пономарева,

Причем здесь индексы? Я ведь на диске файлы буду искать.

Индексы вы можете использовать с чем угодно:

• В СУБД.
  
• Для структур в оперативной памяти (для переменных).
  
• Для файлов на диске.
  

При этом индексы могут быть как храниться на диске (в удобной вам форме), так и могут строиться в оперативной памяти каждый раз - зависит от задачи.

И если файлов более 300 000?

Если скорость не важна, то можно сделать простым перебором хоть 1 миллиард файлов. Язык программирования тут не существенен.

Единственная сложность в задаче будет только если потребуется скорость. Если лимита на скорость нет, то соглашусь с OnYourLips - задача примитивная.

[Ольга Пономарева]

К сожалению лимит на скорость есть. Он должен быть не больше 15 секунд. Т.е. поиск всех файлов сразу должен занимать не более 15 секунд. Возможно ли такое с php?

[skrimafonolog]

Ольга Пономарева,

К сожалению лимит на скорость есть. Он должен быть не больше 15 секунд. Т.е. поиск всех файлов сразу должен занимать не более 15 секунд. Возможно ли такое с php?

Если без индексов - то Вы будете ограничены скоростью вашей дисковой подсистемы, а вовсе не скоростью языка программирования.

Он должен быть не больше 15 секунд. Т.е. поиск всех файлов сразу должен занимать не более 15 секунд

Да просто накидайте на коленке решение и проверьте на вашем железе - мы больше обсуждаем, чем программу написать.

Вызовы операционной системы позволяют сразу получить список файлов по маске.
Тут вся нагрузка будет не на ваш язык программирования - всю работу выполнит ОС.

[Ольга Пономарева]

Хорошо, спасибо за подробное объяснение. пошла реализовывать.

[АртемЪ]

Ольга Пономарева, Скорость поиска мало зависит от языка.
Она зависит от кучи факторов.
Скорость линейного чтения диска, скорость случайного чтения диска, латенси диска, грамотность кода.
Т.е вы можете написать код который будет порождать случайное чтение - будет медленно.
Вы можете написать код который будет приближать чтение к линейному - будет быстро.
Код может делать лишние операции, неээфективно перебирать данные.
На каком языке вы напишите этот код, неважно.

Главное организация самих данных и логики поиска - индексация, испоьзование подходящих для ситуации баз данных и методов поиска.
Например у вас идет поиск по FTP - каждый запрос это приличное время, да еще и оборваться может, надо оптимизировать, уменьшать количество запросов.

Если вам нужно искать не информацию в файлах, а файлы по названиям там вообще все просто - запросили у ftp сервера индекс файлов, нашли в этом файле нужные наименования и все.