C# Как реализовать многопоточный поиск файлов по всем дискам?

Question

[vladimirchelyabinskiy]

Добрый день, есть следующий код:

public void SearchFile(string FileLocation)
        {
            // Расширения изображений
            var Extensions = new[]
            {
                ".jpg", ".png"
            };

            string[] files = Directory.GetFiles(FileLocation);
            string[] Directories = Directory.GetDirectories(FileLocation);

            for (int i = 0; i < files.Length; i++)
            {
                string extension = Path.GetExtension(files[i]);

                if (Extensions.Contains(extension))
                {
                    // обрабатываем файл files[i]
                }
            }

            for (int i = 0; i < Directories.Length; i++)
            {
                SearchFile(Directories[i]);
            }
        }

Что нужно добавить для того, что бы программа искала изображения на всех дисках, многопоточно ну или хотя бы задействовать parallel.for

Comments

[georgich]

Приветствую.
Вот есть же ответ на ваш вопрос: stackoverflow.com/a/6230298
Для начала вам нужно реализовать поиск, как это сказано в MSDN: https://msdn.microsoft.com/en-us/library/dd383571.aspx
А потом добавить BackgroundWorker, как ответили на stack'е.

[MonkAlex]

В дополнение - на одном физическом носителе многопоточный поиск может оказаться медленнее однопоточного, зависит от кучи вещей. Значительного выигрыша точно ждать не стоит.

[Виталий Сергеев]

Многопоточность не ускорит поиск по диску, т.к. узкое место в данном случае - диск, а не процессор. Если дисков несколько, можно искать на них параллельно, но это называется не многопоточность, а асинхронность.

Answer 1

[Iron Bug]

Попробуйте поиграться с количеством потоков, т.к. помимо поиска файлов, у вас еще предполагается какая-то обработка, наверняка результаты будут различаться.

class Program
{
    static readonly string[] Extensions = new string[] { "*.jpg", "*.png" };
    
    static void Main(string[] args)
    {
        var drives = DriveInfo.GetDrives().Where(d => d.DriveType == DriveType.Fixed);
        drives.AsParallel().ForAll(d =>
        {
            SearchFile(d.RootDirectory.FullName);
        });
    }

    static void SearchFile(string path, int maxDegree = 1)
    {
        var images = Directory.GetFiles(path).Where(f =>
        {
            var ext = Path.GetExtension(f);
            return Extensions.Any(e => e.Equals(ext, StringComparison.OrdinalIgnoreCase));
        });
        images.ToList().ForEach(i => 
        {
            // process image
        });
        var dirs = Directory.GetDirectories(path);
        dirs.AsParallel().WithDegreeOfParallelism(maxDegree).ForAll(d => SearchFile(d));
    }        
}

Comments

[vladimirchelyabinskiy]

Спасибо большое у вас всегда верное решение :)

[vladimirchelyabinskiy]

А как тоже самое только для net.3.5 сделать?

[Iron Bug]

vladimirchelyabinskiy: Для 3.5 TPL надо поставить отдельно и все будет работать. https://www.nuget.org/packages/TaskParallelLibrary/