Работать с файлами лучше через
FileStream, чтобы полностью контролировать весь процесс:
string filePath = "123.jpg";
using (var file = new FileStream(filePath, FileMode.Open, FileAccess.Read, FileShare.Inheritable))
{
pictureBox1.Image = Image.FromStream(file);
}
File.Delete(filePath);
Многие упрощенные методы работы с файлами нередко блокируют доступ к файлам. Такие методы имеет смысл использовать только для одноразовых файловых операций (когда нужно один раз прочитать или записать данные и не более этого).