Вопросы по статье на хабре о LINQ — IEnumerable и IQueryable, в чем разница?

Question

[footballer]

https://habrahabr.ru/post/108407/ - статья.
И мои мысли с вопросами по ней:

Насколько я понимаю LINQ-запросы, выполнение Select, Where и др. на IEnumerable должно привести к тому, что запрос не будет преобразован в sql, и условие выполнится после получения всех данных из БД, потому что перегрузки этих методов принимают не Expression , а Func. Наоборот, реализации Select, Where и др. на IQueryable принимают Expression, который будет преобразован в sql , поэтому условия запроса будут выполнены на сервере БД.
Автор в своем коде внутри метода ToModelUsers вызывает Select на IEnumerable, поэтому у него происходит несколько запросов в БД.
Далее, автор пишет:

Пытаюсь излечить данную проблему, меняю код репозитория у на следующий:

где он просто внутрь метода GetUsers добавил такой код:

.Select(u => new Model.User {
    Id = u.Id, Name = u.Name, Parameters = u.Parameters.Select(p => new Model.Parameter {… })
  });

и сразу у автора:

Картина меняется кардинально. Всего 1 запрос, в котором грузятся как user-ы так и Parameter-ы

Тут меня насторожило, как же так, ведь код метода ToModelUsers не изменился и по-прежнему выполняет Select на IEnumerable. Я решил проверить это в линкпаде. Написал аналогичный код, юзающий контект EF (только вместо методов-расширений, которые использовал автор, я заюзал обычные методы, принимающие переменную, т.к. линкпад по непонятной причине не мог найти методы-расширения, но это мое изменение не должно было ни на что влиять). Мой код, который был написан таким же, как первоначальный код автора, действительно вызвал кучу запросов в БД (не было джойна). Потом я изменил код, добавив то же, что добавил автор, но, как я и предположил, кол-во запросов не изменилось.
1) Поэтому мой первый вопрос: почему автор пишет, что добавление Select внутрь метода GetUsers привело к тому, что вместо кучи запросов теперь выполняется только 1 запрос, если мой эксперимент это опровергает? Может, автор что-то напутал?

Дальше автор пишет:

Есть 2 пути, либо указывать тип IQueryable для возвращаемого значения

и меняет тип возвращаемого значения у метода ToModelUsers с IEnumerable на IQueryable. Я продолжил свой эксперимент, и выяснилось, что чтобы получить только 1 запрос, не обязательно менять возращаемый тип у метода ToModelUsers, как сделал автор, а достаточно поменять тип принимаемого параметра с IEnumerable на IQueryable только у метода ToModelUsers. После этого внутри метода ToModelUsers мы выполняем Select не на IEnumerable, а на IQueryable, поэтому передаем в Select Expression, а не Func, за счет чего запрос трансформируется в sql. То есть, эксперимент показал, не важно, выполнять ли ToList на IEnumerable или на IQueryable, т.е. не всегда нужно все приводить к IQueryable. Важно, вызовем ли мы Select на IQueryable вместо IEnumerable, передавая туда именно Expression, а не Func. Так что, как мне кажется, автор и тут что-то напутал.

Дальше, тут уже я сам не понял происходящего. Метод ToModelParameters вызывается изнутри Expression из метода ToModelUsers, т.е. при попытке конвертировать экспрешшен в sql должен упасть эксепшен (как я помню, всегда так и было). Но при выполнении кода в линкпаде никаких эксепшенов не падает, все нормально выполняется в 1 запрос. Я решил проверить в студии в окне Interactive, ввел туда аналогичный код, запустил, и в студии как раз упал этот эксепшен:

LINQ to Entities does not recognize the method 'System.Collections.Generic.IEnumerable`1[Model.Parameter] ToModelParameters(System.Collections.Generic.IEnumerable`1[Model.Parameter])' method, and this method cannot be translated into a store expression.

2) Так что мой следующий вопрос: как такое может быть, что вызов метода ToModelParameters изнутри экспрешшена работает в линкпаде?

Comments

[Сергей]

Забей на статью аФтор, который подобным образом пишет методы расширений не понимает как и зачем использовать EF. IEnumerable и IQueryable это интерфейсы, которые реализованы той или иной коллекцией, более того IQueryable наследуется от IEnumerable и если некий метод возвращает IEnumerable то в вызывающем коде можно можно попробовать привести его к IQueryable и продолжить построение expression tree. Фактическая компиляция и выполнение запроса происходит только при вызове ToList().

Представь таблицу с миллионом записей ...

Подумай в чем разница ?

public IEnumerable SomeMethod()
{
return db.SomeValue.Select(item=>item);
}
и
public IEnumerable SomeMethod2()
{
db.SomeValue.Select(item=>item).ToList().Take(100);
}

...SomeMethod().Where(...);
и
...SomeMethod2().Where(...);

Пусть SomeMethod часть репозитория почему возвращается не IQueryable ?

прочитай про метод Include, надеюсь возникнут хорошие вопросы на, которые с удовольствием отвечу.

[footballer]

А второй вопрос: почему вызов сишарпового метода из экспрешшена норм сработал в линкпаде, но кидает эксепшен при вызове из студии? Такое возможно вообще? Или только вариант, что я где-то накосячил в коде в линкпаде, раз у меня линкпад не упал?

И еще. У юзера есть организация, у организации есть юзеры. Юзаем такой код:
_dbContext.Organizations.Where(o => o.Name.Contains("Roga") && o.Users.Any(u => u.FirstName == "Petr")).Select(...)
в организациях ищем только те организации, у которых имя содержит "Roga" и в юзерах есть хотя бы 1 Петр.
Тут у нас две лямбды: внешняя, которая Expression, потому что передается в Where, который вызывается у DbSet, который реализует IQueryable. И внутренняя, которая Func , потому что вызывается у ICollection, она не Expression, потому что ICollection не реализует IQueryable.
Т.к. первая лямбда - Expression, то query provider (или что там парсит запрос) сможет его распарсить и получить инфу обо всех "узлах", которые заюзаны в выражении: о полях объекта(o.Name, o.Users) , о переменных ("Roga"), об операторах (в данном случае &&) и о методах, которые вызываются на полях(методы Any и Contains, и дальше парсер, зная, что вызываются Any и Contains, уже поймет, в какие sql-команды преобразовать эти методы). Это как я понимаю происходящее при использовании Expression.
Но тут меня напрягает то, что мы в метод Any передаем вложенную лямбду, которая не является экспрешшеном. Ведь парсер должен получить изнутри вложенной лямбды инфу о том, что "у Юзера нам нужно взять поле FirstName и сравнить его с "Petr"). Но вложенная лямбда не является экспрешшеном, т.е., распарсить ее не получится? Или несмотря на то, что вложенная лямбда - не Expression, а Func, но за счет того, что она внутри экспрешшена, сишарп все-равно ее передаст как Expression и она сможет быть распарсена?
Я провел тест, который показал, что запрос в БД содержал фильтрацию по юзернейму "Petr", вот такой был запрос:
FROM [dbo].[Organizations] AS [Extent1]
WHERE ([Extent1].[Name] LIKE N'%Roga%') AND ( EXISTS (SELECT
1 AS [C1]
FROM [dbo].[AspNetUsers] AS [Extent3]
WHERE ([Extent1].[Id] = [Extent3].[OrganizationId]) AND (N'Petr' = [Extent3].[FirstName])
))
что говорит о том, что лямбда-Func была распарсена движком подобно лямбде-экспрешшену. За счет чего это произошло?
Я, вообще, раньше считал, что тут вложенная лямбда распарсится (каким бы то ни было образом), что, собсвенно, и произошло. Но вот я только что захотел вынести вложенную функцию в отдельную переменную, чтобы заюзать ее дальше в Select. Т.е., я хотел сделать так:
Func func = u => u.FirstName == "Petr";
return _dbContext.Organizations.Where(o => o.Name.Contains("Roga") && o.Users.Any(func)).Select(...)
и тут я подумал, если я так сделаю, то это уже будет конкретный вызов сишарповой переменной func изнутри экспрешшена, а это явно должно привести к падению. Я проверил этот код, и он реально кинул эксепшен
*Internal .NET Framework Data Provider error 1025.*

В общем, мои вопросы:
1)любая вложенная в Expression лямбда тоже является экспрешшеном, несмотря на то, что ее тип может быть показан студией, как Func?
2)если да, поэтому мы не можем ее вынести в отдельную переменную, чтобы заюзать в нескольких местах, потому что тогда мы во внешнем экспрешшене используем не лямбду, а ссылку на переменную с лямбдой?
3)как-нибудь можно решить проблему невозможности вынесения вложенной лямбды в отдельную переменную? Объявить переменную как Expression не получается, т.к. Any на ICollection не принимает Expression.