В следующий раз показывай полную ошибку с указанием строки и позиции в строке, чтобы не гадать.
`OUT` и `IN` очень общие и любимые литералы в заголовках Windows SDK, вероятно определены как пустые макросы, поменяй имена, например на `T` и `U`, иначе получается
template<typename, typename> constexpr inline
iterable_hash(const* in, size_t in_size, auto iterable_hash_lamda) {
//some code
}
что принимается за очень старый сишный стиль - по умолчанию предполагается, что возвращается и используется `int`, если тип не указан явно.