Нужно убрать либо у UploadedFile, либо у User определитель отношения, если вы используете backref, поскольку backref как раз определяет имя поля этого класса для связываемой сущности, и он там и так будет доступен.
По частоте, тут нет особой разницы, все равно, при указании backref, у обеих сущностей будет доступ к связанным с ней записям.
