Дмитрий, да, вам нужно определять только в одном классе. Во втором классе поле отношения (users либо uploaded_files) будет доступно благодаря тому, что вы указали backref, то есть.
files_users = Table(...
class File:
name = ....
class User:
name = ....
files = db.relationship('File',
secondary=files_users, backref='users') # теперь у класса File по аттрибуту users будет доступен список связанных пользователей
