Если используешь для работы с базой движок sqlite3, то будет как-то так
con = sqlite3.connect("mydb.sqlite") #подразумеваю, что таблицу ты уже создал
cur = con.cursor()
cur.execute("SELECT id FROM users")
ids = [row['id'] for row in cur]
Только если данных много, такой запрос может съесть много памяти.
Так что встречный вопрос: а тебе зачем выбирать всю таблицу? Может, всё-таки нужно отфильтровать часть записей?