Подмассивами, по аналогии с табличной версткой
keyboard = [
[
InlineKeyboardButton("Option 1", callback_data='1'),
InlineKeyboardButton("Option 2", callback_data='2')
],
[
InlineKeyboardButton("Option 3", callback_data='3'),
InlineKeyboardButton("Option 4", callback_data='4')
]
]