Нужно ограничить кол-во столбцов функцией column, и в ней box()/tabBox() 12 - использовать всё пространство которое указано в column. Получил желаемый результат
fluidRow(
column(3,
box(width = 12,
fileInput(NS(id,"file"), "Загрузить файл",
buttonLabel = 'Загрузить', placeholder = 'Файл не выбран')),
tabBox(width = 12,
tabPanel('column',
useShinyjs(),
hidden(checkboxGroupInput(NS(id,"select_column"),'Колонки', choices = ''))),
tabPanel('drop',checkboxInput(NS(id,'drop_na'), 'drop na') )
)
),
column(9,
box(width = 12,dataTableOutput(NS(id,'outTable')))
)