Зависит от виджета. Применительно к меню необходимо применять кастомные Walker's, для бутстрапа есть
готовый. К остальным виджетам по усмотрению. Если нужно кастомизировать только контейнер, в котором находится виджет, можно залезть в functions.php, создать там новый сайдбар \ изменить существующий (как предложили выше), и дописать там нужную разметку в свойства before_widget \ after_widget. Не забудьте указать там в списке классов %1$s %2$s - это важно. Затем есть два пути, мой и неправильный:
- жестко указываете нужные классы бутстрапа в functions.php на предыдущем этапе
- устанавливаете плагин
Widget CSS Classes, и потом, при добавлении виджетов в админку, вы получите возможность указывать css-классы бутстрапа для каждого виджета. Например, каждый виджет можно представить как одну колонку. Само собой, это и есть правильный способ.
Также нужные классы можно прописать в самом шаблоне темы, "обернув" сайдбар в нужный div, если эпопея выше каким-то образом не подходит.
Ну а чтобы создать полностью свой виджет, со своей разметкой, нужно создавать собственные классы и регистрировать их в пресловутом functions.php. Это отдельная тема, и если суть только в оформлении, вам это не нужно.