Попробуйте удалить сайдбар и добавить заново с нужным тегом в functions.php дочерней темы:
add_action( 'widgets_init', 'dco_change_sidebar_tag', 11 );
function dco_change_sidebar_tag() {
unregister_sidebar( 'colormag_right_sidebar' );
register_sidebar( array(
'name' => esc_html__( 'Right Sidebar', 'colormag' ),
'id' => 'colormag_right_sidebar',
'description' => esc_html__( 'Shows widgets at Right side.', 'colormag' ),
'before_widget' => '<aside id="%1$s" class="widget %2$s clearfix">',
'after_widget' => '</aside>',
'before_title' => '<div class="widget-title"><span>',
'after_title' => '</span></div>'
) );
}
Если нужно поменять во всех, то можно попробовать автоматизировать этот процесс с помощью хука
register_sidebar как-нибудь так:
add_action('register_sidebar', 'dco_register_sidebar');
function dco_register_sidebar($sidebar) {
global $wp_registered_sidebars;
$sidebar['before_title'] = '<div class="widget-title"><span>';
$sidebar['after_title'] = '</span></div>';
$wp_registered_sidebars[$sidebar['id']] = $sidebar;
}