Константин Ковшенин

> где формируется строка, которая выводит сам проигрыватель.

Она формируется на сайте YouTube: apiblog.youtube.com/2009/10/oembed-support.html

Вот как я бы решил вашу проблему с помощью плагина:

<?php
/**
 * Plugin Name: YouTube Titles
 */
add_filter( 'oembed_dataparse', 'my_oembed_dataparse', 10, 3 );
function my_oembed_dataparse( $result, $data, $url ) {
	if ( ! preg_match( '#https?://(www\.)?youtube\.com/watch.*#i', $url ) )
		return $result;

	$result = sprintf( '<h4>%s</h4><br />%s', esc_html( $data->title ), $result );
	return $result;
}

Учтите, что данные полученные через oEmbed кэшируются в мета-данные поста, так что вам нужно будет обновить все старые записи, чтобы увидеть на них результат.