Попробуй сделать в запросе AS `count_items`
$sql = "SELECT COUNT(*) AS `count_items` FROM `my_php_blog`.`items_table` WHERE id_category = $id_category";
Тогда твой вывод будет несколько другой и взять значение можно будет красивее
echo $count_items_return[0]['count_items'];
Но мне кажется будет более изящнее делать через fetch_assoc();
Удачи.