При условии:
<table id="messages">
<tbody></tbody>
</table>
будет:
$('table#messages tbody').append('<tr><td>test</td></tr>');
или
$('table#messages>tbody').append('<tr><td>test</td></tr>');
или
$('tbody', 'table#messages').append('<tr><td>test</td></tr>');