os.system("su -lc \"screen -p 0 -r server -X stuff \'stop\n\' \" admin")
Если в строке есть символы ' или " - их следует инвертировать. Это даст интерпретатору понять, что их не следует обрабатывать как окончания строки, а как текст внутри строки
P.S. Советую почитать Dive into Python - работа со строками и консолью там объясняется почти с самого начала.