Рисовать следует в dpi финального продукта (либо в ещё более высоком dpi с последующим масштабированием). Т.е. если картинка для печати в 300dpi, то и рисовать нужно на канве с минимум 300dpi. На обычных мониторах плотность точек существенно ниже (например 72dpi, 96dpi), чем у принтеров.
Конкретно на первой картинке не "мыло", а линии нарисованы кистью с мягкими краями.
И, самое главное, Фотошоп работает с растровой графикой, поэтому при масштабировании качество ВСЕГДА будет ухудшаться. Иллюстратор, или любой другой редактор векторной графики, этой проблемы лишён, но там уже есть другие проблемы и свои нюансы.