Вам стоит обратить свой взор на
GAN'ы, а конкретно - на WGAN(
1,
2) и
CGAN. В качестве примеров кода могу посоветовать три репозитория:
1,
2,
3,
Если таки надумаете ковырять GAN'ы, настоятельно рекомендую вам вот
этот репозиторий. В нём собраны некоторые приемы, позволяющие улучшить качество генерируемых примеров.
UPD. Ещё рекомендую глянуть
Chainer GAN и совсем свеженькую статью
Progressive Growing of GANs.