Советую глянуть хоть и старую, но хорошую статью по шрифтам от google
https://habrahabr.ru/post/159907/
По поводу SEO что-то я ничего не слышал за такое)) Оно никак не связано с google fonts. На счет минусов - в google есть достаточное количество косячных шрифтов, поэтому надо смотреть каждый раз, не с косяком ли у вас шрифт (сравнить с макетом от дизайнера и с тем что у вас в верстке получается, если с косяком - подключать руками с сервера).