factory – это метод, которому передается параметр :home (в руби, как известно, круглые скобки можно опускать) и блок (всё, что между do и end). factory вызывается в блоке, который передается в FactoryGirl.define, где define – метод класса FactoryGirl. И, да, всё это и есть тот самый DSL.
test = create (:home) – на самом деле, полная запись выглядит как FactoryGirl.create(:home). Просто чтобы не писать постоянно класс FactoryGirl, его методы инклудят в файле spec_helper.rb: config.include FactoryGirl::Syntax::Methods
Тема довольно трудная для понимания. О том, как устроен FactoryGirl очень хорошо написано в статье
https://robots.thoughtbot.com/writing-a-domain-spe... – там пишется свой FactoryGirl с объяснением всех моментов.