Семен Пятницкий

для вашего запроса не нужны связи, вот ка-то так

Call.where('CallContragent' => 123).or.where('CallContact' => [123, 123, 123]) # rails 5
Call.where('CallContragent = ? OR CallContact IN ?', 123, [123, 123, 123]) # rails 4

А вообще в модели Call судя по всему должно быть

belongs_to :client
belongs_to :contact

А в Client

has_many :calls
has_many :contacts, through: :calls

В Contact - что-то аналогичное тому что с Client, только для вызовов и клиентов