Напрямую модемами штатный софт связаться не сможет, мало того если на ПК модем софтовый, то есть шансы что и софт под него не написать, так как процесс соединения он может реализовывать безальтернативно только через
телефонную линию с ожиданием тонового сигнала АТС, а у вас ее нет.
Для соединения двух компьютеров на небольшом расстоянии достаточно
null-модемного кабеля COM или LPT в зависимости от наличия таковых портов. Софт это ожидает и как я помню операционная система (как минимум linux) может на основе такого соединения поднять подключение и tcp/ip сеть (кстати это не эффективно, лучше в стандартном терминале, даже виндовом, передавать файлы)
p.s. точно помню народ экспериментировал со звуковыми картами, подключая их через минимальную схему микрофон<-динамики, но найти сейчас просто инструкцию будет проблематично