Ivy скачает сам. Если будет знать откуда скачивать. Для этого в ivysettingx.xml нужно указать resolver. Ну и, разумеется, нужно в build.xml поместить команду, которая инициирует скачивание.
В общем, все инструкции разрешения зависимостей и сборки должны присутствовать явно. Ivy лишь позволяет автоматизировать процесс управления зависимостями - и не более того. Если такой подход не нравится, то используйте Maven вместо Ant+Ivy.