Задачи по моделированию химических соединений/белков/фолдинг это на 90% линукс+суперкомпьютеры.
Готовый QM/MM софт разнится в зависимости от задачи. Опишите свою подробнее.
Для белков есть, к примеру, Gromacs(
www.gromacs.org/). По нему много грамотных туториалов в интернете.
Если я верно понял вашу задачу, она:
1. звучит как: "найти парную корреляционную функцию для металла/расплава с примесями".
2. студенческая задача
При этих условиях хватит: "эмпирические потенциалы", "потенциал Морзе", "потенциал Леннарда-Джонса", "метод Монте-Карло".
Не мое, но работа хорошая, даст понимание теории и возможного результата.
https://mipt.ru/education/chair/computational_math...
Финальная функция для вашей задачи будет суперпозицией функций потенциалов каждой используемой пары атомов.
Когда будете писать модель, можете ввести медленное охлаждение системы, что позволит взять меньшее количество атомов для той же финальной точности.
Визуализировать можно с помощью Avogadro(есть windows-версия) или любого иного софта.