throughtheether

необходимо настроить чтобы для сайта site.com выдавало мой DNS сервер,либо для всех сайтов использовался мой DNS

Я не понял, что вы хотите сделать. Что значит "выдавало мой DNS сервер"? Вы хотите, чтобы определенное имя хоста разрешалось в заданный IP-адрес? Тогда вам, на мой взгляд, следует:
1) активировать DNS-сервер на 7200 (см. документ)
2) настроить DHCP-сервер, чтобы он раздавал необходимые настройки DNS
3) прописать необходимое соответствие имени и адреса (ip host hostname ipaddress) на 7200

Или уточните, что вы имели в виду.
UPD:

Да вы полностью правы.Покажите пожалуйста как на текущем конфиге прописать это

Если еще актуально, то вот примерная конфигурация. Перед ее применением рекомендую сохранить текущую конфигурацию. Тестировать конфигурацию рекомендую в период наименьшей нагрузки.

ip dns server
ip name-server 8.8.8.8
ip dns server queue limit forwarder 10
ip host site.com 1.2.3.4
ip dhcp pool lab
 no dns-server 4.2.2.6 4.2.2.5 
 dns-server 69.27.242.65

В данном случае предполагается, что домен site.com необходимо разрешать в 1.2.3.4 для всех dhcp-клиентов. В случае, если вам надо поддерживать свою зону, конфигурация будет отличаться. После применения конфигурации рекомендую пронаблюдать потребление ресурсов (show processes cpu, show processes memory).

Также надеюсь более не наблюдать резких высказываний в адрес коллег.

Что такое open resolver?

В данном контексте - DNS-сервер, отвечающий на рекурсивные запросы любому хосту. Если злонамеренный хост подделывает IP-адрес источника и формирует запрос, ответ на который имеет значительный размер, то он может сгенерировать (при помощи вашего сервера) значительный объем трафика до произвольной цели. Часто это используется для проведения DDoS-атак (техника называется DNS Amplification).

Подскажите, как решить проблему.

Найти на своем VPS DNS-сервер. Далее изменить его настройки соответствующим образом (пример, еще пример) или деактивировать, если он не нужен.

Никаких других DHCP в сети нет.

Уверены? Попробуйте с клиентского компьютера обращаться к DHCP-серверу (ipconfig /release, ipconfig /renew), при этом наблюдая трафик в wireshark. Посмотрите, есть ли различия в ответах сервера.

В результате сайт полег от атаки через пару часов.

Вы уверены, что это именно целенаправленная атака? Исходя из каких данных вы делаете такой вывод? В моем опыте были пациенты, у которых сервер генерировал главную страничку при помощи SQL-запроса с множеством операторов join, с полным отсутствием кэширования, со специфической конфигурацией (nginx на windows). Сайт переставал работать при 30 одновременных клиентах. Естественно, внешние мероприятия по фильтрации трафика могли гарантировать работоспособность сервера только при условии его доступности узкому кругу веб-клиентов. Как правило, объяснить это таким людям было затруднительно.

Я вчера подключила couldflare, не знаю поможет ли это при уже идущей атаке

Может помочь. Но, насколько мне известно, можно узнать ip-адрес, на который cloudflare переадресовывает трафик, и соответственно направить атаку. Соответственно, нужны дополнительные меры защиты на вашем хостинге (запретить входящий трафик, кроме перенаправляемого с cloudflare)

Атака http - флуд. Есть ли какие-то еще способы защиты?

Я как сетевик выскажу свое мнение (стоит учитывать проф. деформацию личности). Я полагаю, что говорить о дополнительных мерах защиты (аппаратные решения и прочая) имеет смысл только если входящий трафик на сервер составляет значительную долю (50-60%) пропускной способности интерфейса. Я полагаю, что сервер, в идеале, должен выдерживать line-rate объем трафика, то есть объем трафика, полностью утилизирующего пропускную способность сетевого интерфейса. И только исчерпав возможности оптимизации сервера, имеет смысл обращаться к внешним решениям. Незрелая оптимизация в данном случае, я полагаю, вредна. Однако, учитывая наличие сервисов вроде cloudflare, использовать их в ряде случаев (вроде вашего) полезно.

Слышала о каких-то фаерволах, плагинах для wordpress (сайт на нем стоит

Если много запросов из нецелевых стран, что бывает при покупке вероятным злоумышленником дешевого ботнета, то можете попробовать фильтровать клиентов по странам, используя базы geoIP. Но будьте готовы к ошибкам определения. Также стоит задуматься о настройках кэширования.

Дорогой хостинг пока нет возможности купить...

У вас используется shared-хостинг? Если да, то задумайтесь о покупке VPS, настроив кэширование при помощи cloudflare. Это даст вам гибкость настроек. Хотя в редких случаях shared-хостинг может быть более устойчив к некоторым атакам, нежели дешевый VPS.

Вкратце - вы сделали что могли (подключили сервис cloudflare). Для дальнейшей настройки необходимо понимать многие нюансы работы вашего сайта. DDoS-атаки в вашем случае может и не наличествовать. Вам стоит задуматься об организации грамотной поддержки вашего сайта (нанять системного администратора или самостоятельно углубиться в этом направлении).