Если подключили недавно, то не у всех успели DNS-записи обновиться. Если злоумышленник знает ваш IP за Cloudflare, он может задудосить вас напрямую в любом случае, потому если поставили Cloudflare перед вами ради защиты от DDoS - рекомендуется поменять IP'шник вашего сервера на тот, о котором злоумышленник ничего не знает. Ну и дополнительно - запретить к веб-серверу доступ напрямую, разрешить только с IP-адресов Cloudflare.
Ну и напоследок, настроить nginx так, чтобы он доверял Cloudflare и подставлял IP-адрес в remote_addr:
nginx.org/ru/docs/http/ngx_http_realip_module.html