Скорее всего, в задаче предполагаются целочисленные координаты. В этом случае ошибка в использовании sqrt, так как задачу можно решить в целых числах: использовать например, скалярные произведения.
Если же нет, то сравнивать на равенство надо с использованием эпсилонов. И в любом случае забыть про формулу Герона.
