Во первых, ПМ приблизительно знает на сколько вы можете ошибаться, и насколько точно вы оцениваете сложность. Поэтому всегда называйте правильное число. Во вторых, всегда логируйте правильное время, и в случае если видите что не вкладываетесь - как можно раньше уведомляйте ПМа, если он сам тому времени не спросит. Это все нормальный рабочий процесс, не переживайте.