Помимо оптимизации нужно просто делать что-то быстрее, чтобы было быстрее. Тут ты можешь просто напросто упираться в предел своих возможностей, которые зависят от текущих навыков, которые, в свою очередь, прокачиваются практикой, например.
Или что-то тормозит тебя: какие-либо внешние факторы, или простое отсутствие концентрации, в связи с чем, порою (а может и почти постоянно) твоя производительность падает.
З.ы. Оптимизации тоже есть место быть, но далеко не факт, что виной всему является именно оптимизация (или же её отсутствие).