Для операций сводящихся к арифметике указателей.
Помимо непосредственно арифметики указателей сюда относятся индексация и длина слайсов/массивов/векторов/строк, capacity вектора/строки, размеры и выравнивание типов, смещение полей относительно начала структуры.
Но в целом, где удобно, там и используйте, никто не запрещает использовать usize/isize как и другие int типы