Память в видеокарте не одним единым блоком, а кучей небольших, привязанных (и то не линейно) к своим процессорным ядрам.
Понять без понимании логики твоего кода когда и что будет быстрее сложно, к примеру последовательное чтение и такая же последовательная запись по уму наиболее быстрая, а вот случайный доступ максимально не эффективный (на порядок).