Проблема как раз в переключении режимов из графики в текст и обратно, при работающей графике. Проявляется иногда не только на драйверах интел, но и на других карточках, кому как повезет. Но интельные драйверы здесь в лидерах. Да, проявляется очень часто из-за включенного скринсейвера с какими нибудь фракталами и очень активным GPU. Подробно описывать суть проблемы не буду, но связана она с распределением ресурсов графической памяти в разных драйверах, отвечающих за консоль и собственно Xwindow, и загрузкой дополнительных ресурсов (расширение буфера, подгрузка фонтов и т.д.) в "текстовую" (codepage) часть карточки. При этом графический драйвер вполне может переписать часть информации, аллокированной консольным драйвером.
Самый простой выход из положения, отказаться от красивостей в консоли, если используете Xwindow. Выбирайте что-то одно...
Если графика (XWindow) не запущена, то проблем с modeset никаких нет!