нет, кажется в CSS ничего похожего нет. overlflow может только обрезать текст в различных вариациях.
Скорее всего реализовать это можно только на JS — считаем ширину ячейки, потом количество символов * среднюю ширину символа при, например, 12px и соответственно уменьшаем размер текста.
Но вообще этот вариант будет изобиловать косяками — разные размеры шрифта это вообще некрасиво, и не факт, что сильно мелкий шрифт человек вообще прочитает. Лучше подумать в сторону кнопочки «далее», плавающего размера ячейки по высоте или вывода полного текста при «наведении» на нужную ячейку и т.п.
