Чувствую, такое не только на Ubuntu. И расширений толковых нет. Ну всего на несколько пикселей пододвинуть кнопку "закрыть" вплотную к углу! Неужели никак?
Upd: В Chrome есть опция в контекстном меню заголовка для стандартного окна:

А в Firefox такого, вроде бы, нет. Мало того, что крестик расположен дальше от угла, так ещё и хотспот у него круглый (!):
Похоже, дело именно в кнопках Gnome, потому что все окна, оказывается, с таким крестиком. Попробую другие поставить.