Удалось самому решить проблему.
Баг хорошо виден на эмуляторе, где можно делать любое количество кликов по одной и той же точке. Суть бага в том, что периодически теряются клики в области кастомного уведомления. Находятся такие точки, где можно утыкаться до бесконечности, пока не сместишь мышь. Всё это носит случайный характер.
Похоже, этот баг связан с внутренней оптимизацией, излишней. Если корневой layout пустой, то на него вообще не повесится обработчик клика через setOnClickPendingIntent. Если не пустой, то клики проходят рандомно.
Чтобы убрать баг достаточно добавить в разметку элемент типа Button/ImageButton. Просто добавить, не вешая на него обработчик клика, и тогда нормально заработают клики на все другие элементы, на которые повешен setOnClickPendingIntent.
Пример неработающей разметки, в которой для исправления достаточно раскомментировать ImageButton.
<?xml version="1.0" encoding="utf-8"?>
<LinearLayout
xmlns:android="http://schemas.android.com/apk/res/android"
xmlns:tools="http://schemas.android.com/tools"
android:layout_width="match_parent"
android:layout_height="match_parent"
android:orientation="horizontal"
tools:layout_height="64dp">
<FrameLayout
android:id="@+id/button_1"
android:layout_width="wrap_content"
android:layout_height="match_parent"
android:layout_weight="1"
android:background="@color/colorPrimaryDark">
<ImageView
android:layout_width="wrap_content"
android:layout_height="wrap_content"
android:layout_gravity="center"
android:src="@drawable/ic_notify_1"/>
</FrameLayout>
<FrameLayout
android:id="@+id/button_2"
android:layout_width="wrap_content"
android:layout_height="match_parent"
android:layout_weight="1"
android:background="@color/colorPrimaryDark">
<ImageView
android:layout_width="wrap_content"
android:layout_height="wrap_content"
android:layout_gravity="center"
android:src="@drawable/ic_notify_2"/>
<!--<ImageButton
android:layout_width="64dp"
android:layout_height="64dp"
android:layout_gravity="center"
android:layout_margin="0dp"
android:padding="0dp"
android:src="@drawable/ic_notify_2"/>-->
</FrameLayout>
</LinearLayout>