O . J

Попробуй так

SELECT * FROM `first` as t1
 LEFT JOIN `second` as t2 ON t1.id COLLATE utf8_unicode_ci = t2.number_id COLLATE utf8_unicode_ci;

Но COLLATE может замедлить выполнение запроса, поскольку серверу придется преобразовывать значения перед сравнением, если это возможно - поменяй кодировку одного из столбцов

Хранить все в базе.
Пользователи отдельная таблица, группы отдельная таблица. И используется промежуточная таблица связей между сущностями при реляционных БД и связях "многие-ко-многим"
А месседжи чата по первоначалке можешь хранить в одной таблице. Которую потом можно привязать к промежуточной таблице msgid | user | group
А при реализации бэкенда чата, просто сапоставляешь, какие пользователи принадлежат группе в которой стартанул чат.
https://habrahabr.ru/post/193380/