Лучше начать с другого конца. Не с расширения файла и его содержимого, а с того, кто и зачем его создал, какое приложение. Далее с помощью гугла можно узнать про это приложение больше информации, что у него за файлы там такие и для каких целей. Какая история создания этого приложения. Чем авторы пользовались при разработке. Может это вообще к языку Lua не имеет отношения. А если имеет, то станет ясно, с чего начать "вскрытие" этой каши.
Ну а если есть доступ к автору, то тогда совсем всё просто - можно спросить автора лично, чем он запаковал свои файлы, и можно даже попросить исходники. Не факт, что даст, но это то, с чего стоит начать. Можно написать не напрямую разработчику, а хотя бы в тех. поддержку.
Ведь кто угодно и что угодно может назвать *.luaq, и на основании одного лишь расширения и отсутствия текста внутри было бы странно заключать, что конкретно там содержится, и уж тем более чем вскрывать. А больше подсказок в вопросе вы не привели.
Простой
