Клиент для Kafka на PHP?

Question

[Сергей]

Посоветуйте клиент для кафки с минимальными требованиям (установить через композер и без кучи зависимостей), необходимо только чтение данных из кафки

Искал простой клиент для Kafka, но:
https://github.com/arnaud-lb/php-rdkafka Просит установить доп либу librdkafka и работают через pecl https://packagist.org/packages/nmred/kafka-php Зависит от psr/log: 1.0.2, с psr/log: 3.0 не работает.
https://packagist.org/packages/quipo/kafka-php - работает со старыми версиями кафки

Либо это пакеты для ларавеля-симфони или огромное количество зависимостей.

Comments

[Дмитрий]

Поиск по пакажисту весь просмотрели?
https://packagist.org/?query=kafka

[Дмитрий]

Да и логгер не проблема, можно хоть самому реализовать, там один метод. Либо воткнуть нуллоггер

[Сергей]

Дмитрий, Да, все 415 страниц) в вопросе я четко написал почему не нашел ничего подходящего

[Дмитрий]

Сергей, ну тогда самому собрать из нескольких пакетов свой

[Кирилл Горелов]

А почему не хочешь ставить с зависимостями?
Что пугает?

[Сергей]

Кирилл Горелов, Увеличение кодовой базы, за которой необходимо следить, которую нужно проверять и обновлять. Когда зависимостей 2-3 еще нормально, когда их штук 5, то нафиг такие пакеты нужны.
По политике безопасности весь код обязан пройти ревью, тесты на уязвимости, поэтому усложнять себе жизнь не хочется. По той же причине не хочется использовать pecl, тк необходимо будет отправлять запрос на установку этого ПО в службу безопасности.

Answer 1

[alvi31182v]

https://github.com/arnaud-lb/php-rdkafka - на данный момент это пока самая рабочая либа. И без глубокого понимания как работает кафка тебе не удасться сделать клиент учитывая все абсолютно все настройки для кафки.
Через композер тебе только пакет (kwn/php-rdkafka-stubs - "Rdkafka extension stubs for your IDE"). Остальное уже librdkafka (pecl) и на оф manual для запуска циклов опроса для чтения данных из кафки есть примеры и они хочешь не хочешь завязаны уже в pecl
https://arnaud.le-blanc.net/php-rdkafka-doc/phpdoc...

Если тебя волнует проблема безопасности этих либ и внутрянки с уязвимостями то просто сделай
composer audit
никаких проблем с бозопасностью

Comments

[Сергей]

Спасибо, видимо придется её и использовать (других адекватных я не нашел) и для нее надо либу на сервере ставить и pecl заодно. Просто нужно теперь делать запрос в отдел безопасности для одобрения, потом девопса напрягать.

[alvi31182v]

Я совсем забыл. Кстати если опса решили напрягать, то ты можешь использовать KsqlDb server и создавать стримы на основе имеющихся топиков, потом читать с этих стримов по API https://docs.ksqldb.io/en/latest/developer-guide/k... выбирать необходимые поля для себя и записывать эти данные к себе в бд через kafka connector
Java либа JDBC.connector
Для mysql, postgres и т.д.
Тебе только либу Guzzle для пыхи затащить и делать API запросы. Тогда не нужны тебе будут эти Кафка либы на пхп.
Далее по документации глянешь поймёшь как построить апи select. Но что бы селектить для начала тебе надо создать CREATE STREAM твой_стрим_
https://docs.ksqldb.io/en/latest/developer-guide/k...
Потом уже можешь обращаться к стриму через SELECT твои поля FROM твой_стрим EMIT CHANGES;