Вопросы с меткой [apache-kafka]
Apache Kafka — это распределённая система, предназначенная для обработки потоков данных в режиме реального времени
99 вопросов
0
голосов
0
ответов
13
показов
Как в брокере сообщений "NATS" организовать "сжатие" сообщений перед публикацией и распаковку при чтении на консьюмере
У меня в golang проекте используется брокер сообщений nats. Сейчас при использовании NATS большие сообщения никак не сжимаются из-за чего producer падает с ошибкой(по умолчанию максимальный размер ...
- 81
1
голос
0
ответов
79
показов
Left join в pyspark работает как inner join
Вот мой код:
joined = deals_parsed.alias("deals").join(
transactions_parsed.alias("transactions"),
expr("""
deals.symbol = transactions.symbol AND
...
- 43
0
голосов
0
ответов
47
показов
Kafka излишнее создание сущности при retry
Делаю проект на микросервисной архитектуре и начал с функционала в виде регистрации пользователя и возникла дилема насчёт того, что при отправке user-created евента после успешного создания юзера, в ...
2
голоса
0
ответов
57
показов
Kafka: проблема при создании топика
Я на самом начале пути в kafka, пытаюсь создать топик с помощью spring boot и далее, после запуска, идет попытка подключиться к некой ноде и идут исключения. Прошу помощи.
pom.xml
<?xml version=&...
- 21
-1
голос
1
ответ
391
показ
При работе с kafka возникает ошибка
Ошибка:
org.springframework.kafka.KafkaException: Timed out waiting to get existing topics
Вот мой контроллер:
package controllers;
import kafka.KafkaProducer;
import lombok.AllArgsConstructor;
...
- 21
0
голосов
0
ответов
146
показов
Kafka - как реализовать дедубликацию при падении приложения?
Есть приложение, читает файл построчно и передаёт в Kafka. При падении приложения и затем восстановлении, необходимо продолжить или заново начать отправку в Kafka, но чтобы не дублировать ранее ...
- 789
0
голосов
0
ответов
47
показов
SecurityContextHolder пустой при получении сообщения по Kafka
Метод getCurrentUserInfo вызывается внутри метода formingReestrContent, который, в свою очередь, вызывается вследствие получения сообщения из Kafka.
При вызове метода getCurrentUserInfo пытаюсь ...
- 127
0
голосов
1
ответ
67
показов
Какую версию Kafka client выбрать в 2024
В связи с тем, что pykafka получала последние обновления в 2018г., и kafka-python в 2020, подскажите, какой пакет для работы с Kafka используете.
0
голосов
0
ответов
59
показов
Ошибка создания топика (Kafka)
При выполнении Get запроса с пагинацией возникает ошибка создания топика в микросервисном приложении.
Код запроса:
@GetMapping
@Operation(summary = "Get all habits", description = "...
- 59
3
голоса
0
ответов
255
показов
Настройка слушателей Kafka, развернутого в Docker
Сразу оговорюсь, что и kafka и Docker технологии для меня новые.
Мне нужна помощь, чтобы разобраться с настройкой слушателей kafka, работающего в Docker.
docker-compose.yml:
version: '3.5'
networks:
...
- 432
0
голосов
0
ответов
104
показа
Kafka сжатие сообщений при cleanup.policy=compact
Может кто-то сталкивался - есть топик кафка с "вечным" хранением событий cleanup.policy=compact
Существует множество потребителей и договориться о том, что события будут сжаты не получится. ...
- 11
0
голосов
0
ответов
75
показов
Ошибка '''incompatiblebrokerversion: kafka broker does not support the 'createtopicsrequest_v0' kafka protocol.'''
Разрабатываю простенький сервис email-рассылок на FastAPI. Понял (да и подсказали здесь же), что желательно использовать Kafka для обработки большой нагрузки. Поднял kafka через docker:
версия kafka -...
- 1
1
голос
1
ответ
195
показов
Агрегация спецификаций в одном Swagger UI [закрыт]
(увы не силён в микросервисах)
Исходные данные:
Проект на Java, 7 сервисов.
Между собой дружат через gateway с помощью Kafka.
Поставили задачу сделать единый Swagger UI на все endpoints
Все варианты ...
0
голосов
1
ответ
70
показов
Чем отличается Журнал коммитов и Топик в Kafka Apache?
Чем отличается Журнал комитов и Топик в Kafka Apache?
Везде написано по разному что это и чем отличается
Где-то написано что Топик это виртуальное хранилище сообщений
И про журнал комитов написано что ...
user583255
0
голосов
1
ответ
598
показов
Как правильно отправлять сообщения из Java Springboot в кафку?
Вопрос такой . При обращении к сервису я получаю тело ответа. Мне нужно его переслать в существующий топик кафки. Пока натолкнулся лишь на примеры создания класса продюсера , в котором нужно ...
- 11