Questions marquées «apache-kafka»

Apache Kafka est une plateforme de streaming distribuée conçue pour stocker et traiter des flux de données à haut débit.

18
Purger le sujet Kafka
Existe-t-il un moyen de purger le sujet dans kafka? J'ai poussé un message trop gros dans un sujet de message kafka sur ma machine locale, maintenant j'obtiens une erreur: kafka.common.InvalidMessageSizeException: invalid message size Augmenter le fetch.sizen'est pas idéal ici, car je ne veux pas vraiment accepter de messages aussi gros.
23
Leader non disponible Kafka dans le producteur de console
J'essaye d'utiliser Kafka. Toutes les configurations sont effectuées correctement mais lorsque j'essaie de produire un message à partir de la console, je continue à recevoir l'erreur suivante WARN Error while fetching metadata with correlation id 39 : {4-3-16-topic1=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient) Version Kafka: 2.11-0.9.0.0
4
Modélisation de données avec Kafka? Sujets et partitions
Une des premières choses auxquelles je pense lorsque j'utilise un nouveau service (comme une banque de données non SGBDR ou une file d'attente de messages) est: "Comment dois-je structurer mes données?". J'ai lu et regardé quelques documents d'introduction. En particulier, prenez, par exemple, Kafka: un système de messagerie distribuée pour …
168 apache-kafka 
7
Comment envoyer des messages volumineux avec Kafka (plus de 15 Mo)?
J'envoie des messages String à Kafka V. 0.8 avec l'API Java Producer. Si la taille du message est d'environ 15 Mo, j'obtiens un MessageSizeTooLargeException. J'ai essayé de régler message.max.bytesà 40 Mo, mais j'obtiens toujours l'exception. Les petits messages fonctionnaient sans problème. (L'exception apparaît dans le producteur, je n'ai pas de …
118 java  apache-kafka 
7
Apache Kafka contre Apache Storm
Apache Kafka: système de messagerie distribuée Apache Storm: traitement des messages en temps réel Comment pouvons-nous utiliser les deux technologies dans un pipeline de données en temps réel pour le traitement des données d'événements? En termes de pipeline de données en temps réel, les deux me semblent faire le même …
14
Supprimer le sujet dans Kafka 0.8.1.1
Je dois supprimer le sujet testdans Apache Kafka 0.8.1.1. Comme indiqué dans la documentation ici , j'ai exécuté: bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test Cependant, cela entraîne le message suivant: Command must include exactly one action: --list, --describe, --create or --alter Comment puis-je supprimer ce sujet?
2
La clé est-elle requise pour envoyer des messages à Kafka?
KeyedMessage<String, byte[]> keyedMessage = new KeyedMessage<String, byte[]>(request.getRequestTopicName(), SerializationUtils.serialize(message)); producer.send(keyedMessage); Actuellement, j'envoie des messages sans clé dans le cadre de messages à clé, est-ce que cela fonctionnera toujours delete.retention.ms? Dois-je envoyer une clé dans le cadre du message? Est-ce bon de rendre la clé dans le cadre du message?
13
Existe-t-il un moyen de supprimer toutes les données d'une rubrique ou de supprimer la rubrique avant chaque exécution?
Existe-t-il un moyen de supprimer toutes les données d'une rubrique ou de supprimer la rubrique avant chaque exécution? Puis-je modifier le fichier KafkaConfig.scala pour changer la logRetentionHourspropriété? Existe-t-il un moyen de supprimer les messages dès que le consommateur les lit? J'utilise des producteurs pour récupérer les données de quelque part …
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.