kafka-onderwerpgrootte

1. Wat is de onderwerpgrootte in Kafka?
2. Hoe bepaal je de grootte van een Kafka-onderwerp?
3. Hoe vergroot ik de grootte van het Kafka-onderwerp??
4. Hoeveel Kafka-onderwerpen is te veel?
5. Waarom Kafka wordt gebruikt?
6. Wat zijn Kafka-onderwerpen?
7. Hoe krijg ik een lijst met Kafka-onderwerpen?
8. Hoe lang zijn Kafka-berichten?
9. Hoe bekijk ik Kafka-berichten?
10. Is Kafka traag?
11. Hoeveel Kafka-partities moet ik hebben?
12. Hoe weet ik of Kafka actief is?

Wat is de onderwerpgrootte in Kafka?

Dit retourneert de grootte (in bytes) van de onderwerptest inclusief de replicaties ervan. Als u een replicatiefactor heeft die groter is dan 1 en u de grootte van het unieke onderwerpbericht wilt, deelt u de waarde die u krijgt met de replicatiefactor.

Hoe bepaal je de grootte van een Kafka-onderwerp?

5 antwoorden. Zoals Martbob heel behulpzaam zei, kun je dit doen met kafka-log-dirs. Dit produceert JSON-uitvoer (op een van de regels). Dus ik kan de altijd zo handige jq-tool gebruiken om de 'size'-velden eruit te halen (sommige zijn nul), alleen degene selecteren die getallen zijn, ze in een array groeperen en ze vervolgens samen optellen.

Hoe vergroot ik de grootte van het Kafka-onderwerp??

Hoe de recordgrootte in het Kafka-clusteronderwerp te vergroten

1. Zijn server.eigenschappen en consument.eigenschappen in dezelfde map? - berrytchaks 12 mei '17 om 13:07.
2. Ja, server.eigenschappen en consument.eigenschappen bevinden zich in dezelfde map. - ...
3. Zet beide bestanden in verschillende mappen en probeer het. - ...
4. Met dezelfde map voor server- en consumenteneigenschappen die nu voor mij werken.

Hoeveel Kafka-onderwerpen is te veel?

De vuistregel is dat het aantal Kafka-onderwerpen in de duizenden kan zijn. Jun Rao (Kafka-committer; nu bij Confluent maar voorheen in het Kafka-team van LinkedIn) schreef: Bij LinkedIn heeft ons grootste cluster meer dan 2K-onderwerpen. 5K-onderwerpen zouden in orde moeten zijn.

Waarom Kafka wordt gebruikt?

Berichten. Kafka werkt goed als vervanging voor een meer traditionele berichtenmakelaar. Message Brokers worden om verschillende redenen gebruikt (om verwerking los te koppelen van gegevensproducenten, om onverwerkte berichten te bufferen, enz.).

Wat zijn Kafka-onderwerpen?

Kafka organiseert berichtfeeds in categorieën die onderwerpen worden genoemd. Elk onderwerp heeft een naam die uniek is in het hele Kafka-cluster. Berichten worden verzonden naar en gelezen van specifieke onderwerpen. Met andere woorden, producenten schrijven gegevens naar onderwerpen en consumenten lezen gegevens uit onderwerpen. Kafka-onderwerpen hebben meerdere abonnees.

Hoe krijg ik een lijst met Kafka-onderwerpen?

1. Om de kafka te starten: $ nohup ~ / kafka / bin / kafka-server-start.sh ~ / kafka / config / server.eigendommen > ~ / kafka / kafka.logboek 2>&1 &
2. Om al het onderwerp op kafka op te sommen; $ bin / kafka-onderwerpen.sh --list --zookeeper localhost: 2181.
3. Om de gegevens te controleren, belandt u op kafka-onderwerp en drukt u deze af;

Hoe lang zijn Kafka-berichten?

Het Kafka-cluster bewaart alle gepubliceerde berichten, ongeacht of ze zijn verbruikt of niet, gedurende een configureerbare tijdsperiode. Als de logboekbewaring bijvoorbeeld is ingesteld op twee dagen, is het gedurende de twee dagen nadat een bericht is gepubliceerd beschikbaar voor consumptie, waarna het wordt verwijderd om ruimte vrij te maken.

Hoe bekijk ik Kafka-berichten?

U kunt de Kafka-console-consumer gebruiken om uw berichten te bekijken.
...
Procedure

1. Log in op de IBM Event Streams-console.
2. Selecteer Onderwerp > ibm-bai-ingress > Berichten.
3. Kies een datum.
4. De berichten zijn gerangschikt op tijdstempels.

Is Kafka traag?

Kafka vertrouwt op het bestandssysteem voor opslag en caching. Het probleem is dat schijven langzamer zijn dan RAM. Dit komt doordat de zoektijd door een schijf groot is in vergelijking met de tijd die nodig is om de gegevens daadwerkelijk te lezen.

Hoeveel Kafka-partities moet ik hebben?

Voor de meeste implementaties wilt u de vuistregel van 10 partities per onderwerp en 10.000 partities per Kafka-cluster volgen. Om verder te gaan dan dat bedrag kan aanvullende monitoring en optimalisatie nodig zijn.

Hoe weet ik of Kafka actief is?

Ik zou zeggen dat een andere gemakkelijke optie om te controleren of een Kafka-server actief is, is om een ​​eenvoudige KafkaConsumer te maken die naar de cluste verwijst en een actie uitprobeert, bijvoorbeeld listTopics (). Als de kafka-server niet actief is, krijgt u een TimeoutException en kunt u een try-catch-zin gebruiken.