F. Courouge
Cheatsheet Kafka

Commandes Kafka Prêtes à l'Emploi

Plus de 84 commandes Kafka configurées avec vos variables. Copiez, collez, exécutez !

8 Topics
11 Consumers
5 Producers
14 SASL Auth
17 ACLs
14 Quotas
7 Configs
8 Debug
Configuration des Variables
Personnalisez les commandes avec vos paramètres
localhost:9092
list
basic
Lister tous les topics
Affiche la liste de tous les topics du cluster
/opt/kafka/bin/kafka-topics.sh --bootstrap-server localhost:9092 --list
create
basic
Créer un topic
Crée un nouveau topic avec le nombre de partitions et le facteur de réplication spécifiés
/opt/kafka/bin/kafka-topics.sh --bootstrap-server localhost:9092 --create --topic my-topic --partitions 3 --replication-factor 1

Le nombre de partitions ne peut pas être réduit après création. Choisissez bien !

describe
info
Décrire un topic
Affiche les détails d'un topic : partitions, réplicas, ISR
/opt/kafka/bin/kafka-topics.sh --bootstrap-server localhost:9092 --describe --topic my-topic
Danger
delete
danger
Supprimer un topic
Supprime définitivement un topic et toutes ses données
/opt/kafka/bin/kafka-topics.sh --bootstrap-server localhost:9092 --delete --topic my-topic

Cette action est irréversible ! Assurez-vous que le topic n'est plus utilisé.

alter
partitions
Augmenter les partitions
Augmente le nombre de partitions d'un topic existant
/opt/kafka/bin/kafka-topics.sh --bootstrap-server localhost:9092 --alter --topic my-topic --partitions 6

Attention : augmenter les partitions peut casser l'ordering des messages par clé !

offsets
info
Voir les offsets d'un topic
Affiche les offsets de début et fin pour chaque partition
/opt/kafka/bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic my-topic --time -1
health
replication
Topics sous-répliqués
Liste les partitions dont les réplicas ne sont pas synchronisés
/opt/kafka/bin/kafka-topics.sh --bootstrap-server localhost:9092 --describe --under-replicated-partitions

Si cette commande retourne des résultats, vous avez un problème de réplication !

Danger
health
availability
Partitions indisponibles
Liste les partitions sans leader (indisponibles)
/opt/kafka/bin/kafka-topics.sh --bootstrap-server localhost:9092 --describe --unavailable-partitions

Ces partitions sont DOWN ! Action immédiate requise.

Aide-Mémoire Rapide

Valeurs courantes retention.ms

  • 86400000 = 1 jour
  • 604800000 = 7 jours
  • 2592000000 = 30 jours
  • -1 = infini

Valeurs courantes retention.bytes

  • 1073741824 = 1 GB
  • 10737418240 = 10 GB
  • 107374182400 = 100 GB
  • -1 = illimité

Quotas (bytes/sec)

  • 1048576 = 1 MB/s
  • 5242880 = 5 MB/s
  • 10485760 = 10 MB/s
  • 52428800 = 50 MB/s

Commandes essentielles

  • • Santé: --under-replicated
  • • Reset: stopper consumers d'abord !
  • • ACLs: DENY prioritaire sur ALLOW
  • • Quotas: user+client le plus spécifique