Como instalar o Apache Kafka no Ubuntu 22.04

Como Instalar O Apache Kafka No Ubuntu 22 04



Apache Kafka é uma plataforma de streaming desenvolvida pela fundação Apache Software. A plataforma é open-source e distribuída, podendo ser instalada em qualquer plataforma desde que suporte Java. Além disso, o Apache Kafka é escrito em Java e Scala. Este guia fornece um tutorial prático sobre como instalar o Apache Kafka no Ubuntu 22.04.

Introdução ao Apache Kafka

Antes de instalar o Apache Kafka, você deve ter o Java instalado e uma conta de usuário com privilégios sudo. Além disso, é recomendável ter uma RAM de 2 GB ou mais para o bom funcionamento do Kafka.

As etapas a seguir irão guiá-lo sobre como instalar o Apache Kafka.







Instalando o Java

Java é necessário para instalar o Kafka. Verifique se o seu Ubuntu possui um Java instalado verificando a versão usando o seguinte comando:





$ Java --versão

Se o Java não estiver instalado, use os comandos a seguir para instalar o Java OpenJDK.





$ sudo atualização apt

$ sudo apto instalar jdk padrão

Criando uma conta de usuário

Com o Java já instalado, crie uma conta de usuário não root. Também precisamos dar alguns privilégios sudo adicionando o usuário ao grupo sudo usando o seguinte comando:



$ sudo adduser linuxhint

$ sudo adduser linuxhint sudo


Faça login na conta de usuário recém-criada.

$ Está -eu linuxhint

Instalando o Kafka

Você precisa baixar o Apache Kafka mais recente na página oficial de download. Baixe seus arquivos binários usando o wget comando como mostrado a seguir:

$ wget https: // downloads.apache.org / kafka / 3.2.3 / kafka_2.12-3.2.3.tgz


Depois que o arquivo binário for baixado, extraia-o usando o leva comando e mova o diretório extraído para o /opt/kafka.


A seguir, crie o scripts do sistema para o Funcionário do zoológico e a Kafka serviços que ajudam a iniciar e interromper os serviços.

Use um editor de sua escolha para criar os scripts do systemd e cole o conteúdo a seguir. Comece com o Zookeeper:

$ sudo nano / etc / systemd / sistema / zookeeper.service

Cole a seguinte:

[ Unidade ]

Descrição = Servidor Apache Zookeeper

Documentação =http: // zookeeper.apache.org

Requer =network.target remote-fs.target

Depois =network.target remote-fs.target

[ Serviço ]

Modelo =simples

ExecStart = / optar / kafka / caixa / zookeeper-server-start.sh / optar / kafka / configuração / zookeeper.propriedades

ExecStop = / optar / kafka / caixa / zookeeper-server-stop.sh

Reiniciar =on-anormal

[ Instalar ]

Procurado por =multi-usuário.destino


Salve o arquivo. Crie o arquivo systemd para o Kafka e cole o seguinte conteúdo:

$ sudo nano / etc / systemd / sistema / kafka.service

Ao colar, certifique-se de definir o caminho correto para o Java que você instalou em seu sistema.

[ Unidade ]

Descrição =Servidor Apache Kafka

Documentação =http: // kafka.apache.org / documentação.html

Requer =zookeeper.service

[ Serviço ]

Modelo =simples

Meio Ambiente = 'JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64'

ExecStart = / optar / kafka / caixa / kafka-server-start.sh / optar / kafka / configuração / servidor.propriedades

ExecStop = / optar / kafka / caixa / kafka-server-stop.sh

Reiniciar =on-anormal

[ Instalar ]

Procurado por =multi-usuário.destino


Uma vez feito, aplique as alterações recarregando o daemon systemd:

$ sudo systemctl daemon-reload


Em seguida, habilite o serviço Zookeeper e inicie-o usando os seguintes comandos:

$ sudo systemctl permitir funcionário do zoológico

$ sudo systemctl iniciar zookeepe < Forte > r Forte >


Você também precisa fazer o mesmo para o Kafka:

$ sudo systemctl permitir kafka

$ sudo systemctl iniciar kafka


Depois de iniciar os serviços, você pode verificar seu status antes de criarmos um tópico no Kafka.

O bom do Kafka é que existem vários scripts que você pode usar.

Vamos criar um novo tópico chamado linuxhint1 usando o kafka-topics.sh script com uma partição e uma replicação. Use o seguinte comando:

$ sudo -dentro linuxhint / optar / kafka / caixa / kafka-topics.sh --crio --bootstrap-server localhost: 9092 --fator de replicação 1 --partições 1 --tema linuxhint1


Observe que nosso tópico foi criado. Podemos ver a mensagem anterior para verificar isso.

Alternativamente, você pode listar os tópicos disponíveis usando o -Lista opção no comando a seguir. Deve retornar o tópico que criamos:S

$ sudo -dentro linuxhint / optar / kafka / caixa / kafka-topics.sh --Lista --bootstrap-server localhost: 9092


Com o tópico Kafka sendo criado, você pode começar a escrever os dados de streams no Kafka-console-producer.sh e verifique se isso reflete em seu consumidor.sh.

Abra seu shell e acesse o tópico que criamos usando o Producer.sh conforme mostrado a seguir:

$ sudo -dentro linuxhint / optar / kafka / caixa / kafka-console-producer.sh --lista de corretores localhost: 9092 --tema linuxhint1


Em seguida, abra outro shell e acesse o tópico Kafka usando o consumer.sh.

$ sudo -dentro linuxhint / optar / kafka / caixa / kafka-console-consumer.sh --bootstrap-server localhost: 9092 --tema linuxhint1 --do começo


Com os dois shells abertos, você pode enviar mensagens no console do produtor. O que você digitar é refletido no console do consumidor, confirmando que nosso Apache Kafka está funcionando.

Conclusão

Com este guia, agora você tem todas as etapas que pode seguir para instalar o Apache Kafka no seu Ubuntu 22.04. Espero que você tenha conseguido seguir cada passo e instalar seu Apache Kafka e criar tópicos para executar uma produção simples de consumidor e produtor. Você pode implementar o mesmo em grande produção.