Nesta era, os Transformers são os modelos mais poderosos que forneceram os melhores resultados em múltiplas operações de PNL (Processamento de Linguagem Natural). Inicialmente, ele foi utilizado para tarefas de modelagem de linguagem, incluindo geração e classificação de texto, tradução automática e muito mais. Mas agora também é usado para reconhecimento de objetos, classificação de imagens e várias outras tarefas de visão computacional.
Neste tutorial iremos fornecer o procedimento para realizar a classificação de texto usando Transformers.
Como realizar a classificação de texto usando transformadores?
Para realizar a classificação do texto utilizando Transformers, primeiro instale o “ transformadores ”biblioteca executando o comando fornecido:
! pip instalar transformadores
Como você pode ver, a biblioteca especificada foi instalada com sucesso:
Em seguida, importe o “ gasoduto ' de ' transformadores ' biblioteca:
do pipeline de importação de transformadores
Aqui o ' gasoduto ” incluirá a tarefa de PNL que precisamos realizar e o modelo de transformador desejado para esta operação junto com o tokenizer.
Observação: O tokenizer é usado para realizar o processamento do texto a ser fornecido como entrada do modelo, separando o texto em tokens.
Depois disso, use o “ pipeline() ”Função e passe para ela o“ classificação de tiro zero ” como argumento. A seguir, passe outro parâmetro que é o nosso modelo. Estamos usando o “ BARTO ”Modelo de transformador. Aqui, não usamos o tokenizer porque ele pode ser inferido automaticamente pelo modelo especificado:
text_classifier = pipeline ( 'classificação de tiro zero' , modelo = 'facebook/bart-grande-mnli' )
Agora, declare o “ sequência ”Variável que contém nosso texto de entrada que precisa ser classificado. Em seguida, fornecemos as categorias nas quais queremos classificar o texto e salvamos no “ laboratório ”que é conhecido como rótulos:
laboratório = [ 'atualizar' , 'erro' , 'importante' , 'verificação' ]
Por fim, execute o pipeline junto com a entrada:
Depois de executar o pipeline, como você pode ver, o modelo previu que nossa sequência fornecida seria classificada:
Informações adicionais: Se quiser acelerar o desempenho do modelo, você precisa usar a GPU. Se sim, então, para esse propósito, você pode especificar um argumento de dispositivo para o pipeline e defini-lo como “ 0 ”Para utilizar a GPU.
Se quiser classificar o texto em mais de uma instrução de sequência/texto de entrada, você poderá adicioná-los a uma lista e passá-lo como entrada para os pipelines. Para isso, confira o trecho de código:
sequência = [ “A revisão e a edição são componentes necessários para garantir clareza, coerência e conteúdo livre de erros” ,“Nesta era moderna, a otimização de SEO é essencial para que os artigos tenham uma boa classificação e alcancem públicos mais amplos” ]
text_classifier ( sequência , laboratório )
Saída
É isso! Compilamos a maneira mais fácil de realizar a classificação de texto usando Transformers.
Conclusão
Os transformadores são usados para executar tarefas de modelagem de linguagem, como geração de texto, classificação de texto e tradução automática, bem como tarefas de visão computacional, incluindo reconhecimento de objetos e classificação de imagens. Neste tutorial, ilustramos o processo de classificação de texto usando Transformers.