Como usar um buffer de token de conversa no LangChain?

Como Usar Um Buffer De Token De Conversa No Langchain



LangChain permite que os desenvolvedores construam modelos usando aprendizado de máquina ou aprendizado profundo que pode treinar modelos usando conjuntos de dados. Esses modelos podem obter diferentes padrões dos dados ou compreender a forma do conjunto de dados e sua linguagem para extrair informações. Grandes Modelos de Linguagem ou LLMs podem ser configurados ou projetados usando as estruturas LangChain que podem compreender e gerar texto em linguagens naturais.

Este guia ilustrará o processo de uso de um buffer de token de conversação no LangChain.

Como usar um buffer de token de conversa no LangChain?

O ConversationTokenBufferMemory A biblioteca pode ser importada da estrutura LangChain para armazenar as mensagens mais recentes na memória buffer. Os tokens podem ser configurados para limitar o número de mensagens armazenadas no buffer e as mensagens anteriores serão liberadas automaticamente.







Para aprender o processo de uso do buffer de token de conversa no LangChain, utilize o seguinte guia:



Etapa 1: instalar módulos

Primeiro, instale a estrutura LangChain contendo todos os módulos necessários usando o comando pip:



pip instalar langchain





Agora, instale o módulo OpenAI para construir os LLMs e cadeias usando o método OpenAI():

pip instalar openai



Após instalar os módulos, basta usar a chave API do OpenAI para configurar o ambiente usando as bibliotecas os e getpass:

importar os

importar Obter passagem

os . aproximadamente [ 'OPENAI_API_KEY' ] = Obter passagem . Obter passagem ( 'Chave de API OpenAI:' )

Etapa 2: usando memória buffer de token de conversa

Construa os LLMs usando o método OpenAI() após importar o ConversationTokenBufferMemory biblioteca da estrutura LangChain:

de cadeia longa. memória importar ConversationTokenBufferMemory

de cadeia longa. llms importar OpenAI

llm = OpenAI ( )

Configure a memória para definir o token, ele libera as mensagens antigas e as armazena na memória buffer. Depois disso, armazene as mensagens da conversa e obtenha as mais recentes para utilizá-las como contexto:

memória = ConversationTokenBufferMemory ( llm = llm , max_token_limit = 10 )

memória. salvar_contexto ( { 'entrada' : 'olá' } , { 'saída' : 'Como vai' } )

memória. salvar_contexto ( { 'entrada' : 'Eu estou bem e você' } , { 'saída' : 'não muito' } )

Execute a memória para obter os dados armazenados na memória buffer usando o método load_memory_variables():

memória. carregar_memória_variáveis ( { } )

Etapa 3: usando memória buffer de token de conversa em uma cadeia

Construa as cadeias configurando o Cadeia de Conversa() método com vários argumentos para usar a memória buffer do token de conversa:

de cadeia longa. correntes importar Cadeia de conversação

conversa_com_resumo = Cadeia de conversação (
llm = llm ,
memória = ConversationTokenBufferMemory ( llm = OpenAI ( ) , max_token_limit = 60 ) ,
detalhado = Verdadeiro ,
)
conversa_com_resumo. prever ( entrada = 'Oi, e ai?' )

Agora, inicie a conversa fazendo perguntas usando as instruções escritas em linguagem natural:

conversa_com_resumo. prever ( entrada = 'Apenas trabalhando no projeto de PNL' )

Obtenha a saída dos dados armazenados na memória buffer usando o número de tokens:

conversa_com_resumo. prever ( entrada = 'Apenas trabalhando no design de LLMs' )

O buffer continua sendo atualizado a cada nova entrada, pois as mensagens anteriores são liberadas regularmente:

conversa_com_resumo. prever (

entrada = 'LLM usando LangChain! Você já ouviu falar?'

)

Trata-se de usar o buffer de token de conversação no LangChain.

Conclusão

Para usar o buffer de token de conversação no LangChain, basta instalar os módulos para configurar o ambiente usando a chave API da conta OpenAI. Depois disso, importe a biblioteca ConversationTokenBufferMemory usando o módulo LangChain para armazenar a conversa no buffer. A memória buffer pode ser usada em cadeia para liberar as mensagens mais antigas com cada nova mensagem no chat. Esta postagem elaborou o uso da memória buffer do token de conversação no LangChain.