A aplicabilidade e usabilidade dos modelos de Machine Learning são testadas em dados. A confiabilidade dos testes depende muito da quantidade e da qualidade dos dados sobre os quais esses modelos são aplicados. É uma tarefa completa criar, obter e limpar um conjunto de dados adequadamente grande para testar seu “ Processamento de linguagem natural (PNL) ”Modelo de aprendizado de máquina.
Hugging Face oferece uma solução interessante para isso com sua biblioteca excepcionalmente grande de conjuntos de dados para você escolher e encontrar aquele que se adapta perfeitamente às suas necessidades. Aqui, mostraremos como encontrar o conjunto de dados ideal e prepará-lo para testar adequadamente seu modelo.
Como usar conjuntos de dados de abraços faciais?
Mostraremos como usar conjuntos de dados Hugging Face usando o exemplo de “ Histórias minúsculas ”Conjunto de dados de Hugging Face.
Exemplo
O conjunto de dados TinyStories possui mais de 2 milhões de linhas de dados na divisão do trem e possui mais de 2 mil downloads na plataforma Hugging Face. Iremos usá-lo no código do Google Colab fornecido abaixo:
! pip instalar transformadores
! pip instalar conjuntos de dados
de conjuntos de dados importar load_dataset
conjunto de dados = load_dataset ( 'roneneldan/TinyStories' )
TinyStories_Story = 3
exemplo_string = conjunto de dados [ 'trem' ] [ TinyStories_Story ] [ 'texto' ]
imprimir ( exemplo_string )
Neste código, considere as etapas indicadas abaixo:
Passo 01 : O primeiro passo é o “ instalação ”De conjuntos de dados de transformadores.
Etapa 02 : Em seguida, importe o conjunto de dados necessário, “ Histórias minúsculas ”em seu projeto.
Etapa 03 : Em seguida, carregue o conjunto de dados selecionado usando o “ carregar_dataset() ”função.
Etapa 04 : Agora, especificamos o número da história que queremos do conjunto de dados TinyStories. Especificamos o número 03 em nosso exemplo de código.
Etapa 05 : Por último, usaremos o método “print()” para mostrar a saída.
Saída
Observação: O código e a saída também podem ser visualizados diretamente em nosso Google Colab .
Conclusão
“ Abraçando conjuntos de dados de rosto ”Torna incrivelmente eficiente para os usuários testarem seus modelos de aprendizado de máquina enquanto importam diretamente grandes conjuntos de dados de sua biblioteca online. Como resultado, a aplicação de algoritmos de PNL tornou-se mais fácil e rápida, pois os programadores podem testar seus projetos em um conjunto de dados com qualidade e quantidade.