Como executar modelos usando o TextGen UI

Usar o Text Generation Web UI para executar um modelo de IA oferece uma combinação de facilidade de uso, flexibilidade, eficiência e suporte a uma ampla gama de modelos.

Seja você um pesquisador, desenvolvedor ou apenas alguém interessado em explorar o poder dos LLMs, essa ferramenta proporciona um ambiente acessível e poderoso para maximizar o potencial da inteligência artificial.

Pré-requisitos

• Anaconda instalado e em funcionamento
• TextGen instalado e em funcionamento [Instalação do TextGen WebUI]

Passos

1. Acessar o link https://huggingface.co/models e faça uma busca pelo nome do modelo, pelo nome da empresa etc. Nesse caso procurei pela "neuralmind". Selecionar o modelo desejado.

2. Copiar o nome do modelo. Essa informação terá o formato "empresa/nome-do-modelo"

3. No Anaconda, ative o ambiente desejado e faça o download do modelo, usando o nome do modelo copiado no passo anterior.

conda activate textgen python download-model.py neuralmind/bert-large-portuguese-cased

4. Executar o serviço. Que colocará no ar um servidor web em "http://localhost:7860", com a interface do TextGen UI.

python server.py

5. Acessar "http://localhost:7860" e clicar em "Model" para selecionar qual modelo será utilizado.

6. O modelo que foi feito o download no passo 3, já estará na lista de modelos. Selecionar o modelo.

7. Clicar em "Load" para carregar o modelo

8. Se tudo correr bem na carga do modelo, será mostrada mensagem de uso adicional na área marcada na imagem. Caso ocorram erros, ai serão exibidos os erros que estão também na console do Anaconda.

9. O chat estará pronto para uso.

10. Na aba "Parameters" você encontrará os parâmetros para utilização do modelo, como: temperature, top-p, top-k etc.

11. Verificar qual loader o modelo irá utilizar. Para os modelos que utilizam o "llama.cpp" no meu equipamento não foram necessários ajustes e tudo correu bem.

Já nos modelos que usam "Transformers" foram necessários ativar e desativar algumas opções.

Como cada caso é um caso, já que são muitos modelos, muitas formas de utilização e muitas configurações de hardware e sistemas operacionais possíveis, sugiro que olhe a documentação em: TextGen UI Model loaders.

Gostou do post? Não deixe de compartilhar este artigo com seus amigos e colegas! Não se esqueça de se inscrever na nossa lista para receber as últimas novidades diretamente no seu e-mail. Junte-se a nós e fique por dentro de tudo sobre Inteligência Artificial e tecnologia!