Instalação do TextGen WebUI
O Text Generation Web UI é uma interface amigável para executar Modelos de Linguagem de Grande Escala (LLMs).
Esta interface amigável permite que os usuários interajam com esses modelos e gerem texto de forma eficiente.
Pré-requisitos
- Anaconda instalado e em funcionamento
Passos
1. Identificar se seu equipamento tem GPU ou não. Em alguns momentos da instalação será necessário escolher entre configurações específicas para GPU e se sua placa é Nvidia. Executar esse comando na linha de comando do Windows.
wmic path win32_VideoController get name
2. Pelo mesmo motivo é importante identificar se seu processador suporta AVX2. Descubra qual o modelo do seu processador e procure as especificações no site do fabricante.
3. Criar um novo ambiente no Anaconda
conda create -n textgen python=3.11
conda activate textgen
4. Instalar o Pytorch, utilizando o comando de acordo com seu sistema operacional, CPU ou GPU, conforme a tabela
| Sistema | GPU | Comando |
|---|---|---|
| Linux/WSL | NVIDIA | pip3 install torch==2.2.1 torchvision==0.17.1 torchaudio==2.2.1 --index-url https://download.pytorch.org/whl/cu121 |
| Linux/WSL | CPU only | pip3 install torch==2.2.1 torchvision==0.17.1 torchaudio==2.2.1 --index-url https://download.pytorch.org/whl/cpu |
| Linux | AMD | pip3 install torch==2.2.1 torchvision==0.17.1 torchaudio==2.2.1 --index-url https://download.pytorch.org/whl/rocm5.6 |
| MacOS/MPS | Any | pip3 install torch==2.2.1 torchvision==0.17.1 torchaudio==2.2.1 |
| Windows | NVIDIA | pip3 install torch==2.2.1 torchvision==0.17.1 torchaudio==2.2.1 --index-url https://download.pytorch.org/whl/cu121 |
| Windows | CPU only | pip3 install torch==2.2.1 torchvision==0.17.1 torchaudio==2.2.1 |
De acordo com a saída do comando do passo 1 (NVIDIA GeForce MX230) e o sistema operacional Windows, o comando seria:
pip3 install torch==2.2.1 torchvision==0.17.1 torchaudio==2.2.1 --index-url https://download.pytorch.org/whl/cu121
Apenas para placas de vídeo NVIDIA
PyTorch tem suporte nativo para CUDA, permitindo que os modelos utilizem GPUs. A versão 2.2.1 do Pytorch é compatível com a versão 12.1 do CUDA e com o Python 3.11, portanto certifique-se que essas são as versões do Python e do CUDA instalados no seu equipamento.
A versão 12.1 do CUDA pode ser baixado da url https://developer.nvidia.com/cuda-12-1-0-download-archive
Após instalado os drivers e utilitários CUDA, na linha de comando do Windows executar o comando
nvcc --version
5. Apenas para a NVIDIA é necessário instalar as bibliotecas de runtime CUDA.
conda install -y -c "nvidia/label/cuda-12.1.1" cuda-runtime
6. Instalar a interface web, utilizando o arquivo de dependências, conforme a tabela abaixo. Aqui você vai precisar das informações conseguidas nos passos 1 e 2
| GPU | CPU | Arquivo a ser usado |
|---|---|---|
| NVIDIA | suporta AVX2 | requirements.txt |
| NVIDIA | não suporta AVX2 | requirements_noavx2.txt |
| AMD | suporta AVX2 | requirements_amd.txt |
| AMD | não suporta AVX2 | requirements_amd_noavx2.txt |
| CPU only | suporta AVX2 | requirements_cpu_only.txt |
| CPU only | não suporta AVX2 | requirements_cpu_only_noavx2.txt |
| Apple | Intel | requirements_apple_intel.txt |
| Apple | Apple Silicon | requirements_apple_silicon.txt |
No meu caso que é uma NVIDIA sem suporte a AVX2 o comando seria:
git clone https://github.com/oobabooga/text-generation-webui
cd text-generation-webui
pip install -r requirements_noavx2.txt --force-reinstall
7. Iniciar o servidor da interface web UI. Esse é o comando que deverá ser executado no Anaconda sempre que desejar utilizar a interface web
conda activate textgen
cd text-generation-webui
python server.py
8. Abrir a interface utilizando o browser. Neste caso, a interface será aberta através da URL:
http://localhost:7860
Gostou do post? Não deixe de compartilhar este artigo com seus amigos e colegas! Não se esqueça de se inscrever na nossa lista para receber as últimas novidades diretamente no seu e-mail. Junte-se a nós e fique por dentro de tudo sobre Inteligência Artificial e tecnologia!