Como já diz o ditado, no mundo da inteligência artificial, quem menos anda voa, por se tratar de uma tecnologia relativamente nova, tudo acontece muito rápido, e ontem: 20/09/2023, foi instalado com sucesso uma instância da Tricia treinada em FP32 (sem quantização), em um servidor de uma indústria da cidade de Codó, no interior do Maranhão, tal servidor é dotado de 2 processadores Intel Xeon E5-2690 V3, 256GB de RAM DDR4 ECC e 4 placas de vídeo NVIDIA A100 80GB.
A IA foi implantada por meio de uma Web UI baseada no projeto Ooobabooga, porém, com controle de usuários, de forma que usuários comuns podem utilizar a IA, mas não podem alterar suas configurações, evitando ataques.
Nos testes, a IA rodou perfeitamente fluída, mantendo conversas em tempo real com os interlocutores, devido ao uso de FP32 (profundidade de calculo de pontos flutuantes de 32 bits), a quantidades de incidentes de alucinação revelou ser interior que no GPT-4 (que apesar de maior, usa FP16), se tornando um dos modelos mais estáveis da atualidade
Fora os custos com hardware, energia elétrica, e a prestação de serviço durante a implantação, a implementação da Tricia não teve nenhum custo de software, uma vez que se trata de um software gratuito e de código aberto.
Tricia já está pronta para uso por usuários finais e só não foi implantada até o momento devido os custos proibitivos com Hardware que demanda para funcionar, uma vez que Tricia precisa de pelo menos 32GB de RAM DDR4 e uma RTX 3060 para funcionar, para ter uma conversa minimamente fluída seria preciso uma RTX 4090 que custa em torno de R$15.000,00 no Mercado Livre, enquanto isso, o Br OS trás integração com o ChatGPT em um plasmoid direto na área de trabalho do sistema, como o ChatGPT roda remotamente nos servidores da OpenAI, não existe nenhum requisito adicional de hardware.
Em breve os pesos da Trícia estarão disponíveis para download, assim como a documentação necessária para fazer funcionar, para que aventureiros possam experimentar em primeira mão.