Hub de conteúdo
Este hub reúne 4 artigos publicados pelo Hidra.blog sobre inferencia na área de ferramentas-de-ia, desenvolvimento, tecnologia. A seleção começa por “A versão 0.28.0 do vLLM reúne melhorias em cache, batching, decodificação especulativa, quantização e APIs. Veja…”. Use os links abaixo para comparar os artigos e continuar a pesquisa por assuntos relacionados.
4 artigos com esta tag
Voltar para todos os artigosNavegue pelo contexto
A versão 0.28.0 do vLLM reúne melhorias em cache, batching, decodificação especulativa, quantização e APIs. Veja como a ferramenta funciona, como testar localmente e em quais cenários ela faz sentido para um projeto brasileiro.
Entenda por que o LocalAI desenvolve motores próprios em C e C++, quais ganhos obteve em tamanho, memória e desempenho e por que a paridade vem antes da otimização.
O Mac Mini com chip M4 virou referência para inferência de IA local. Entenda por que a arquitetura Apple Silicon e tao boa para LLMs e como começar a usar.
GLM-Z1-Flash e um modelo de IA open source da Zhipu AI que roda em computadores com pouca VRAM. Veja como instalar, configurar e usar localmente sem precisar de GPU cara.