Hub de conteúdo
Este hub reúne 5 artigos publicados pelo Hidra.blog sobre gpu na área de ferramentas-de-ia, desenvolvimento, tecnologia. A seleção começa por “A versão 0.28.0 do vLLM reúne melhorias em cache, batching, decodificação especulativa, quantização e APIs. Veja…”. Use os links abaixo para comparar os artigos e continuar a pesquisa por assuntos relacionados.
5 artigos com esta tag
Voltar para todos os artigosNavegue pelo contexto
A versão 0.28.0 do vLLM reúne melhorias em cache, batching, decodificação especulativa, quantização e APIs. Veja como a ferramenta funciona, como testar localmente e em quais cenários ela faz sentido para um projeto brasileiro.
Patches do kernel e utilitários de espaço de usuário estão mudando a forma como o Linux lida com a falta de vRAM. Entenda o papel do DMEM, do GTT e das ferramentas que priorizam o jogo em primeiro plano.
Descubra como o AirLLM permite rodar modelos gigantes como Llama 3 70B em placas de vídeo populares de 4GB sem estourar a VRAM.
A Spectral Compute esta tentando fazer CUDA rodar em GPUs de outras fabricantes, sem precisar de hardware Nvidia. Entenda o projeto SCALE, como funciona e o que significa para devs de IA e computação de alto desempenho.
Nvidia vende GPUs para CoreWeave e Nebius, que oferecem infraestrutura de IA, e Nvidia reinveste nos provedores. Entenda o ciclo financeiro por trás do boom de hardware de IA.