Swiftlet: Como Rodar LLMs de 80B em Pouca RAM no Mac e iPhone
Conheça o Swiftlet, motor de inferência que permite executar modelos de linguagem de 80B parâmetros em aparelhos com pouca memória RAM usando quantização avançada.
Hub de conteúdo
quantizacao
Este hub reúne 3 artigos publicados pelo Hidra.blog sobre quantizacao na área de ferramentas-de-ia, tecnologia, desenvolvimento. A seleção começa por “Conheça o Swiftlet, motor de inferência que permite executar modelos de linguagem de 80B parâmetros em aparelhos…”. Use os links abaixo para comparar os artigos e continuar a pesquisa por assuntos relacionados.
3 artigos com esta tag
Voltar para todos os artigosNavegue pelo contexto
Mais caminhos sobre quantizacao
Artigos sobre quantizacao
turbo-fieldfare: rode Gemma 4 26B com apenas 2 GB de RAM no Mac
O turbo-fieldfare e um motor open source que consegue rodar o modelo Gemma 4 com 26 bilhoes de parâmetros usando apenas 2 GB de RAM em Macs com chip M-series. Veja como a técnica funciona, como instalar e por que isso muda o jogo dos LLMs locais.
Gemma 4 27B sem GPU: como rodar LLM de 27 bilhoes de parâmetros no CPU
Um desenvolvedor rodou o Gemma 4 de 27 bilhoes de parâmetros em um Xeon de 2013, sem GPU, chegando a 5 tokens por segundo. Descubra como a inferência no CPU se tornou viável e como você pode testar LLMs poderosos no seu próprio hardware.