Eu tenho considerado adquirir um PC, ou construir um para executar localmente seus próprios LLMs sem precisar se inscrever e compartilhar seus dados com fornecedores externos. Estava me perguntando o que seria acessível para um pequeno servidor/PC caseiro para torná-lo "suficientemente bom", seja lá o que isso signifique. Eu experimentei modelos quantizados e eles funcionam muito bem, mas geralmente são bastante lentos na CPU, no entanto, as GPUs têm preços absurdos e pouca RAM... Talvez transferir parte dos modelos para a GPU possa ser uma opção, mas assim como muitos outros fatores precisam ser ajustados na construção final do PC. Obrigado!

Eu tenho considerado adquirir um PC, ou construir um para executar localmente seus próprios LLMs sem precisar se inscrever e compartilhar seus dados com fornecedores externos.  
 Estava me perguntando o que seria acessível para um pequeno servidor/PC caseiro para torná-lo "suficientemente bom", seja lá o que isso signifique.

Eu experimentei modelos quantizados e eles funcionam muito bem, mas geralmente são bastante lentos na CPU, no entanto, as GPUs têm preços absurdos e pouca RAM... Talvez transferir parte dos modelos para a GPU possa ser uma opção, mas assim como muitos outros fatores precisam ser ajustados na construção final do PC. Obrigado!

Hardware acessível para executar sua IA local

I been considering to acquire a PC, or build one for running locally your own LLMs without needing to subscribe and share your data with external vendors. 
I was wondering what would be the affordable for small home lab server/pc to make it "good enough", whatever that could be. I tried quantised models and they work quite well, but usually quite slow on CPU, however GPUs have crazy prices and little RAM… Perhaps off loading part of models to GPU might be an option, but this so as many other factors need to be adjusted to the final PC build. Thx!

Tu znajdują się posty, które nie były przypisane do żadnej grupy 

Aqui estão as postagens que não foram atribuídas a nenhum grupo.

ccFOUND Arquivo

ccFOUND Archiwum 

I been considering to acquire a PC, or build one for running locally your own LLMs without needing to subscribe and share your data with external vendors.  
I was wondering what would be the affordable for small home lab server/pc to make it "good enough", whatever that could be.

I tried quantised models and they work quite well, but usually quite slow on CPU, however GPUs have crazy prices and little RAM… Perhaps off loading part of models to GPU might be an option, but this so as many other factors need to be adjusted to the final PC build. Thx!