Rozważałem zakup komputera PC lub jego zbudowanie, aby lokalnie uruchamiać własne LLMs, nie potrzebując subskrybować i udostępniać swoich danych zewnętrznym dostawcom. Zastanawiałem się, jaka cena byłaby odpowiednia dla małego serwera/PC do domowego laboratorium, aby był "wystarczająco dobry", cokolwiek to znaczy. Próbowałem modele kwantowe i działają dość dobrze, ale zazwyczaj dość wolno na CPU, jednak GPU mają szalone ceny i mało pamięci RAM... Może przeniesienie części modeli na GPU mogłoby być opcją, ale wiele innych czynników musiałoby być dostosowane do ostatecznej konfiguracji komputera. Dzięki!

Dostępne sprzęty do uruchomienia lokalnej sztucznej inteligencji.

I been considering to acquire a PC, or build one for running locally your own LLMs without needing to subscribe and share your data with external vendors. 
I was wondering what would be the affordable for small home lab server/pc to make it "good enough", whatever that could be. I tried quantised models and they work quite well, but usually quite slow on CPU, however GPUs have crazy prices and little RAM… Perhaps off loading part of models to GPU might be an option, but this so as many other factors need to be adjusted to the final PC build. Thx!

Tu znajdują się posty, które nie były przypisane do żadnej grupy 

ccFOUND Archiwum 

I been considering to acquire a PC, or build one for running locally your own LLMs without needing to subscribe and share your data with external vendors.  
I was wondering what would be the affordable for small home lab server/pc to make it "good enough", whatever that could be.

I tried quantised models and they work quite well, but usually quite slow on CPU, however GPUs have crazy prices and little RAM… Perhaps off loading part of models to GPU might be an option, but this so as many other factors need to be adjusted to the final PC build. Thx!