Bir PC edinmeyi veya kendi LLM'lerinizi yerel olarak çalıştırmak için bir tane oluşturmayı düşünüyordum, dış satıcılarla abone olmadan ve verilerinizi paylaşmadan. Küçük bir ev laboratuvarı sunucusu/pc için ne kadar uygun olacağını merak ediyorum, "yeterince iyi" olacak şey ne olursa olsun. Kuantize modeller denedim ve oldukça iyi çalışıyorlar, ancak genellikle CPU üzerinde oldukça yavaş, ancak GPU'lar çılgın fiyatlar ve az RAM'e sahip... Belki modellerin bir kısmını GPU'ya aktarmak bir seçenek olabilir, ancak bu, diğer birçok faktör gibi son PC yapısına ayarlanması gereken çok şey var. Teşekkürler!

Bir PC edinmeyi veya kendi LLM'lerinizi yerel olarak çalıştırmak için bir tane oluşturmayı düşünüyordum, dış satıcılarla abone olmadan ve verilerinizi paylaşmadan. Küçük bir ev laboratuvarı sunucusu/pc için ne kadar uygun olacağını merak ediyorum, "yeterince iyi" olacak şey ne olursa olsun. Kuantize modeller denedim ve oldukça iyi çalışıyorlar, ancak genellikle CPU üzerinde oldukça yavaş, ancak GPU'lar çılgın fiyatlar ve az RAM'e sahip... Belki modellerin bir kısmını GPU'ya aktarmak bir seçenek olabilir, ancak bu, diğer birçok faktör gibi son PC yapısına ayarlanması gereken çok şey var. Teşekkürler!

Yerel yapay zekanızı çalıştırmak için uygun donanım.

I been considering to acquire a PC, or build one for running locally your own LLMs without needing to subscribe and share your data with external vendors. 
I was wondering what would be the affordable for small home lab server/pc to make it "good enough", whatever that could be. I tried quantised models and they work quite well, but usually quite slow on CPU, however GPUs have crazy prices and little RAM… Perhaps off loading part of models to GPU might be an option, but this so as many other factors need to be adjusted to the final PC build. Thx!

Tu znajdują się posty, które nie były przypisane do żadnej grupy 

Burada hiçbir gruba atanmamış olan gönderiler bulunmaktadır.

ccFOUND Arşiv

ccFOUND Archiwum 

I been considering to acquire a PC, or build one for running locally your own LLMs without needing to subscribe and share your data with external vendors.  
I was wondering what would be the affordable for small home lab server/pc to make it "good enough", whatever that could be.

I tried quantised models and they work quite well, but usually quite slow on CPU, however GPUs have crazy prices and little RAM… Perhaps off loading part of models to GPU might be an option, but this so as many other factors need to be adjusted to the final PC build. Thx!