Jag har funderat på att skaffa en PC, eller bygga en för att köra dina egna LLMs lokalt utan att behöva prenumerera och dela dina data med externa leverantörer. Jag undrade vad som skulle vara prisvärt för en liten hemma-labbserver/PC för att göra den "tillräckligt bra", vad det nu kan vara. Jag har provat kvantiserade modeller och de fungerar ganska bra, men vanligtvis ganska långsamma på CPU, men GPU:er har galna priser och lite RAM... Kanske kan delar av modellerna överföras till GPU vara ett alternativ, men det, liksom många andra faktorer, behöver justeras i den slutgiltiga PC-byggnaden. Tack!

Jag har funderat på att skaffa en PC, eller bygga en för att köra dina egna LLMs lokalt utan att behöva prenumerera och dela dina data med externa leverantörer. Jag undrade vad som skulle vara prisvärt för en liten hemma-labbserver/PC för att göra den "tillräckligt bra", vad det nu kan vara. Jag har provat kvantiserade modeller och de fungerar ganska bra, men vanligtvis ganska långsamma på CPU, men GPU:er har galna priser och lite RAM... Kanske kan delar av modellerna överföras till GPU vara ett alternativ, men det, liksom många andra faktorer, behöver justeras i den slutgiltiga PC-byggnaden. Tack!

Afordable hårdvara för att köra din lokala AI

I been considering to acquire a PC, or build one for running locally your own LLMs without needing to subscribe and share your data with external vendors. 
I was wondering what would be the affordable for small home lab server/pc to make it "good enough", whatever that could be. I tried quantised models and they work quite well, but usually quite slow on CPU, however GPUs have crazy prices and little RAM… Perhaps off loading part of models to GPU might be an option, but this so as many other factors need to be adjusted to the final PC build. Thx!

Tu znajdują się posty, które nie były przypisane do żadnej grupy 

Här finns inlägg som inte har tilldelats någon grupp.

ccFOUND Arkiv

ccFOUND Archiwum 

I been considering to acquire a PC, or build one for running locally your own LLMs without needing to subscribe and share your data with external vendors.  
I was wondering what would be the affordable for small home lab server/pc to make it "good enough", whatever that could be.

I tried quantised models and they work quite well, but usually quite slow on CPU, however GPUs have crazy prices and little RAM… Perhaps off loading part of models to GPU might be an option, but this so as many other factors need to be adjusted to the final PC build. Thx!