•2 anni
Hardware accessibile per eseguire la tua IA locale
Stavo considerando di acquistare un PC, o costruirne uno per eseguire localmente i tuoi propri LLM senza la necessità di sottoscrivere e condividere i tuoi dati con fornitori esterni. Mi chiedevo quale potrebbe essere il costo accessibile per un piccolo server/pc da laboratorio domestico per renderlo "abbastanza buono", qualunque cosa possa essere. Ho provato modelli quantizzati e funzionano piuttosto bene, ma di solito sono piuttosto lenti sulla CPU, tuttavia le GPU hanno prezzi folli e poca RAM… Forse scaricare parte dei modelli sulla GPU potrebbe essere un'opzione, ma questo così come molti altri fattori devono essere regolati per la costruzione finale del PC. Grazie!
Stavo considerando di acquistare un PC, o costruirne uno per eseguire localmente i tuoi propri LLM senza la necessità di sottoscrivere e condividere i tuoi dati con fornitori esterni. Mi chiedevo quale potrebbe essere il costo accessibile per un piccolo server/pc da laboratorio domestico per renderlo "abbastanza buono", qualunque cosa possa essere. Ho provato modelli quantizzati e funzionano piuttosto bene, ma di solito sono piuttosto lenti sulla CPU, tuttavia le GPU hanno prezzi folli e poca RAM… Forse scaricare parte dei modelli sulla GPU potrebbe essere un'opzione, ma questo così come molti altri fattori devono essere regolati per la costruzione finale del PC. Grazie!
Show original content
4 users upvote it!
1 answer