Betaalbare hardware om je lokale AI uit te voeren

Ik overweeg om een ​​pc aan te schaffen, of er een te bouwen om lokaal je eigen LLM's te laten draaien zonder de noodzaak om je aan te melden en je gegevens te delen met externe leveranciers. Ik vroeg me af wat betaalbaar zou zijn voor een kleine server/pc voor thuisgebruik om het "goed genoeg" te maken, wat dat ook zou kunnen zijn. Ik heb gequantificeerde modellen geprobeerd en ze werken vrij goed, maar meestal vrij langzaam op de CPU, hoewel GPU's gekke prijzen hebben en weinig RAM... Misschien is het een optie om een deel van de modellen naar de GPU te verplaatsen, maar dit, net als veel andere factoren, moeten worden aangepast aan de uiteindelijke pc-build. Bedankt!