Bezahlbare Hardware für die Ausführung Ihrer lokalen KI

Ich habe darüber nachgedacht, mir einen PC anzuschaffen oder einen zu bauen, um Ihre eigenen LLMs lokal auszuführen, ohne sich abonnieren zu müssen und Ihre Daten mit externen Anbietern teilen zu müssen. Ich frage mich, was für ein kleines Heimlabor-Server oder PC erschwinglich wäre, um es "gut genug" zu machen, was auch immer das sein könnte. Ich habe quantisierte Modelle ausprobiert und sie funktionieren recht gut, sind jedoch oft ziemlich langsam auf der CPU, aber GPUs haben verrückte Preise und wenig RAM… Vielleicht wäre es eine Option, einen Teil der Modelle auf die GPU auszulagern, aber dies erfordert, wie viele andere Faktoren auch, Anpassungen am endgültigen PC-Bau. Vielen Dank!
Ich habe darüber nachgedacht, mir einen PC anzuschaffen oder einen zu bauen, um Ihre eigenen LLMs lokal auszuführen, ohne sich abonnieren zu müssen und Ihre Daten mit externen Anbietern teilen zu müssen. Ich frage mich, was für ein kleines Heimlabor-Server oder PC erschwinglich wäre, um es "gut genug" zu machen, was auch immer das sein könnte. Ich habe quantisierte Modelle ausprobiert und sie funktionieren recht gut, sind jedoch oft ziemlich langsam auf der CPU, aber GPUs haben verrückte Preise und wenig RAM… Vielleicht wäre es eine Option, einen Teil der Modelle auf die GPU auszulagern, aber dies erfordert, wie viele andere Faktoren auch, Anpassungen am endgültigen PC-Bau. Vielen Dank!
Show original content

4 users upvote it!

1 answer