ローカルAIを実行するための手頃なハードウェア

自分自身のLLMsを定期購読せずにローカルで実行するために、PCを取得するか、または構築することを検討しています。外部ベンダーとデータを共有する必要はありません。
小規模なホームラボサーバー/PCの手頃な価格は何でしょうか、「十分に」を作るために。私は量子化されたモデルを試してみましたが、CPUでの処理はかなり遅く、GPUは狂った価格であり、RAMも少ないです。おそらくモデルの一部をGPUにオフロードすることがオプションかもしれませんが、これは他の要素と共に最終的なPC構築に調整が必要です。ありがとうございます!

自分自身のLLMsを定期購読せずにローカルで実行するために、PCを取得するか、または構築することを検討しています。外部ベンダーとデータを共有する必要はありません。
小規模なホームラボサーバー/PCの手頃な価格は何でしょうか、「十分に」を作るために。私は量子化されたモデルを試してみましたが、CPUでの処理はかなり遅く、GPUは狂った価格であり、RAMも少ないです。おそらくモデルの一部をGPUにオフロードすることがオプションかもしれませんが、これは他の要素と共に最終的なPC構築に調整が必要です。ありがとうございます!

Show original content

4 users upvote it!

1 answers