•2年
ローカルAIを実行するための手頃なハードウェア
自分自身のLLMsを定期購読せずにローカルで実行するために、PCを取得するか、または構築することを検討しています。外部ベンダーとデータを共有する必要はありません。
小規模なホームラボサーバー/PCの手頃な価格は何でしょうか、「十分に」を作るために。私は量子化されたモデルを試してみましたが、CPUでの処理はかなり遅く、GPUは狂った価格であり、RAMも少ないです。おそらくモデルの一部をGPUにオフロードすることがオプションかもしれませんが、これは他の要素と共に最終的なPC構築に調整が必要です。ありがとうございます!
自分自身のLLMsを定期購読せずにローカルで実行するために、PCを取得するか、または構築することを検討しています。外部ベンダーとデータを共有する必要はありません。
小規模なホームラボサーバー/PCの手頃な価格は何でしょうか、「十分に」を作るために。私は量子化されたモデルを試してみましたが、CPUでの処理はかなり遅く、GPUは狂った価格であり、RAMも少ないです。おそらくモデルの一部をGPUにオフロードすることがオプションかもしれませんが、これは他の要素と共に最終的なPC構築に調整が必要です。ありがとうございます!
Show original content
4 users upvote it!
1 answers