•2년
지역 AI 운영에 적합한 가격이 저렴한 하드웨어
개인 LLM을 로컬에서 구독하지 않고 외부 업체와 데이터를 공유하지 않고 실행할 수 있는 PC를 확보하거나 직접 구축하려고 고려해왔습니다.
작지만 좋은 작은 홈 랩 서버/PC를 만들기 위해 어느 정도가 합리적일지 궁금해졌습니다.
양자화된 모델을 시도해 보았는데 CPU에서는 작동이 잘되지만 일반적으로 속도가 상당히 느립니다. 그러나 GPU의 가격이 엄청나게 비싸고 RAM도 적습니다... 모델의 일부를 GPU로 옮기는 것이 선택지가 될 수 있지만, 이 외에도 다른 여러 요소들이 최종 PC 구축에 조정되어야 할 것입니다. 감사합니다!
개인 LLM을 로컬에서 구독하지 않고 외부 업체와 데이터를 공유하지 않고 실행할 수 있는 PC를 확보하거나 직접 구축하려고 고려해왔습니다.
작지만 좋은 작은 홈 랩 서버/PC를 만들기 위해 어느 정도가 합리적일지 궁금해졌습니다.
양자화된 모델을 시도해 보았는데 CPU에서는 작동이 잘되지만 일반적으로 속도가 상당히 느립니다. 그러나 GPU의 가격이 엄청나게 비싸고 RAM도 적습니다... 모델의 일부를 GPU로 옮기는 것이 선택지가 될 수 있지만, 이 외에도 다른 여러 요소들이 최종 PC 구축에 조정되어야 할 것입니다. 감사합니다!
Show original content
4 users upvote it!
1 answers