Thiết bị giá cả phải chăng để chạy trí tuệ nhân tạo cục bộ của bạn

Tôi đã đang xem xét việc mua một máy tính cá nhân, hoặc tự xây dựng một máy để chạy LLMs của riêng bạn mà không cần đăng ký và chia sẻ dữ liệu với các nhà cung cấp bên ngoài. Tôi tự hỏi một máy chủ/pc home lab nhỏ giá cả thế nào để đảm bảo rằng nó "đủ tốt", bất cứ điều gì đó có thể là. Tôi đã thử các mô hình định lượng và chúng hoạt động khá tốt, nhưng thường rất chậm trên CPU, tuy nhiên GPU có giá cả rất đắt và ít RAM... Có lẽ việc tải một phần của mô hình lên GPU có thể là một lựa chọn, nhưng điều này cùng với nhiều yếu tố khác cần được điều chỉnh cho việc xây dựng PC cuối cùng. Cảm ơn!
Tôi đã đang xem xét việc mua một máy tính cá nhân, hoặc tự xây dựng một máy để chạy LLMs của riêng bạn mà không cần đăng ký và chia sẻ dữ liệu với các nhà cung cấp bên ngoài. Tôi tự hỏi một máy chủ/pc home lab nhỏ giá cả thế nào để đảm bảo rằng nó "đủ tốt", bất cứ điều gì đó có thể là. Tôi đã thử các mô hình định lượng và chúng hoạt động khá tốt, nhưng thường rất chậm trên CPU, tuy nhiên GPU có giá cả rất đắt và ít RAM... Có lẽ việc tải một phần của mô hình lên GPU có thể là một lựa chọn, nhưng điều này cùng với nhiều yếu tố khác cần được điều chỉnh cho việc xây dựng PC cuối cùng. Cảm ơn!
Show original content

4 users upvote it!

1 answers