Доступне апаратне забезпечення для роботи вашого локального штучного інтелекту

Я вважав, що добре було б придбати ПК або побудувати один для запуску вашого власного LLM без необхідності підписуватися і ділитися вашими даними з зовнішніми постачальниками.
Я думав, що було б доступно для невеликого домашнього лабораторного сервера / ПК, щоб зробити його "достатньо добрим", яким би він не був. Я спробував квантуєтні моделі і вони працюють досить добре, але зазвичай досить повільно на ЦП, проте відеокарти мають божевільні ціни і небагато ОЗУ ... Можливо, варто частину моделей перенаправити на відеокарту, але це, як і багато інших чинників, потрібно налаштувати у кінцевій побудові ПК. Дякую!

Я вважав, що добре було б придбати ПК або побудувати один для запуску вашого власного LLM без необхідності підписуватися і ділитися вашими даними з зовнішніми постачальниками.
Я думав, що було б доступно для невеликого домашнього лабораторного сервера / ПК, щоб зробити його "достатньо добрим", яким би він не був. Я спробував квантуєтні моделі і вони працюють досить добре, але зазвичай досить повільно на ЦП, проте відеокарти мають божевільні ціни і небагато ОЗУ ... Можливо, варто частину моделей перенаправити на відеокарту, але це, як і багато інших чинників, потрібно налаштувати у кінцевій побудові ПК. Дякую!

Show original content

4 users upvote it!

1 answer