Доступное оборудование для запуска вашего локального искусственного интеллекта

Я думал о том, чтобы приобрести ПК или собрать его для запуска ваших собственных LLMs локально без необходимости подписки и передачи ваших данных внешним поставщикам.
Меня интересовало, какая цена будет доступна для небольшого домашнего сервера/ПК, чтобы сделать его "достаточно хорошим", каким бы он ни был.

Я пробовал квантованные модели и они работают довольно хорошо, но обычно довольно медленно на ЦП, однако ГПУ имеют безумные цены и небольшой объем ОЗУ… Возможно, выгрузка части моделей на ГПУ может быть вариантом, но для этого нужно выполнять множество других факторов для окончательной сборки ПК. Спасибо!

Я думал о том, чтобы приобрести ПК или собрать его для запуска ваших собственных LLMs локально без необходимости подписки и передачи ваших данных внешним поставщикам.
Меня интересовало, какая цена будет доступна для небольшого домашнего сервера/ПК, чтобы сделать его "достаточно хорошим", каким бы он ни был.

Я пробовал квантованные модели и они работают довольно хорошо, но обычно довольно медленно на ЦП, однако ГПУ имеют безумные цены и небольшой объем ОЗУ… Возможно, выгрузка части моделей на ГПУ может быть вариантом, но для этого нужно выполнять множество других факторов для окончательной сборки ПК. Спасибо!

Show original content

4 users upvote it!

1 answer