Hardware asequible para ejecutar tu IA local.

He estado considerando adquirir una PC, o construir una para ejecutar localmente tus propios LLMs sin necesidad de suscribirte y compartir tus datos con proveedores externos. Me preguntaba cuál sería la opción más económica para un pequeño servidor/PC de laboratorio en casa para hacer que sea "lo suficientemente bueno", sea lo que sea eso. He probado modelos cuantificados y funcionan bastante bien, pero suelen ser bastante lentos en la CPU, sin embargo, las GPU tienen precios enloquecidos y poca RAM... Quizás descargar parte de los modelos a la GPU podría ser una opción, pero esto, al igual que muchos otros factores, necesitaría ajustes en la construcción final de la PC. ¡Gracias!
He estado considerando adquirir una PC, o construir una para ejecutar localmente tus propios LLMs sin necesidad de suscribirte y compartir tus datos con proveedores externos. Me preguntaba cuál sería la opción más económica para un pequeño servidor/PC de laboratorio en casa para hacer que sea "lo suficientemente bueno", sea lo que sea eso. He probado modelos cuantificados y funcionan bastante bien, pero suelen ser bastante lentos en la CPU, sin embargo, las GPU tienen precios enloquecidos y poca RAM... Quizás descargar parte de los modelos a la GPU podría ser una opción, pero esto, al igual que muchos otros factores, necesitaría ajustes en la construcción final de la PC. ¡Gracias!
Show original content

4 users upvote it!

1 answer