Matériel abordable pour exécuter votre IA locale

J'ai envisagé d'acquérir un PC, ou d'en construire un pour exécuter localement vos propres LLMs sans avoir besoin de vous abonner et de partager vos données avec des fournisseurs externes. Je me demandais quel serait le meilleur choix pour un petit serveur/PC de laboratoire à domicile pour le rendre "suffisamment bon", quelle que soit la signification de cela. J'ai essayé des modèles quantifiés et ils fonctionnent plutôt bien, mais sont généralement assez lents sur le CPU, cependant les GPU ont des prix indécents et peu de RAM... Peut-être décharger une partie des modèles sur le GPU pourrait être une option, mais cela, tout comme de nombreux autres facteurs, doit être ajusté à la conception finale du PC. Merci!

J'ai envisagé d'acquérir un PC, ou d'en construire un pour exécuter localement vos propres LLMs sans avoir besoin de vous abonner et de partager vos données avec des fournisseurs externes. Je me demandais quel serait le meilleur choix pour un petit serveur/PC de laboratoire à domicile pour le rendre "suffisamment bon", quelle que soit la signification de cela. J'ai essayé des modèles quantifiés et ils fonctionnent plutôt bien, mais sont généralement assez lents sur le CPU, cependant les GPU ont des prix indécents et peu de RAM... Peut-être décharger une partie des modèles sur le GPU pourrait être une option, mais cela, tout comme de nombreux autres facteurs, doit être ajusté à la conception finale du PC. Merci!

Montrer le contenu original

4 users upvote it!

1 answer