•२ वर्ष
अपने स्थानीय ए.आई. चलाने के लिए सस्ते हार्डवेयर।
मैं एक PC प्राप्त करने का विचार कर रहा हूँ, या एक ऐसा बनाने का जो आपको अपनी LLMs को स्थानीय रूप से चलाने के लिए आवश्यकता हो बिना किसी सदस्यता लेने और अपने डेटा को बाहरी विक्रेताओं के साथ साझा करने की। मुझे यह सोच कर आया कि छोटे घर के लैब सर्वर/पीसी के लिए कितना खर्चयोग्य होगा, ताकि वह साक्षम हो जाए, चाहे वह कुछ भी हो। मैंने क्वांटीकीकृत मॉडल्स की कोशिश की और ये काफी अच्छे काम करते हैं, लेकिन सामान्यत: सीपीयू पर बहुत ही धीमे होते हैं, हालांकि जीपीयू तो पागल मुल्यों में हौसले बुलंद और कम रैम हैं... शायद मॉडल के कुछ हिस्सों को जीपीयू पर भेजना एक विकल्प हो सकता है, लेकिन इसके साथ साथ कई अन्य कारकों को भी अंतिम पीसी बनाने के लिए समायोजित किया जाना चाहिए। धन्यवाद!
मैं एक PC प्राप्त करने का विचार कर रहा हूँ, या एक ऐसा बनाने का जो आपको अपनी LLMs को स्थानीय रूप से चलाने के लिए आवश्यकता हो बिना किसी सदस्यता लेने और अपने डेटा को बाहरी विक्रेताओं के साथ साझा करने की। मुझे यह सोच कर आया कि छोटे घर के लैब सर्वर/पीसी के लिए कितना खर्चयोग्य होगा, ताकि वह साक्षम हो जाए, चाहे वह कुछ भी हो। मैंने क्वांटीकीकृत मॉडल्स की कोशिश की और ये काफी अच्छे काम करते हैं, लेकिन सामान्यत: सीपीयू पर बहुत ही धीमे होते हैं, हालांकि जीपीयू तो पागल मुल्यों में हौसले बुलंद और कम रैम हैं... शायद मॉडल के कुछ हिस्सों को जीपीयू पर भेजना एक विकल्प हो सकता है, लेकिन इसके साथ साथ कई अन्य कारकों को भी अंतिम पीसी बनाने के लिए समायोजित किया जाना चाहिए। धन्यवाद!
Show original content
4 users upvote it!
1 answer