أجهزة اقتصادية لتشغيل الذكاء الاصطناعي المحلي الخاص بك
كنت أفكر في الحصول على جهاز كمبيوتر، أو بناء واحد لتشغيل LLMs الخاصة بك محليًا دون الحاجة إلى الاشتراك ومشاركة بياناتك مع البائعين الخارجيين. لقد كنت أتساءل ما هو المعقول لخادم / جهاز كمبيوتر صغير للمنزل لجعله "جيدًا بما فيه الكفاية"، مهما كان ذلك. لقد جربت نماذج المقدار وتعمل بشكل جيد تمامًا، ولكن عادة ما تكون بطيئة على وحدة المعالجة المركزية، ومع ذلك تكون أسعار بطاقات الرسومات مبالغ فيها والذاكرة العشوائية قليلة... ربما تكون إعادة جزء من النماذج إلى وحدة المعالجة الرسومية خيارًا، ولكن هذا بالإضافة إلى العديد من العوامل الأخرى التي يجب ضبطها لبناء الكمبيوتر النهائي. شكرًا لك!
كنت أفكر في الحصول على جهاز كمبيوتر، أو بناء واحد لتشغيل LLMs الخاصة بك محليًا دون الحاجة إلى الاشتراك ومشاركة بياناتك مع البائعين الخارجيين. لقد كنت أتساءل ما هو المعقول لخادم / جهاز كمبيوتر صغير للمنزل لجعله "جيدًا بما فيه الكفاية"، مهما كان ذلك. لقد جربت نماذج المقدار وتعمل بشكل جيد تمامًا، ولكن عادة ما تكون بطيئة على وحدة المعالجة المركزية، ومع ذلك تكون أسعار بطاقات الرسومات مبالغ فيها والذاكرة العشوائية قليلة... ربما تكون إعادة جزء من النماذج إلى وحدة المعالجة الرسومية خيارًا، ولكن هذا بالإضافة إلى العديد من العوامل الأخرى التي يجب ضبطها لبناء الكمبيوتر النهائي. شكرًا لك!
4 users upvote it!
1 answer