আপনার স্থানীয় AI কার্যক্ষম করার জন্য দাম অনুযায়ী হার্ডওয়্যার।

আমি পিসি অর্জন করার বা একটি মেশিন তৈরি করার কথা চিন্তা করছি, যা মূল কারণে তোমার LLMs প্রাথমিকভাবে ডাউনলোড করবে না এবং এগুলি এক্সটার্নাল ভেন্ডরদের সাথে ভাগ করতে হবে না। আমি চিন্তা করছিলাম একটি ছোট হোম ল্যাব সার্ভার/পিসি জন্য সহজিয়করণ কি হতে পারে, "যত্তুকু" উপকরণ দরকার। আমি প্রয়োগ করেছি কোয়ান্টাইজড মডেল এবং তা খুব ভালো কাজ করে, কিন্তু সাধারণভাবে এটা স্লো থাকে সিপিইউতে, তবে GPU-গুলির দাম বেশ উচ্চ এবং কম র‌্যাম। সম্ভাবত মডেলের অংশকে GPU-তে লোড করার একটি অপশন হতে পারে, কিন্তু এটা অতিরিক্ত এবং সার্বজনীন পিসি তৈরিতে এ্তি-এমন অনেক অন্যান্য ধরনের পরিস্থ‌ি‌তিগুলি পরিষ্কার করা দরকার। ধন্যবাদ।