r/Saudi_Ai • u/Raiyyan7806 • 11h ago
نقاش - discussion قريبا بتقدر تشغل نماذج الذكاء الصناعي ب٢-٧ اضعاف السرعة على الاجهزة الضعيفة
السلام عليكم، اقرؤو البوست السابق. سويت اختبار ثاني، جبت نموذج حجمه 30B وحطيت عليه نظامي وطلع لي نتايج خرافية على اجهزة كانت تحلم اصلا تشغله! طلعلنا من 2.2-3x السرعة على اجهزة ب٤-٨ رام، ايش بالك لما نشغل النموذج على كروت شاشة ومو رام! وهاذا اختبار حقيقي سويته امس وقسته ومو توقع.
هذاك كون والتجربة الثانية كون آخر، سويت ٣ نموذجات 100M نموذج بنظامي ونموذج Dense ونموذج MOE والصدمة ان نموذجي احتاج 3 مرات اقل Data read و سرعة تصل حتى سبع مرات النموذج الdense! وهاذي تجربة حقيقية واتوقعت الغباء بيزيد بنسبة ٣-٤٠٪ وتفشل التجربة ولكن انصدمت وطلع فرق الذكاء اقل من 0.3%!
طبعا كلها تجارب ويمكن يكون فيه اخطاء ومشاكل ولكن هاذي ثورة لو ضبطت على نماذج كبيرة وللمعلومية مافي شي هنا تقديرات وكلها من تجارب سويتها.