ما مدى قدرة DeepSeek على الإجابة على الأسئلة المتعلقة بكندا؟ لقد قمنا باختبارها

في الأسبوع الماضي، أطلقت شركة الذكاء الاصطناعي الصينية DeepSeek نموذجًا لغويًا كبيرًا اكتسب اهتمامًا سريعًا لقدراته وتكلفته المنخفضة. وذكرت الشركة أنها أنفقت 5.6 مليون دولار أمريكي لتدريب أحد نماذجها، مقارنة بشركات أمريكية أنفقت مئات الملايين للقيام بنفس الشيء.

قررنا وضع ثلاثة روبوتات محادثة تعمل بالذكاء الاصطناعي ضد بعضها البعض في مواجهة حاسمة من خلال طرح بعض الأسئلة المتعلقة بكندا على DeepSeek وChatGPT وMeta AI.

تم إعطاء كل روبوت محادثة نفس المطالبات في جلسة محادثة جديدة، وتم تسجيل إجاباتهم. لقد منحنا نقطة واحدة لأفضل استجابة أو للإجابة الصحيحة على استعلام صحيح أو خاطئ.

لقد جربنا المستويات المجانية لهذه الروبوتات الدردشة واستخدمنا نماذجها الرئيسية (مثل GPT-4o). كما لم نستدع يدويًا أدوات مثل البحث على الويب أو التفكير المتقدم.

هل هذا علمي؟ ليس بالضرورة، لكنه أعطانا نظرة ثاقبة حول قدرات كل من هذه الأنظمة، وسمح لنا بالاستمتاع قليلاً في الوقت نفسه.

شركة DeepSeek الصينية الناشئة تهبط بأسهم تكنولوجيا الذكاء الاصطناعي بينما تتفوق شركة غير معروفة على عمالقة وادي السيليكون

موجه: تلخيص كندا في قصيدة هايكو

من المثير للاهتمام أن نفكر في المعرفة التي تم تدريب هذه الأنظمة عليها والتي وجهتها نحو "الواسعة" و"القيقب". بشكل عام، لا يوجد تصوير غير دقيق لهذه الدولة. سنمنح كل روبوت محادثة نقطة واحدة.

موجه: احسب نصيب الفرد من الناتج المحلي الإجمالي في كندا

"الحساب" هي كلمة أساسية في هذا الطلب، لمعرفة ما إذا كانت برامج المحادثة الآلية ستحاول إجراء حساباتها الخاصة. وقد أعطى كل روبوت إجابة مماثلة تبلغ حوالي 55 ألف دولار أميركي، لكنه حققها بطرق مختلفة.

إنها فرصة قريبة، لكن ChatGPT يسجل نقطة هنا من خلال الربط بمصادره بالإضافة إلى حساب النتيجة. كما عرض DeepSeek وMeta AI صيغهما أيضًا، لكنهما لم يربطا بالمصادر.

السؤال: من هو الهداف الأكثر غزارة في دوري الهوكي الوطني من حيث عدد الأهداف المسجلة مقابل عدد المباريات التي لعبها في مسيرته؟

هذا سؤال آخر لاختبار مدى فهم برامج المحادثة الآلية لما يُطلب. نحن نبحث عن متوسط عدد الأهداف المسجلة في كل مباراة، وليس إجمالي الأهداف التي سجلها اللاعب في مسيرته المهنية.

لقد نجح كل من موقع ChatGPT وموقع DeepSeek في تحديد هذا الأمر بشكل صحيح، حيث ذكرا مايك بوسي من فريق نيويورك آيلاندرز باعتباره الهداف الأكثر غزارة من حيث الأهداف في المباراة الواحدة بمتوسط 0.76. وكان لدى كل منهما العدد الصحيح من الأهداف (573) والألعاب (752) في مسيرته المهنية لإجراء الحساب. وهذا يتطابق مع الأرقام الواردة في قائمة سجلات اللاعبين في دوري الهوكي الوطني.

كانت Meta AI بعيدة كل البعد عن الهدف في ردها وتحصل على صفر نقطة.

أجاب واين جريتزكي ولم يذكر بوسي على الإطلاق. كان Meta AI محقًا في القول إن جريتزكي سجل 894 هدفًا في 1487 مباراة، مما يمنحه متوسط 0.6 هدفًا في المباراة، لكن هذا أقل بكثير من بوسي.

يصنف الدوري الوطني للهوكي جريتزكي في المركز السابع من حيث متوسط عدد الأهداف في المباراة الواحدة.

السؤال: كم عدد المرات التي يظهر فيها الحرف "a" في كلمة "كندا"؟

كانت هناك قصص في عام 2024 حول عدم قدرة ChatGPT على حساب عدد المرات التي ظهر فيها الحرف "r" في كلمة strawberry بدقة. تم تحديثه لإصلاح هذه المشكلة، لكننا فكرنا في تجربة شيء مماثل مع الحرف "a" في كندا.

تفوز جميع برامج المحادثة الآلية بنقطة واحدة من خلال الإجابة الصحيحة عن ثلاث حالات من الحرف "a".

موجه: إذا تم توزيع جميع الأشخاص في كندا بالتساوي على إجمالي مساحة الأرض، فما مقدار المساحة التي سيحصل عليها كل شخص؟

هذه منافسة قريبة، حيث أن استجابة ChatGPT أقوى قليلاً من استجابة DeepSeek، ولكننا سنمنح كل منهما نقطة واحدة.

لقد أجروا نفس الحساب وكلاهما أعطيا إجابة تبلغ نحو 0.25 كيلومتر مربع أو 25 هكتارًا للشخص الواحد إذا تم توزيعها بالتساوي في جميع أنحاء البلاد.

كما ربطت ChatGPT بين الهكتارات وعدد ملاعب كرة القدم. وقالت إن 25 هكتارًا تعادل تقريبًا مساحة 35 ملعب كرة قدم للشخص الواحد. وقد تأكدنا من هذا الرقم باستخدام أبعاد ملعب اللعب الموصى بها من قبل الاتحاد الدولي لكرة القدم بالإضافة إلى حاسبة عبر الإنترنت، وكلاهما منها 0.7140 هكتارا استغلت لملعب كرة قدم.

استخدمت Meta AI مساحة قدرها 10,085,000 كيلومتر مربع من مساحة كندا، أي ما يزيد بنحو 100 ألف كيلومتر مربع عن برنامجي الدردشة الآخرين.

عندما سئلنا عن رقمها بالنسبة لإجمالي مساحة الأرض، وجهتنا MetaAI إلى هيئة الإحصاء الكندية وهيئة الموارد الطبيعية الكندية والبنك الدولي. وقد اتفقت صفحة مختلفة على موقع Statscan مع الرقم الذي قدمه ChatGPT وDeepSeek، لكننا لم نتمكن من العثور على حجم مساحة الأرض في هيئة الموارد الطبيعية الكندية، بينما قدم البنك الدولي رقمًا مختلفًا وأقل.

النتيجة النهائية

حصل تطبيق ChatGPT على المركز الأول بخمس نقاط من خمسة مطالبات.

وتأتي شركة DeepSeek في المركز الثاني بفارق ضئيل بأربع نقاط. ولو كانت قد استشهدت بمصادر في الاستعلام عن نصيب الفرد من الناتج المحلي الإجمالي، لكان الأمر متعادلاً.

ويتأخر عنهم بفارق نقطتين تطبيق Meta AI. فقد أعطى إجابة خاطئة للاعب NHL صاحب أكبر عدد من الأهداف في المباراة الواحدة ولم يستشهد بالمصادر بقدر ما استشهد به الآخرون.

قد لا تتمكن من تجربة DeepSeek بنفسك، حيث أعلنت الشركة يوم الاثنين أنها ستقيد مؤقتًا عمليات التسجيل بسبب هجوم إلكتروني.

من المهم أن نتذكر أن روبوتات الدردشة التي تعمل بالذكاء الاصطناعي تعاني من الهلوسة: فقد تحصل على معلومات خاطئة أو تختلق ردودًا في حين تبدو واثقة تمامًا.

تابعونا على أخبار جوجل