تُعد الذاكرة أحد الأساسيات الضرورية التي تساعد البشر على أداء مهامهم اليومية. بدونها، يصبح من المستحيل تقريبًا القيام بأي نشاط. اليوم، ومع تطور النماذج اللغوية الكبيرة (LLMs)، أصبحنا نرى قدرة هذه النماذج على معالجة اللغة بشكل يقارب قدرات الإنسان. لكن السؤال الأهم الذي يطرح نفسه: هل تمتلك هذه النماذج ذاكرة؟ من خلال دراسات حديثة، يبدو أن هناك شكلاً من الذاكرة موجودًا لدى هذه النماذج. فكيف تعمل هذه الذاكرة؟ هل تختلف عن الذاكرة البشرية؟ في هذا المقال، سنلقي نظرة عميقة على كيفية عمل ذاكرة النماذج اللغوية الكبيرة من خلال النظرية العالمية للتقريب (UAT) ونشرح كيف يمكن اختبار قدرات هذه الذاكرة.
ما هي ذاكرة النماذج اللغوية الكبيرة؟
ذاكرة الإنسان تعتمد على القدرة على تشفير، تخزين، واسترجاع المعلومات. بالنظر إلى النماذج اللغوية الكبيرة، نجد أنها تتعامل مع الذاكرة بشكل مختلف قليلاً. هذه النماذج تعتمد على القدرة على تلقي استفسارات محددة ومن ثم تقديم إجابات مبنية على المعلومات التي تعلمتها سابقًا. لكن الذاكرة في هذه النماذج ليست ثابتة أو مخزنة في “مكان” معين، بل هي نتيجة لعمليات ديناميكية يتم تفعيلها عند الحاجة. على سبيل المثال، عندما نسأل النموذج عن قانون نيوتن الأول، يقوم النموذج بتوليد الجواب بناءً على المعلومات المخزنة في وزنه دون الحاجة إلى أن تكون الجملة كلها مخزنة بشكل صريح في مكان معين.
الفرق بين ذاكرة الإنسان والنماذج اللغوية الكبيرة
ذاكرة الإنسان ترتبط بالخلايا العصبية، بينما تعتمد النماذج اللغوية الكبيرة على شبكة من الوحدات الرياضية التي تقوم بعمليات تقريب ديناميكية لتوليد الإجابات. لكن الفارق الكبير هنا هو أن الإنسان يستطيع تذكر تجاربه بطرق مختلفة كل مرة، بينما تعتمد النماذج على تكرار نفس الإجابة إذا طُرحت نفس السؤال. بعبارة أخرى، يمكننا القول إن ذاكرة هذه النماذج تعمل كـ “ذاكرة شرودنغر”، أي أنها تظهر فقط عندما يتم استدعاؤها وتظل غير محددة في بقية الأوقات.
اختبار ذاكرة النماذج اللغوية: تجربة القصائد
لإثبات قدرة هذه النماذج على الذاكرة، تم إجراء تجربة باستخدام مجموعات بيانات عامة من القصائد الصينية والإنجليزية. أظهرت النتائج أن النماذج كانت قادرة على تذكر وتكرار القصائد بناءً على بعض المدخلات المحددة مثل عنوان القصيدة أو اسم الكاتب. على سبيل المثال، تمكنت النماذج من إنتاج قصائد كاملة باستخدام معلومات بسيطة كعنوان القصيدة واسم المؤلف. هذه التجربة تثبت أن النماذج قادرة على استرجاع المعلومات المحفوظة لديها، وهو ما يعزز فكرة أن لها ذاكرة ديناميكية.
عوامل تؤثر في دقة ذاكرة النماذج
من خلال التجارب، تبين أن طول النص المدخل للنموذج يؤثر بشكل مباشر على دقة الذاكرة. كلما زاد طول النص، زادت صعوبة استرجاع المحتوى بشكل دقيق. كما أن هناك فرقًا بين اللغات؛ فقد كانت النماذج أفضل في التعامل مع القصائد الإنجليزية مقارنة بالقصائد الصينية، مما يشير إلى أن اللغة وتركيبها لهما دور مهم في تحديد مدى فعالية الذاكرة.
مقارنة بين ذاكرة البشر والنماذج اللغوية
عندما نقارن ذاكرة البشر بالنماذج اللغوية الكبيرة، نجد أن كلا النوعين يعتمدان على المدخلات لاسترجاع الذكريات. لكن الفارق الجوهري يكمن في أن النماذج تعتمد على تقريب ديناميكي مدعوم بالنظرية العالمية للتقريب، بينما تعتمد الذاكرة البشرية على تشابك معقد للخلايا العصبية والتجارب الحياتية.
خاتمة
في نهاية المطاف، يمكن القول إن النماذج اللغوية الكبيرة تمتلك ذاكرة ديناميكية شبيهة بذاكرة الإنسان في بعض الجوانب. تعتمد هذه النماذج على تفعيل الذاكرة عند الحاجة إليها، مما يجعلنا نطلق عليها “ذاكرة شرودنغر”. لكن يبقى التحدي الأكبر هو تحسين هذه الذاكرة وجعلها أكثر دقة وقربًا من الذاكرة البشرية من خلال تحسين حجم النموذج، جودة البيانات، وهيكل النموذج.
للمزيد من الأخبار عن الذكاء الإصطناعي اضغط هنا
العاملون على البحث
- Wei Wang (جامعة هونغ كونغ بوليتكنيك)
- Qing Li (جامعة هونغ كونغ بوليتكنيك)
المراجع
- Wei Wang, Qing Li. “Schrödinger’s Memory: Large Language Models.” Department of Computing, The Hong Kong Polytechnic University, 2024. Available on arXiv:2409.10482v2.
- Cybenko, G. “Approximation by superpositions of a sigmoidal function.” Mathematics of Control, Signals, and Systems, 2007.
- Hornik, K., Stinchcombe, M.B., White, H. “Multilayer feedforward networks are universal approximators.” Neural Networks, 1989.
- BigScience Workshop et al. “Bloom: A 176B-Parameter Open-Access Multilingual Language Model,” 2023.
