مساعد ذكي يجيب استنادًا إلى مستندات المستخدم

المشكلة

تكون المعلومة المطلوبة متوفرة غالبًا، لكنها مدفونة في مئات الصفحات من ملفات PDF التي لا يقرؤها أحد. ويُخفق البحث بالكلمات المفتاحية لأن المستخدم لا يعرف المصطلح المستخدم في المستند. أما نماذج الذكاء الاصطناعي العامة فتجيب من معرفتها العامة وقد تختلق تفاصيل لا أصل لها، وهو أسوأ من عدم الإجابة. ويكمن الحل في بناء الإجابة من المستند ذاته، مع إرفاق مصدرها بكل إجابة للتحقق منها.

كيف يعمل

1. الرفعيرفع المستخدم المستندات بأي صيغة، ويستخرج النظام نصوصها.
2. التقطيعيُقسَّم النص إلى مقاطع مترابطة مع الاحتفاظ بأرقام الصفحات.
3. الفهرسةيُحوَّل كل مقطع إلى تمثيل رقمي يحمل معناه، ثم يُخزَّن.
4. السؤاليُحوَّل السؤال إلى التمثيل نفسه، ويُبحث عن أقرب المقاطع إليه.
5. الإجابةيصوغ النموذج الإجابة من المقاطع المسترجعة فقط.
6. المصدرتُرفق بكل إجابة أرقام الصفحات والفقرات التي بُنيت عليها.

مميزات المشروع

• الإشارة إلى المصدر مع كل إجابة، وهي ما يميّز الأداة الموثوقة من الأداة التي تختلق المعلومات.
• يُقرّ النظام بعدم العثور على الإجابة بدلًا من اختلاقها، وهو سلوك تقدّره لجنة المناقشة.
• يعمل على مستندات المستخدم نفسه لا على المعرفة العامة.
• عرض مباشر مؤثر، برفع أنظمة الجامعة وطرح الأسئلة عليها أمام اللجنة.
• قابل للتسويق لأي جهة لديها أدلة وأنظمة، كالشركات والجامعات ومكاتب المحاماة.

التحديات المتوقعة

فيما يلي أبرز العقبات المتوقعة في أثناء التنفيذ، نعرضها بوضوح لتكون على بيّنة منها قبل البدء.

• تحتاج المستندات العربية الممسوحة ضوئيًا إلى التعرّف الضوئي على الحروف، وتتفاوت جودته.
• يؤدي تقطيع النص في موضع غير مناسب إلى انقطاع المعنى وفقدان الإجابة.
• يؤدي السؤال الغامض إلى استرجاع مقاطع غير مترابطة.
• يصعب استخراج الجداول والصور الموجودة داخل المستندات.
• ضمان عدم اختلاق النموذج لأي معلومات خارج المقاطع المسترجعة.

نقدّم لك حلًا لكل منها ضمن الاستشارة.

أسئلة اللجنة المتوقعة

يُستحسن إعداد إجاباتك عنها مسبقًا، إذ تتكرر هذه الأسئلة لدى لجان المناقشة في المشاريع المماثلة.

1. ما تقنية التوليد المعزّز بالاسترجاع (RAG)؟ ولماذا تُفضَّل على تدريب النموذج على المستندات؟
2. كيف تُقطَّع المستندات؟ وما أثر حجم المقطع في جودة الإجابة؟
3. كيف يُمنع النموذج من اختلاق إجابة غير موجودة في المستندات؟
4. كيف تُعالَج المستندات العربية الممسوحة ضوئيًا؟

تدرّب على المناقشة سؤالًا سؤالًا