قضايا هلوسة الذكاء الاصطناعي القانوني تتجاوز ٢٬٠٠٠: ماذا نبني؟

تجاوزت قرارات المحاكم بشأن محتوى ناتج عن هلوسة الذكاء الاصطناعي حاجز ٢٬٠٠٠. لماذا لم يكفِ RAG وحده، وأنماط تصميم من عملي على الذكاء الاصطناعي للعقود.

حتى ١٤ سبتمبر ٢٠٢٦، تُدرج قاعدة بيانات AI Hallucination Cases التي يديرها داميان شارلوتان (Damien Charlotin) ما مجموعه ٢٬٠٤١ قرارًا صادرًا عن محاكم وهيئات قضائية بشأن محتوى ناتج عن هلوسة الذكاء الاصطناعي. وفي معظم هذه القرارات، خلصت المحكمة صراحةً أو ضمنًا إلى أن أحد الأطراف اعتمد على محتوى من هذا النوع؛ لكن قاعدة البيانات تضم أيضًا، على سبيل الاستثناء، بعض القرارات التي ادُّعي فيها استخدام الذكاء الاصطناعي دون أن يثبت. والاسترجاع وحده ليس الحل: ففي دراسة قادتها جامعة ستانفورد، اختُبرت ثلاث أدوات رائدة للبحث القانوني عام ٢٠٢٤، فهلوست كلٌّ منها بنسبة تتراوح بين ١٧٪ و٣٣٪ من الحالات. أما ما ينبغي بناؤه فهو بنية تجعل المخرجات قابلة للتحقق، وإنسان يتخذ القرار، ومجموعة تقييم تُبنى أولًا.

عملتُ مهندسَ ذكاء اصطناعي في Kartez Contract، وفيما يلي ما كنت سأُبقي عليه من ذلك العمل، وما كنت سأفعله أولًا.

ما تقوله قاعدة بيانات قضايا هلوسة الذكاء الاصطناعي لمن يبنون الأنظمة، وما لا تقوله

تجاوز العدد الذي أحصاه شارلوتان ٢٬٠٠٠. وقبل أن يستشهد به أحدٌ في عرض ترويجي أو في مذكرة عن المخاطر، ثمة ثلاثة أمور مهمة.

إنها تُحصي القرارات، لا الأخطاء. فقاعدة البيانات «لا تتتبّع الدائرة (الأوسع بالضرورة) لكل الاستشهادات الزائفة أو لاستخدامات الذكاء الاصطناعي في المذكرات المقدَّمة إلى المحاكم». إنها سجلّ لإخفاقات وصلت إلى القاضي، لا معدّل للهلوسة.

إنها لا تُحمِّل الأدوات المسؤولية. فملاحظتها نفسها تقول إن ذكر أداة ما «لا يعني بالضرورة أن تلك الأداة كانت مسؤولة عن الهلوسات المعنيّة»، ولذلك لا يربط هذا المقال أيَّ قرار في قاعدة البيانات بأداة بعينها. أما الأدوات المذكورة بالاسم أدناه فمصدرها دراسة ستانفورد، لا قاعدة البيانات.

الفئات أهم من العدد الإجمالي. في قاعدة بيانات شارلوتان، يحمل ١٬٦٩٠ قرارًا وسم «مختلَق» (Fabricated)، و٨٥٤ قرارًا وسم «محرَّف» (Misrepresented)، و٥٤٨ قرارًا وسم «اقتباسات زائفة» (False Quotes)، ويمكن أن يحمل القرار الواحد عدة وسوم. والتحقق من وجود المصدر المستشهد به يمكن أن يكشف معظم أخطاء النوع الأول، أي المراجع القانونية المختلَقة. لكنه يدع النوعين الآخرين يمرّان كلما كان المصدر حقيقيًا والاقتباسُ منه مختلَقًا أو قراءتُه خاطئة. وأداة العقود يمكن أن ترتكب الخطأين كليهما وهي تشير إلى بند موجود فعلًا.

ويُدرج شارلوتان أيضًا ١٬١٧٤ قرارًا كان فيها الطرف الذي استخدم الذكاء الاصطناعي متقاضيًا يترافع عن نفسه دون محامٍ، و٨١١ قرارًا كان فيها ذلك الطرف محاميًا؛ لذا لا يمكن لأداة ذكاء اصطناعي قانونية أن تفترض وجود محامٍ في الحلقة، ولا أن محاميًا سيكتشف أخطاءها. والعقود (Contract)، بواقع ٤٤٩ قرارًا، هي أكبر مجال قانوني في قاعدة بياناته. وهذه نزاعات تعاقدية أُثيرت فيها مسألة محتوى ناتج عن هلوسة الذكاء الاصطناعي، لا عقود صاغها الذكاء الاصطناعي.

هل يمنع RAG هلوسة الذكاء الاصطناعي القانوني؟

لا. تخلص دراسة ستانفورد المذكورة أدناه إلى أن التوليد المعزَّز بالاسترجاع (RAG) في المجال القانوني «يمكن أن يقلل الهلوسة مقارنةً بأنظمة الذكاء الاصطناعي العامة الغرض (هنا GPT-4)، لكن الهلوسة تظل كبيرة وواسعة النطاق وقد تكون خادعة». و«خادعة» هي الكلمة الدقيقة: فالإجابة خاطئة الاستناد تصل ومعها مصدر حقيقي. أما التصميم العام لحواجز الحماية فمشروح في مقال حواجز الحماية من هلوسة RAG.

الدراسة التي قادتها ستانفورد: بين ١٧٪ و٣٣٪

في ورقة بحثية نُشرت على arXiv في ٣٠ مايو ٢٠٢٤، قدّم باحثون من جامعتي ستانفورد وييل «أول تقييم تجريبي مسجَّل مسبقًا لأدوات البحث القانوني القائمة على الذكاء الاصطناعي». ويعني التسجيل المسبق أن الدراسة ومجموعة بياناتها، المؤلفة من أكثر من ٢٠٠ استعلام قانوني، سُجّلتا قبل إجراء التقييم، وهو احتياط من انتقاء الاستعلامات بما يلائم النتائج. وكان بعض المزوّدين قد روّجوا للاسترجاع بوصفه «قضاءً» على الهلوسة أو «تجنّبًا» لها. ووجدت الدراسة أن كل أداة من الأدوات Lexis+ AI وWestlaw AI-Assisted Research وAsk Practical Law AI هلوست بنسبة تتراوح بين ١٧٪ و٣٣٪ من الحالات، وأن «ادعاءات المزوّدين مبالغ فيها».

والتعريف أهم من نطاق الأرقام. فالإجابة تُعدّ هلوسة «إذا كانت إما غير صحيحة أو خاطئة الاستناد» (misgrounded)، والاستناد الخاطئ يعني أن الادعاءات الأساسية «يُستشهد لها بمصدر، لكنها تُسيء تفسير المصدر أو تُحيل إلى مصدر لا ينطبق». وقد اختُبرت الأدوات عام ٢٠٢٤، وعلى البحث القانوني لا على العقود، لذا فهذا النطاق ليس رقمًا يصف الذكاء الاصطناعي القانوني اليوم. أما الفئة نفسها فتنطبق على العقود أيضًا: ففي العقد، تبدو الإجابة خاطئة الاستناد صحيحة، وهي تشير إلى البند الخطأ.

نتيجة Google بشأن السياق الكافي: سياق أكثر وامتناع أقل عن الإجابة

تفصل ورقة «السياق الكافي» (Sufficient Context) بين الأخطاء التي يُسيء فيها النموذج استخدام سياق جيد، والأخطاء التي لم يكن فيها السياق كافيًا للإجابة أصلًا. والنماذج الأكبر التي اختبرتها، من Google وOpenAI وAnthropic، «كثيرًا ما تُخرج إجابات غير صحيحة بدلًا من الامتناع عن الإجابة حين لا يكون السياق» كافيًا.

ويقول المقال الذي نشرته Google Research عن هذا العمل (١٤ مايو ٢٠٢٥) إن RAG، وإن كان «يحسّن الأداء الإجمالي عمومًا، فإنه، ومن المفارقة، يُضعف قدرة النموذج على الامتناع عن الإجابة حين يكون ذلك مناسبًا». وفي مثال Google، أعطى النموذج Gemma إجابات غير صحيحة عن ١٠٫٢٪ من الأسئلة دون أي سياق، وعن ٦٦٫١٪ منها مع سياق غير كافٍ.

الاسترجاع يغيّر ما يراه النموذج، لا إدراكه لما إذا كان ما لديه كافيًا. فالسؤال عن إنهاء العقد قد تتوقف إجابته على تعريف أو على بند إخطار لم يُسترجع قط. لذا يجب أن يجعل التصميمُ عبارةَ «أحتاج إلى قسم آخر» مخرَجًا عاديًا، وأن يختبر التقييمُ ذلك.

مراجعة العقود بالذكاء الاصطناعي: الإخفاقات التي تهمّ

البند المختلَق يصبح مسؤوليةً على عاتق من يوقّع، ولذلك فالنموذج الذي يختلق بندًا أسوأ من عدم وجود نموذج أصلًا. وهذه هي الإخفاقات التي كنت سأصمّم لمواجهتها أولًا. لا يُثبت أيٌّ من الأنماط أدناه صحة إجابة؛ لكن معظمها يجعل الإجابة الخاطئة قابلة للاكتشاف.

أنماط تصميم الذكاء الاصطناعي للعقود من مشروع Kartez Contract

من نوفمبر ٢٠٢٥ إلى يوليو ٢٠٢٦، عملتُ مهندسَ ذكاء اصطناعي في Kartez Contract، وهو مساحة عمل للعقود ثلاثية اللغات بواجهة تُقرأ من اليمين إلى اليسار، تضم معالجًا للصياغة، ورحلة للمراجعة، واستوديو للعقود. أعدتُ بناء محرّك الذكاء الاصطناعي الذي تقوم عليه مسارات العمل هذه ووسّعته، انطلاقًا من أولى سلاسل الذكاء الاصطناعي البسيطة التي كانت لدى العميل، وبنيتُ المساعد الذكي (copilot) الذي يصنّف كل طلب، ويعثر على البنود ذات الصلة، ويخطط للتعديلات على مستوى العقد كله.

كانت أصعب المشكلات هي الاسترجاع وإبقاء النموذج مرتبطًا بالنص، وقد عولج هذا الارتباط بالبنية لا بالثقة. لا يمثّل أيٌّ من الأنماط الستة أدناه ضمانةً مقيسة؛ والأنماط الأربعة الأولى هي قيود الارتباط بالنص نفسها.

الإجابة فقط من البنود التي اختارها المساعد الذكي

قُسِّم عقد المستخدم وفق بنيته الخاصة، بما في ذلك المواد والبنود والملاحظات (ماده، بند، تبصره) التي ترقّمها العقود الفارسية على طريقتها. ولم يُستخدم للإجابة عن أي سؤال إلا الأقسام ذات الصلة به، وكانت لدى المساعد الذكي تعليمات بأن يصرّح حين يحتاج إلى أقسام لم تُعرض عليه.

البند وحدةٌ يعمل بها المحامي أصلًا، ولذلك فمجموعة الاسترجاع المكوّنة من بنود مجموعةٌ يستطيع المقيِّم أن يضع عليها وسومًا ويتحقق منها. والتعليمات تقدّم بديلًا عن التخمين، لكنها ليست بوابة مُلزِمة، لذا تحتاج مجموعة التقييم إلى أسئلة لا تستطيع البنود المختارة الإجابة عنها. وللاسترجاع في النصوص الفارسية فخاخه الخاصة، وهي مشروحة في سياق نظام آخر في مقال البحث الهجين في RAG للغة الفارسية.

تصحيحات تقتبس نص العقد حرفيًا

كان يُشترط في كل تصحيح مقترح أن يقتبس الصياغة الحالية كلمةً بكلمة، كي يمكن العثور عليها واستبدالها، وكان يأتي معه نص بديل جاهز للاستخدام. وهذا الشرط هو ما يجعل التحقق من الاقتباس الحرفي (exact-quote validation) ممكنًا: إذ يستطيع برنامج أن يتأكد من وجود النص المقتبس قبل تطبيق التصحيح.

أما صواب إعادة الصياغة فمسألة تقدير قانوني. وأما وجود الجملة التي تحل محلها فمسألة مطابقة نصية. وإرشادات OWASP بشأن المعلومات المغلوطة في نماذج LLM تطرح الحجة نفسها بصورة عامة: «التحقق تلقائيًا من المخرجات الرئيسية، ولا سيما المخرجات الصادرة عن البيئات عالية المخاطر». ولو بنيتُ ذلك من جديد، لاستبعدتُ أي تصحيح لا يُعثر على اقتباسه، ولما طبّقته على نحو تقريبي أبدًا، ولأحصيتُ التصحيحات المستبعدة بوصفها إنذارًا مبكرًا.

وتقع هذه التصحيحات ضمن رحلة المراجعة، التي لم تكن قد اختُبرت اختبارًا كاملًا حين توقف العمل، ولذلك يستند هذا النمط إلى منطقه، لا إلى قياس.

مخططات ثابتة للمخرجات لا تُعرض خامًا أبدًا

كان كل تحليل يُعيد بنية ثابتة، فتُعرض الجداول الزمنية وسجلات المخاطر والتصحيحات بالطريقة نفسها في كل مرة. وكان الرد المشوّه البنية يمرّ بخطوة تحليل (parsing) وإصلاح متعددة المراحل، تشمل إصلاح الردود المبتورة، وتُعاد محاولته بمساحة أكبر للرد عند الحاجة. ولم يكن يُعرض على المستخدم خامًا أبدًا.

يستهدف هذا إخفاقًا صامتًا: فقائمة المخاطر المبتورة تبدو للقارئ كاملة. والإصلاح وحده لا يحل المشكلة، لأن القائمة المبتورة التي تُغلق بنيتها تظل قابلة للتحليل بنجاح، ولذلك كنت سأعيد المحاولة أو أضع علامة على الرد المبتور الذي أُصلح، بدلًا من عرضه كأنه كامل. كما يمنح المخطط الفحوصَ الأخرى موضعًا معروفًا تبحث فيه.

درجة عشوائية منخفضة أثناء الصياغة

أثناء الصياغة، كان النموذج يعمل بدرجة عشوائية منخفضة. وما يحققه ذلك هو قابلية التكرار، لا الصحة: فالمُدخل نفسه يميل إلى إنتاج المسودة نفسها، فيمكن إعادة إنتاج الإخفاقات ومقارنة جولات التقييم بعضها ببعض.

مسارات عمل موجَّهة، لا مربع محادثة واحد لكل المهام

الصياغة والمراجعة والتحرير مهام مختلفة، ويحتاج كلٌّ منها إلى مسار عمل موجَّه خاص به، لا إلى نافذة محادثة واحدة. فالمراجعة، مثلًا، تُكتب من منظور المستخدم، ولذلك تطلب منه خطوتها الأولى تحديد دوره في الصفقة.

يستخدم مقال «Building effective agents» من Anthropic مصطلح «مسار العمل» (workflow) بمعناه في سياق التنسيق (orchestration): «أنظمة تُنسَّق فيها نماذج LLM والأدوات عبر مسارات برمجية محددة مسبقًا». ويقول إنها «توفّر قابلية التنبؤ والاتساق للمهام المحددة جيدًا». فلكل خطوة ثابتة شكلٌ معروف للمدخلات والمخرجات يمكن التحقق منه. أما مربع المحادثة الفارغ فيقبل أي شيء ويُعيد أي شيء.

تعديلات مُبرَزة يقبلها المستخدم أو يرفضها

كانت القاعدة في مسارات العمل الثلاثة كلها: الذكاء الاصطناعي يقترح، والمستخدم يقرّر. فتعديلات المساعد الذكي كانت تُبرَز في المحرّر ليقبلها المستخدم أو يرفضها. وأي تعليمات تشمل العقد كله، مثل تغيير اسم أحد الأطراف، كانت تُخطَّط أولًا، ثم تُطبَّق على كل قسم متأثر بها، وتُبرَز.

وهكذا يحكم المستخدم على تغييرات مُعلَّمة بدلًا من إعادة قراءة المستند، ويُبرَز تغيير الاسم في كل موضع وقع فيه، بدلًا من أن يُكتشف لاحقًا في صورة عدم اتساق.

نظام مختلف: بوابات التحقق في مساعد هذا الموقع

لم يكن أيٌّ مما يصفه هذا القسم جزءًا من Kartez Contract. فالمساعد في هذا الموقع، الذي بنيتُه وأتولى صيانته، لا يجيب إلا من محتوى الموقع نفسه، وتحرسه بوابات حتمية (deterministic gates).

بعض الأسئلة تُرفض بمطابقة الأنماط قبل استرجاع أي شيء: شروط التعاون كالتكلفة ومدى التفرغ، والتفاصيل الخاصة، وطلبات التكهّن، ومحاولات التلاعب بموجّه النظام (system prompt)، وطلبات أداء المهام ككتابة شيفرة برمجية أو ترجمة نص. وإذا كان السؤال لا يخصّني ولم تتجاوز أيُّ نتيجة مسترجعة حدًّا أدنى لدرجة الاسترجاع، يمتنع المساعد عن الإجابة ولا يُستدعى النموذج أصلًا. أما الأسئلة التي تخصّني فتُعرَف هي الأخرى بمطابقة الأنماط، من قرائن مثل اسمي أو ضمير الغائب، ولا تُرفض لمجرد أنه لم يتجاوز أيُّ مقطع الحدَّ الأدنى. وبدلًا من ذلك يتلقى النموذج سجلات الموقع نفسه، أي مُدخلات من السيرة الذاتية ودراسات الحالة والمقالات والاستشارات المنشورة فيه، مع توجيهه إلى أن يردّ برمز ثابت إذا لم تُجب هذه السجلات عن السؤال؛ وعندئذٍ يرى القارئ الرفض نفسه. وأثناء بثّ الإجابة، تفحص بوابة الجمل (sentence gate) كل جملة مكتملة قبل عرضها:

• نطاق الاستشهاد. كل علامة استشهاد تشير إلى مصدر أُعطي للنموذج.

• إلزامية الاستشهاد. كل جملة ذات مضمون تحمل علامة استشهاد.

• إسناد القيم. كل رقم وعنوان URL وعنوان بريد إلكتروني موجود في مصدر تستشهد به الجملة.

• ضمير المتكلم. لا تستخدم أي جملة ضمائر المتكلم، مثل «أنا» أو «نحن».

وإخفاق جملة واحدة يوقف الإجابة، ولا تُعرض تلك الجملة أبدًا. أما علامات الاستشهاد فتُفحص ثم تُزال، فلا يراها القرّاء أبدًا.

الآلية مشروحة في مقال حواجز حماية LLM أثناء البث. ويبثّ العرض التجريبي RAG مقابل بلا استرجاع إجابةً حقيقية مستندة إلى المصادر بجوار عمود «بلا استرجاع» يبقى فارغًا بحكم التصميم؛ فإذا سألت عن شيء لا يخصّني ولا يغطيه الموقع، توقّف التشغيل قبل الوصول إلى أي نموذج. ولو كنت أبني أداة للعقود، لأضفتُ فحصًا من النوع نفسه للمبالغ والتواريخ وأسماء الأطراف، مع اشتراط أن تطابق كل قيمة المصدر كلمةً بكلمة.

كيف تقيّم الذكاء الاصطناعي القانوني: ابنِ مجموعة التقييم أولًا

الترتيب المعتاد هو البناء ثم القياس. أما في الذكاء الاصطناعي القانوني فكنت سأعكس هذا الترتيب.

1. القيد التصميمي فرضية. فعبارة «يجب أن تقتبس التصحيحات نص العقد حرفيًا» قاعدة. أما عدد المرات التي يخرقها فيها النموذج فرقم، ولا تُنتجه إلا مجموعة تقييم.

2. كل تغيير يحتاج إلى فحص انحدار (regression). فمن دون مجموعة ثابتة، يُحكم على كل تغيير في النموذج أو الموجّه أو الاسترجاع بالانطباع.

3. المجموعة تبقى بعد انتهاء المشروع. فالمجموعة الموسومة وآخر تشغيل لها دليلٌ يستطيع شخص آخر استخدامه. أما قائمة مبادئ التصميم فليست كذلك.

ما الذي حدث في مشروع Kartez Contract

أوقف العميل المشروع قبل شهر واحد من اكتماله، حين أدّت صعوبات مالية مرتبطة بالحرب إلى توقف التمويل. كان ذلك إخفاقًا في تمويل العميل، لا إخفاقًا في التسليم. وحتى ذلك الحين، كان معالج الصياغة، واستوديو العقود بمساعده الذكي، والواجهة ثلاثية اللغات قد بُنيت ورُبطت من البداية إلى النهاية. أما رحلة المراجعة فقد بُنيت بخطواتها الخمس كلها، لكنها لم تكن قد اختُبرت اختبارًا كاملًا، وكانت لا تزال قيد التحسين حين توقف العمل.

لا يوجد أي رقم للدقة، لأن المشروع توقف قبل بناء مجموعة تقييم رسمية. كانت القيود التصميمية حقيقية؛ أما الرقم الذي كان سيحوّلها إلى ادعاء فلم يُنتَج قط.

مجموعة تقييم للأسبوع الأول لأنظمة الذكاء الاصطناعي للعقود

هذه نصيحة، لا وصف لشيء كان موجودًا في Kartez Contract. وكل عنصر فيها يُقيَّم تقييمًا ثنائيًا: نجاح أو إخفاق.

• أسئلة لها إجابة، موسومة بالبند الذي تستند إليه. يجب أن تكون الإجابة صحيحة وأن تستند إلى ذلك البند.

• أسئلة لا يستطيع العقد الإجابة عنها. توقَّع «أحتاج إلى القسم س» أو «العقد لا يذكر ذلك»، لا إجابة.

• طلبات التعديل. يجب أن يطابق كل مقطع مقتبس في التصحيح المقترح المستندَ المصدر مطابقةً نصية.

• تعديلات على العقد كله. يجب أن يغيّر تغييرُ اسم أحد الأطراف كل مواضع ورود الاسم، ولا شيء غيرها.

• قيم يجب ألا تتغير. المبالغ والتواريخ ومهل الإخطار وأسماء الأطراف، تُقارن حرفيًا قبل كل إعادة صياغة وبعدها.

• مخرجات معطوبة. يجب ألا تصل الردود المبتورة والمشوّهة البنية إلى الشاشة خامًا أبدًا، وألا يُعرض الرد المبتور الذي أُصلح على أنه كامل أبدًا.

• البنية الفارسية. الترقيم وفق «ماده» و«بند» و«تبصره»، والأسطر التي تمزج بين الاتجاهين، والأرقام الفارسية.

• طرفا الصفقة. مراجعة العقد نفسه من موقع كل طرف.

المواعيد النهائية لقانون الذكاء الاصطناعي الأوروبي بعد Digital Omnibus: نظرة هندسية

• اعتمد البرلمان الأوروبي النص النهائي في ١٦ يونيو ٢٠٢٦، واعتمده مجلس الاتحاد الأوروبي في ٢٩ يونيو ٢٠٢٦.

• يجب وسم المحتوى المولَّد بالذكاء الاصطناعي بحلول ٢ ديسمبر ٢٠٢٦ للأنظمة التي طُرحت في السوق قبل ٢ أغسطس ٢٠٢٦.

• أما التزامات الشفافية الأخرى بموجب المادة ٥٠، مثل إبلاغ المستخدمين بأنهم يتعاملون مع نظام ذكاء اصطناعي، فتسري اعتبارًا من ٢ أغسطس ٢٠٢٦.

• تُرجأ التزامات الأنظمة المستقلة عالية المخاطر المدرجة في الملحق الثالث (Annex III) إلى ٢ ديسمبر ٢٠٢٧. أما الذكاء الاصطناعي المدمج في منتجات تشملها تشريعات السلامة المدرجة في الملحق الأول (Annex I)، فالموعد هو ٢ أغسطس ٢٠٢٨.

أما نطاق التطبيق فمسألة يُرجع فيها إلى مستشار قانوني. ولا يُعدّ أيٌّ من الأنماط أعلاه إجراءً للامتثال.

قائمة تحقق لبناء أدوات الذكاء الاصطناعي القانوني أو شرائها

• إلامَ تستند كل إجابة؟ إلى بند أو قسم، لا إلى «المستند».

• هل يمكن تحديد موضع كل تعديل؟ كل تغيير يقتبس النص الذي يستبدله، ويُتحقق من ذلك مقابل المستند.

• هل تستطيع الأداة أن تقول إن الإجابة غير موجودة؟ اطلب عرضًا عمليًا لذلك.

• هل يُتحقق من المخرجات قبل عرضها؟ الردود المعطوبة تُصلَح أو تُحجب.

• هل يتغير أي شيء دون قبول؟ يجب ألا يتغير شيء.

• هل لكل مهمة مسار عمل خاص بها؟ يجب ألا تتشارك الصياغة والمراجعة والتحرير مربع محادثة واحدًا.

• هل تُفحص القيم حرفيًا؟ المبالغ والتواريخ وأسماء الأطراف، مقابل المصدر.

• هل يمكنني الاطلاع على مجموعة التقييم؟ ما الذي تتضمنه، وأيّ عناصرها تختبر الامتناع عن الإجابة، ومتى شُغّلت آخر مرة.

إذا كنت تحدد نطاق نظام ذكاء اصطناعي للعقود أو للعمل القانوني، فإن تشخيص المشروع يحوّل خمسة أسئلة إلى هندسة معمارية أولية.

الأسئلة الشائعة

كم عدد قضايا هلوسة الذكاء الاصطناعي التي وصلت إلى المحاكم؟

حتى ١٤ سبتمبر ٢٠٢٦، تُدرج قاعدة بيانات AI Hallucination Cases التي يديرها داميان شارلوتان ما مجموعه ٢٬٠٤١ قرارًا صادرًا عن محاكم وهيئات قضائية بشأن محتوى ناتج عن هلوسة الذكاء الاصطناعي. وفي معظمها، خلصت المحكمة صراحةً أو ضمنًا إلى أن أحد الأطراف اعتمد على محتوى من هذا النوع؛ وتُدرج قاعدة البيانات، على سبيل الاستثناء، بعض القرارات التي ادُّعي فيها استخدام الذكاء الاصطناعي دون أن يثبت. وهي تسجّل القرارات، لا كل استشهاد زائف أو كل استخدام للذكاء الاصطناعي في المذكرات المقدَّمة إلى المحاكم.

هل يقلل RAG الهلوسة في الذكاء الاصطناعي القانوني؟

يقللها، لكنه لا يوقفها. ففي دراسة مسجَّلة مسبقًا قادتها ستانفورد، هلوست ثلاث أدوات للبحث القانوني قائمة على الاسترجاع أقل مما هلوس GPT-4، ومع ذلك ظلت كلٌّ منها تهلوس بنسبة تتراوح بين ١٧٪ و٣٣٪ من الحالات حين اختُبرت عام ٢٠٢٤. ووجد بحث Google عن السياق الكافي أن النماذج الأكبر كثيرًا ما تجيب إجابات غير صحيحة بدلًا من الامتناع عن الإجابة حين لا يكون السياق المسترجع كافيًا.

هل يمكن للذكاء الاصطناعي مراجعة العقود بموثوقية؟

ليس بالاعتماد على الثقة. ما يمكن بناؤه هو مراجعة تجعل الأخطاء قابلة للتحقق: إجابات من بنود مختارة، وتصحيحات تقتبس نص العقد حرفيًا، ومخططات ثابتة للمخرجات، وإنسان يقبل كل تغيير أو يرفضه. أما قدرة الأداة فعلًا على اكتشاف الأخطاء فمسألة قياس، لذا اطلب الاطلاع على مجموعة التقييم الخاصة بها.

ما التحقق من الاقتباس الحرفي؟

هو فحص يتأكد، قبل تطبيق التصحيح المقترح، من أن النص الذي يقتبسه موجود كلمةً بكلمة في المستند الحالي. ويتطلب قاعدةً تُلزم كل تصحيح باقتباس الصياغة التي يستبدلها، ويحوّل جزءًا من التعديل القانوني إلى مطابقة نصية.

لماذا لا يوجد رقم للدقة في Kartez Contract؟

أوقف العميل المشروع قبل شهر واحد من اكتماله لأسباب تمويلية مرتبطة بالحرب، وذلك قبل بناء مجموعة تقييم رسمية. وهذا الموقع لا يقدّر أرقامًا لم يقِسها. وهذه الفجوة هي سبب دعوة هذا المقال إلى بناء مجموعة التقييم أولًا.

المصادر

• داميان شارلوتان (Damien Charlotin)، AI Hallucination Cases Database، آخر تحديث: ١٤ سبتمبر ٢٠٢٦، تاريخ الاطلاع: ١٧ سبتمبر ٢٠٢٦ (بترخيص CC BY 4.0).

• Varun Magesh وFaiz Surani وMatthew Dahl وMirac Suzgun وChristopher D. Manning وDaniel E. Ho، ورقة Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools (٢٠٢٤).

• Hailey Joren وJianyi Zhang وChun-Sung Ferng وDa-Cheng Juan وAnkur Taly وCyrus Rashtchian، ورقة Sufficient Context: A New Lens on Retrieval Augmented Generation Systems (٢٠٢٤).

• Google Research، مقال Deeper insights into retrieval augmented generation: The role of sufficient context (١٤ مايو ٢٠٢٥).

• OWASP GenAI Security Project، مدخل LLM09:2025 Misinformation.

• Anthropic، مقال Building effective agents (١٩ ديسمبر ٢٠٢٤).

• Freshfields، تحليل EU AI Act unpacked #34: The final Digital Omnibus on AI (١٠ يوليو ٢٠٢٦).

• دراسة حالة Kartez Contract، على هذا الموقع.