زر الموافقة الذي تسمّونه رقابة بشرية غالبًا لا يعمل

الجملة التي أسمعها أكثر من غيرها حين يُطرح موضوع حوكمة الذكاء الاصطناعي هي هذه: "هناك موافقة بشرية، القرار ليس متروكًا للآلة."

حين أسمعها، لديّ سؤال واحد. ما معدل موافقتكم؟

عادةً لا يوجد جواب، لأن أحدًا لا يقيسه. وحيث يُقاس، يكون الرقم عادةً فوق ثمانية وتسعين بالمئة. المراجِع يرفض توصية النموذج مرة واحدة تقريبًا من كل خمسين قرارًا. تسمية ذلك رقابة بشرية صحيحة شكليًا وخاطئة وظيفيًا. النظام هو من يقرر، والإنسان يوقّع فقط.

لماذا يتوقف زر الموافقة عن العمل

السبب ليس سوء نية. إنه تصميم.

أروا شخصًا ثلاثمئة توصية يوميًا واطلبوا منه الموافقة على كل واحدة، وسيؤتمت هو نفسه خلال أسابيع. وإذا كانت دقة النموذج عالية، يحدث هذا أسرع، لأن المراجِع يكون عادةً محقًا في المرات القليلة التي يرفض فيها، فيتوقف عن الثقة بحكمه الخاص.

هذه ظاهرة موثّقة تُسمى تحيّز الأتمتة: كلما كان أداء النظام أفضل، ضَعُفت الرقابة البشرية عليه. أي تصميم للرقابة يجب أن يأخذ ذلك بعين الاعتبار منذ البداية.

ثلاثة شروط لتكون الرقابة حقيقية

لكي تكون الرقابة فعّالة، يجب أن تتحقق ثلاثة أمور معًا.

يجب أن يكون بمقدور المراجِع رؤية أساس التوصية. إذا لم تُعرض المدخلات التي اعتمد عليها النموذج، لا يمكن للشخص إلا الحكم على النتيجة، والحكم الصحيح على النتيجة يعني إعادة البتّ في القضية من الصفر. هذا يجعل الرقابة مستحيلة عمليًا.

يجب ألا يكلّف الرفض أي جهد إضافي. المستخدم الذي يضطر لملء استمارة وكتابة تسويغ والحصول على موافقة مدير كلما رفض توصية سيتوقف عن الرفض. مسار الرفض يجب أن يكون سهلًا على الأقل بقدر مسار الموافقة.

يجب أن يؤدي الرفض إلى نتيجة ما. إذا سُجّلت التوصيات المرفوضة ولم يطّلع عليها أحد، يلاحظ المراجِع ذلك وينسحب تدريجيًا. إعادة تغذية الحالات المرفوضة في تحسين النموذج يُبقي الرقابة حيّة.

لا رقابة من دون قياس

حتى بعد تحقق هذه الشروط الثلاثة، يبقى القياس ضروريًا.

كحد أدنى، ينبغي تتبّع ثلاثة مؤشرات: معدل الرفض، متوسط الوقت المستغرق لكل قرار، وعدد المرات التي تبيّن فيها لاحقًا أن التوصية المرفوضة كانت صحيحة. إذا انخفض الوقت لكل قرار إلى ثوانٍ معدودة، فالرقابة لا تحدث. وتنطبق النتيجة نفسها إذا اقترب معدل الرفض من الصفر.

قلة قليلة من المؤسسات تستطيع الإجابة عن هذه الأسئلة عند طرحها في تدقيق. ومع ذلك، ليست صعبة القياس، فهي تُستخرج من بيانات ينتجها النظام أصلًا.

حق الاعتراض يشكّل البنية

الحكم ذو الصلة من المادة 11 من القانون التركي رقم 6698 يمنح الشخص حق الاعتراض حين تنشأ نتيجة ضارة به حصرًا عن تحليل أنظمة آلية.

النتيجة التقنية مباشرة. عندما يصل اعتراض، يجب أن تكون قادرًا على إثبات كيفية التوصل إلى القرار. إن لم تستطع إثباته، لا يمكنك الدفاع عنه.

القاعدة البنيوية المترتبة على ذلك هي: نموذج لا يُنتج تسويغًا لا يمكن استخدامه في مسار يُنتج نتيجة تخص شخصًا. يجب كتابة هذا كقيد على اختيار النموذج منذ البداية. إضافة قابلية التفسير لاحقًا غير ممكنة في معظم البنى.

الاحتفاظ بسجل لا يكفي، عليك تسجيل الشيء الصحيح

سجل التدقيق يُفهم عادةً على أنه الاحتفاظ بسجل، لكن محتوى السجل هو ما يحدد قيمته.

لكي يكون القرار قابلًا للمراجعة لاحقًا، يجب تسجيل خمسة عناصر معًا: البيانات التي دخلت إلى النظام، إصدار النموذج، المخرج المُنتَج، التسويغ الذي يستند إليه المخرج، وقرار الإنسان النهائي. إذا حُفظت هذه العناصر الخمسة في أنظمة منفصلة، لا يمكن مطابقتها لاحقًا. إذا لم يُسجَّل إصدار النموذج، فلا سبيل للإجابة، بعد أشهر، عن سؤال "ماذا كان يقوله النموذج في تلك اللحظة؟"

عدم تسجيل إصدار النموذج هو الثغرة الوحيدة التي أراها الأكثر تكرارًا عمليًا. يُحدَّث النموذج، وتُفسَّر القرارات القديمة بالرجوع إلى النموذج الجديد، وهذا لا يصمد.

يجب إظهار الفرق بين الثقة واليقين وعدمهما

نقطة أخيرة. يجب على النظام أن يُظهر، بطريقة يستطيع المستخدم تمييزها، متى يُنتج مخرجًا بثقة منخفضة مقابل ثقة عالية.

من دون هذا التمييز، يثق المستخدم بكل شيء على قدم المساواة ولا يحصل على تحذير بالضبط أين يكون الخطأ أكثر احتمالًا. ومع ذلك، فإن عدم يقين النموذج نفسه قابل للقياس عادةً. إظهار هذا القياس في الواجهة هو أرخص تحسين وأكثره فعالية يمكن إجراؤه على الرقابة.

لو كان عليّ اختيار شيء واحد لفعله في مشروع ذكاء اصطناعي اليوم، فهذا ما سأختاره.