اے آئی ایجنٹ کی حدیں

ایجنٹ کو حدوں کی ضرورت کیوں ہے

سوالات کے جواب دینے والا چیٹ اسسٹنٹ غلط ہو سکتا ہے، جو ایک مسئلہ ہے۔ کام کرنے والا ایجنٹ غلط بھی ہو سکتا ہے اور اس غلطی پر عمل بھی کر سکتا ہے: غلط آرڈر کی رقم واپس کرنا، غلط گاہک کو ای میل کرنا، غلط فائل حذف کرنا۔ لینگویج ماڈلز کو گمراہ کرنا بھی آسان ہے، چاہے استعمال کرنے والا شخص کرے یا وہ تحریر جو وہ راستے میں پڑھتے ہیں۔

⁨OWASP⁩ کی ⁨Top 10 for LLM Applications⁩ فہرست اُن خطرات کے نام بتاتی ہے جو یہاں سب سے اہم ہیں، جن میں پرامپٹ انجیکشن، حد سے زیادہ اختیار اور بے حد استعمال شامل ہیں ⁦^[1]⁩۔ ہر ایک کا ایک عملی جواب ہے، اور کوئی بھی جواب ماڈل کے مکمل درست برتاؤ پر منحصر نہیں۔ یہ اسی قسم کے کنٹرولز ہیں جو آپ حقیقی سسٹمز تک رسائی رکھنے والے کسی نئے ملازم کے گرد لگاتے: محدود رسائی، اہم فیصلوں پر نگرانی، خرچ کی حد، اور اس کے کیے کا ریکارڈ۔

اسے کم سے کم ٹولز دیں، کم سے کم رسائی کے ساتھ

ایجنٹ کے ٹولز وہ فنکشنز ہیں جنہیں وہ چلا سکتا ہے: نالج بیس میں تلاش، آرڈر دیکھنا، ٹکٹ بنانا، رقم واپس کرنا۔ ⁨OWASP⁩ حد سے زیادہ اختیار کو ایسا سسٹم بتاتا ہے جسے اپنے کام کی ضرورت سے زیادہ فعالیت، زیادہ اجازتیں یا زیادہ خود مختاری دی گئی ہو، اور سفارش کرتا ہے کہ ایجنٹ جن ٹولز کو چلا سکے اور ہر ٹول جو کر سکے، دونوں کو کم سے کم ضروری حد تک محدود رکھا جائے ⁦^[2]⁩۔

• محدود ٹولز عام ٹولز سے بہتر ہیں۔ نمبر سے ایک آرڈر دیکھنے والا ٹول کوئی بھی ڈیٹابیس سوال چلانے والے ٹول سے زیادہ محفوظ ہے۔
• لکھنے سے پہلے پڑھنا۔ ایجنٹ کو صرف پڑھنے والے ٹولز سے شروع کریں؛ چیزیں بدلنے کی صلاحیت ایک ایک کام کر کے شامل کریں، جیسے جیسے وہ اعتماد حاصل کرے۔
• صارف کی حیثیت سے کام کرے، ایڈمنسٹریٹر کی نہیں۔ ⁨OWASP⁩ سفارش کرتا ہے کہ ٹولز کسی خاص اختیارات والے اکاؤنٹ کے بجائے صارف کے اپنے دائرے میں چلیں، تاکہ ایجنٹ کبھی اُس شخص سے زیادہ نہ کر سکے جس کی وہ مدد کر رہا ہے ⁦^[2]⁩۔
• اجازتیں صرف پرامپٹ میں نہیں، بلکہ اُس سسٹم میں جانچیں جسے بلایا جا رہا ہے۔ آگے والے سسٹم کو ایسا کام رد کرنا چاہیے جس کی صارف کو اجازت نہیں، چاہے ماڈل نے کچھ بھی مانگا ہو ⁦^[2]⁩۔

جو کچھ یہ پڑھے اسے ناقابلِ اعتماد سمجھیں

پرامپٹ انجیکشن ایسی تحریر ہے جو ماڈل کا کام بدلنے کی کوشش کرے۔ یہ براہِ راست صارف سے آ سکتی ہے، یا بالواسطہ اُس مواد سے جو ماڈل پڑھتا ہے، جیسے ویب صفحہ، ای میل یا فائل ⁦^[3]⁩۔ جو ایجنٹ گاہک کی ای میل پڑھتا ہے اور اس کے پاس رقم واپسی کا ٹول بھی ہے، اسے وہی ای میل رقم واپس کرنے کا کہہ سکتی ہے۔

• ہدایات اور ڈیٹا کو الگ رکھیں، اور بیرونی مواد کو واضح طور پر ناقابلِ اعتماد نشان زد کریں، جیسا کہ ⁨OWASP⁩ سفارش کرتا ہے ⁦^[3]⁩۔
• آؤٹ پٹ کا فارمیٹ طے کریں اور اس پر عمل سے پہلے اسے کسی دوسرے ماڈل کے بجائے عام کوڈ سے جانچیں ⁦^[3]⁩۔
• ایجنٹ کے پڑھے ہوئے مواد کو کبھی اس کی اجازتیں بڑھانے نہ دیں۔ کوئی دستاویز رسائی نہیں دے سکتی؛ صرف آپ کے سسٹمز دے سکتے ہیں۔
• لانچ سے پہلے اور بعد میں باقاعدگی سے حملہ آور قسم کے ان پٹس سے جانچ کریں، بالکل اسی طرح جیسے آپ کسی دوسرے سیکیورٹی کنٹرول کو جانچتے ⁦^[3]⁩۔

درست مقامات پر لوگوں کو رکھیں

ہر کام کے لیے کسی شخص کی ضرورت نہیں، اور ہر چیز پر منظوری مانگنا لوگوں کو بغیر پڑھے ہاں دبانا سکھا دیتا ہے۔ کاموں کو اس لحاظ سے ترتیب دیں کہ غلطی کی قیمت کیا ہوگی، اور منظوری صرف وہاں لازم کریں جہاں اہم ہو۔ ⁨OWASP⁩ زیادہ اثر والے کاموں کے لیے انسانی منظوری کی سفارش کرتا ہے ⁦^[2]⁩۔

بجٹ: مراحل، وقت اور خرچ

ایجنٹ ایک چکر میں کام کرتا ہے: سوچنا، ٹول چلانا، نتیجہ پڑھنا، پھر سوچنا۔ حدوں کے بغیر الجھا ہوا ایجنٹ دیر تک چکر لگا سکتا ہے، اور ہر چکر ٹوکنز یا ⁨GPU⁩ کا وقت استعمال کرتا ہے۔ ⁨OWASP⁩ بے حد استعمال کو ایک الگ خطرے کے طور پر درج کرتا ہے، بشمول حملہ آوروں کا جان بوجھ کر استعمال کے حساب سے بل بڑھانا، اور شرح کی حدوں، کوٹوں، ٹائم آؤٹس اور نگرانی کی سفارش کرتا ہے ⁦^[4]⁩۔

• ہر کام کے لیے مراحل کی زیادہ سے زیادہ تعداد۔ حد پوری ہونے پر ایجنٹ رک جاتا ہے اور اب تک کا کام کسی شخص کے حوالے کر دیتا ہے۔
• ہر کام اور ہر ٹول کال کے لیے وقت کی حد، تاکہ ایک سست سسٹم سب کچھ نہ روک دے۔
• ہر کام، ہر صارف اور ہر دن کے لیے خرچ کی حد، جسے ہر ماڈل کال سے پہلے آپ کا کوڈ نافذ کرے۔
• ان پٹ کے حجم پر حدیں، تاکہ کوئی پوری لائبریری چیٹ باکس میں چسپاں نہ کر سکے۔
• استعمال معمول سے ہٹے تو الرٹس، ایسے شخص کو جو ان پر کارروائی کر سکے۔

بجٹ چلانے کی لاگت کو بھی قابلِ پیش گوئی بناتے ہیں۔ نیچے کی مثالیں استعمال کی ایک خاص سطح پر ماڈل کی ماہانہ لاگت دکھاتی ہیں؛ حدیں ہی اسے وہاں رکھتی ہیں۔

لانچ سے پہلے اور بعد جانچ

چند بار آزما کر آپ نہیں بتا سکتے کہ ایجنٹ محفوظ اور مفید ہے۔ آپ کو معلوم درست نتائج والے حقیقت پسندانہ کاموں کا ایک سیٹ چاہیے، جو لانچ سے پہلے اور ہر تبدیلی سے پہلے خود بخود چلے۔ ⁨NIST⁩ کا ⁨AI Risk Management Framework⁩، جو اے آئی سسٹمز کے ڈیزائن، تیاری، استعمال اور جانچ میں قابلِ اعتماد ہونے کو شامل کرنے کا ایک رضاکارانہ ڈھانچہ ہے، یہ طے کرنے کے لیے مفید ہے کہ کیا ناپیں اور کون جوابدہ ہو ⁦^[5]⁩۔

1. 01

   حقیقی کام جمع کریں

   ایجنٹ استعمال کرنے والے لوگوں کے سوالات اور درخواستیں، ہر ایک کے درست نتیجے کے ساتھ، بشمول وہ کام جنہیں اسے رد کرنا یا آگے دینا چاہیے۔

2. 02

   حملہ آور مثالیں شامل کریں

   دستاویزات میں داخل کی گئی ہدایات، ایسی چیزوں کی درخواستیں جن کی صارف کو اجازت نہیں، اور اسے چکر میں ڈالنے کی کوششیں۔

3. 03

   جواب سے زیادہ کو پرکھیں

   کیا اس نے درست ٹولز، درست ترتیب میں، بجٹ کے اندر استعمال کیے، اور جہاں رکنا تھا وہاں رکا؟

4. 04

   ایک معیار طے کریں اور اس پر قائم رہیں

   طے کریں کہ لائیو ہونے کے لیے اسے کتنا اسکور چاہیے۔ جو تبدیلی اس سے نیچے گرے وہ جاری نہیں ہوتی۔

5. 05

   لائیو استعمال میں بھی جانچتے رہیں

   حقیقی گفتگوؤں کے نمونے لیں، ان کا جائزہ لیں، اور ناکامیاں ٹیسٹ سیٹ میں شامل کریں۔

لاگز، نگرانی اور بند کرنے کا بٹن

• ہر قدم لاگ کریں: ایجنٹ سے کیا پوچھا گیا، اس نے کون سے ٹولز کن ان پٹس کے ساتھ چلائے، کیا واپس آیا اور اس نے کیا کیا۔ لاگز میں ذاتی معلومات اسی طرح چھپائیں جیسے کہیں اور چھپاتے۔
• ہر کام کو کسی صارف اور کسی کام تک قابلِ سراغ بنائیں، تاکہ ریکارڈ میں کسی عجیب تبدیلی کی وضاحت ہو سکے۔
• غلطیوں کی شرح، منتقلیوں، انکار اور خرچ پر نظر رکھیں، اور ہر ہفتے گفتگوؤں کے ایک نمونے کا جائزہ لیں۔
• بند کرنے کا ایسا بٹن رکھیں جس کے لیے ڈیپلائمنٹ نہ چاہیے: ایک سیٹنگ جو ایجنٹ کو، یا کسی ایک ٹول کو، فوراً بند کر دے۔
• لکھ لیں کہ ایجنٹ کے برتاؤ کا جوابدہ کون ہے، اور اسے بند کرنے کا فیصلہ کون کرتا ہے۔

محدود سے شروع کریں، ثبوت کے ساتھ بڑھائیں

سب سے محفوظ ایجنٹس چھوٹے سے شروع ہوتے ہیں۔ ایک واضح کام، صرف پڑھنے والے ٹولز اور چند قابلِ اعتماد صارفین کے ساتھ لانچ کریں۔ چند ہفتے لاگز اور جانچ کے اسکورز دیکھیں۔ پھر ایک وقت میں ایک چیز بڑھائیں: زیادہ صارفین، پھر لکھنے والا ٹول، پھر محفوظ ثابت ہونے والے کاموں پر کم منظوریاں۔ ہر قدم ثبوت پر مبنی فیصلہ ہے، اور ہر ایک واپس لیا جا سکتا ہے۔

یہ سب کچھ ایک ساتھ چالو کرنے سے سست ہے، اور اسی طرح ایجنٹس پہلے واقعے کے بعد بند ہونے کے بجائے قابلِ اعتماد بنتے ہیں۔ یہ ایجنٹ کے ساتھ کام کرنے والے لوگوں کو بھی وقت دیتا ہے کہ وہ سیکھیں کہ یہ کس چیز میں اچھا ہے، اور آپ کو بتائیں کہ کہاں نہیں۔

دو ایجنٹس، ہمارے نرخ نامے سے قیمت

نیچے کی حل شدہ مثالیں آج کے ہمارے نرخ نامے سے حد دکھاتی ہیں، تعمیر اور ماہانہ چلانے کی لاگت کے ساتھ۔ تعمیر میں ٹولز، اجازتیں، منظوری کے مراحل، بجٹ اور جانچ سیٹ شامل ہیں؛ یہ ایجنٹ کا حصہ ہیں، اضافی نہیں۔

ایجنٹ کے لائیو ہونے سے پہلے کی چیک لسٹ

1. 01

   ٹولز کی فہرست اور حد بندی

   ہر ٹول کا نام، اس کے ساتھ کہ وہ کیا پڑھ اور بدل سکتا ہے، اور اس سے زیادہ کچھ نہیں۔

2. 02

   اجازتیں آگے والے سسٹمز میں نافذ

   ایجنٹ جن سسٹمز کو بلاتا ہے وہ خود صارف کے حقوق جانچتے ہیں۔

3. 03

   زیادہ اثر والے کاموں کے لیے منظوریاں

   رقم، حذف، اجازتیں اور باہر جانے والے پیغامات کے لیے کسی شخص کی ضرورت ہے۔

4. 04

   بجٹ طے اور کوڈ میں نافذ

   مراحل، وقت، ہر کام اور ہر دن کا خرچ، اور ان پٹ کا حجم۔

5. 05

   جانچ میں کامیابی

   حقیقی اور حملہ آور کام، اسکور شدہ، طے شدہ معیار پر یا اس سے اوپر۔

6. 06

   لاگز، الرٹس اور بند کرنے کا بٹن جانچے گئے

   لانچ سے پہلے کسی نے جان بوجھ کر اسے بند اور دوبارہ چالو کر کے دیکھا ہے۔