[ad_1]
اے آئی سیفٹی اور احتساب کی بڑھتی ہوئی مانگ کے باوجود، ایک نئی رپورٹ کے مطابق، آج کے ٹیسٹ اور بینچ مارک کم پڑ سکتے ہیں۔
جنریٹو اے آئی ماڈلز – ایسے ماڈل جو ٹیکسٹ، امیجز، میوزک، ویڈیوز وغیرہ کا تجزیہ اور آؤٹ پٹ کر سکتے ہیں – ان کے غلطیاں کرنے اور عام طور پر غیر متوقع طور پر برتاؤ کرنے کے رجحان کی وجہ سے زیادہ جانچ پڑتال کی جا رہی ہے۔ اب، عوامی شعبے کی ایجنسیوں سے لے کر بڑی ٹیک فرموں تک کی تنظیمیں ان ماڈلز کی حفاظت کو جانچنے کے لیے نئے معیارات تجویز کر رہی ہیں۔
پچھلے سال کے اختتام کی طرف، سٹارٹ اپ اسکیل AI نے ایک تشکیل دیا۔ لیب یہ جانچنے کے لیے وقف ہے کہ ماڈلز حفاظتی رہنما خطوط کے ساتھ کتنی اچھی طرح سے ہم آہنگ ہیں۔ اس مہینے، NIST اور یوکے اے آئی سیفٹی انسٹی ٹیوٹ ماڈل کے خطرے کا اندازہ لگانے کے لیے تیار کردہ ٹولز جاری کیے گئے۔
لیکن یہ ماڈل پروبنگ ٹیسٹ اور طریقے ناکافی ہو سکتے ہیں۔
Ada Lovelace Institute (ALI)، برطانیہ میں قائم ایک غیر منافع بخش AI ریسرچ آرگنائزیشن نے ایک مطالعہ جس نے اکیڈمک لیبز، سول سوسائٹی، اور جو وینڈرز ماڈل تیار کر رہے ہیں، کے ماہرین کا انٹرویو کیا، ساتھ ہی AI حفاظتی جائزوں میں حالیہ تحقیق کا آڈٹ کیا۔ شریک مصنفین نے پایا کہ اگرچہ موجودہ جائزے کارآمد ہو سکتے ہیں، لیکن وہ غیر مکمل ہیں، آسانی سے کھیلے جا سکتے ہیں، اور یہ ضروری نہیں کہ ماڈلز حقیقی دنیا کے منظرناموں میں کیسا برتاؤ کریں گے۔
“چاہے اسمارٹ فون ہو، نسخے کی دوا ہو یا کار، ہم امید کرتے ہیں کہ ہم جو مصنوعات استعمال کرتے ہیں وہ محفوظ اور قابل اعتماد ہوں گے۔ ان شعبوں میں، مصنوعات کی سختی سے جانچ کی جاتی ہے تاکہ یہ یقینی بنایا جا سکے کہ ان کی تعیناتی سے پہلے وہ محفوظ ہیں،” ایلیوٹ جونز، ALI کے سینئر محقق اور رپورٹ کے شریک مصنف، نے TechCrunch کو بتایا۔ “ہماری تحقیق کا مقصد AI حفاظتی تشخیص کے لیے موجودہ نقطہ نظر کی حدود کا جائزہ لینا ہے، اس بات کا اندازہ لگانا ہے کہ فی الحال تشخیص کس طرح استعمال ہو رہے ہیں اور پالیسی سازوں اور ریگولیٹرز کے لیے ایک ٹول کے طور پر ان کے استعمال کو دریافت کرنا ہے۔”
بینچ مارکس اور ریڈ ٹیمنگ
مطالعہ کے شریک مصنفین نے پہلے علمی ادب کا سروے کیا تاکہ آج کے نقصانات اور خطرات کے ماڈلز اور موجودہ AI ماڈل کی تشخیص کی حالت کا جائزہ لیا جا سکے۔ اس کے بعد انہوں نے 16 ماہرین کا انٹرویو کیا، جن میں چار ملازمین بھی شامل ہیں جو کہ جنریٹیو اے آئی سسٹمز تیار کرنے والی نامعلوم ٹیک کمپنیوں میں ہیں۔
اس تحقیق میں اے آئی انڈسٹری کے اندر ماڈلز کی تشخیص کے لیے بہترین طریقوں اور درجہ بندی پر شدید اختلاف پایا گیا۔
کچھ تجزیوں میں صرف یہ جانچا گیا کہ ماڈلز لیب میں معیارات کے ساتھ کیسے منسلک ہوتے ہیں، یہ نہیں کہ ماڈلز حقیقی دنیا کے صارفین کو کیسے متاثر کر سکتے ہیں۔ دوسروں نے تحقیقی مقاصد کے لیے تیار کیے گئے ٹیسٹوں کی طرف متوجہ کیا، پیداواری ماڈلز کا جائزہ نہیں لیا – پھر بھی دکانداروں نے انھیں پیداوار میں استعمال کرنے پر اصرار کیا۔
کے بارے میں ہم نے لکھا ہے۔ AI بینچ مارکس کے ساتھ مسائل پہلے، اور مطالعہ ان تمام مسائل پر روشنی ڈالتا ہے اور مزید۔
ماہرین نے مطالعہ میں حوالہ دیا کہ معیار کے نتائج سے ماڈل کی کارکردگی کو نکالنا مشکل ہے اور یہ واضح نہیں ہے کہ آیا بینچ مارکس یہ بھی ظاہر کر سکتے ہیں کہ ماڈل ایک مخصوص صلاحیت کا حامل ہے۔ مثال کے طور پر، جب کہ ایک ماڈل اسٹیٹ بار کے امتحان میں اچھی کارکردگی کا مظاہرہ کر سکتا ہے، اس کا مطلب یہ نہیں ہے کہ وہ زیادہ کھلے عام قانونی چیلنجوں کو حل کرنے کے قابل ہو گا۔
ماہرین نے ڈیٹا کی آلودگی کے مسئلے کی طرف بھی اشارہ کیا، جہاں بینچ مارک کے نتائج کسی ماڈل کی کارکردگی کا زیادہ اندازہ لگا سکتے ہیں اگر ماڈل کو اسی ڈیٹا پر تربیت دی گئی ہے جس پر اس کا تجربہ کیا جا رہا ہے۔ ماہرین نے کہا کہ بینچ مارکس، بہت سے معاملات میں، تنظیموں کی طرف سے اس لیے نہیں کہ وہ تشخیص کے لیے بہترین ٹولز ہیں، بلکہ سہولت اور استعمال میں آسانی کے لیے منتخب کیے جاتے ہیں۔
“بینچ مارکس میں ڈویلپرز کے ذریعہ ہیرا پھیری کا خطرہ ہوتا ہے جو ماڈلز کو اسی ڈیٹا سیٹ پر تربیت دے سکتے ہیں جو ماڈل کا اندازہ لگانے کے لیے استعمال کیے جائیں گے، جو کہ امتحان سے پہلے امتحان کے پرچے کو دیکھنے کے مترادف ہے، یا حکمت عملی سے یہ انتخاب کرتے ہیں کہ کون سے جائزے استعمال کیے جائیں،” ماہی ہردلوپاس، محقق ALI اور ایک مطالعہ کے شریک مصنف نے TechCrunch کو بتایا۔ “یہ بھی اہمیت رکھتا ہے کہ ماڈل کے کون سے ورژن کا جائزہ لیا جا رہا ہے۔ چھوٹی تبدیلیاں رویے میں غیر متوقع تبدیلیوں کا سبب بن سکتی ہیں اور بلٹ ان حفاظتی خصوصیات کو اوور رائیڈ کر سکتی ہیں۔
ALI کے مطالعہ میں “ریڈ ٹیمنگ” کے ساتھ مسائل بھی پائے گئے، جو افراد یا گروہوں کو “حملہ” کرنے کے ساتھ کمزوریوں اور خامیوں کی نشاندہی کرنے کے لیے ایک ماڈل کے ساتھ کام کرنے کی مشق کرتے ہیں۔ متعدد کمپنیاں ماڈلز کا جائزہ لینے کے لیے ریڈ ٹیمنگ کا استعمال کرتی ہیں، بشمول AI سٹارٹ اپس OpenAI اور Anthropic، لیکن ریڈ ٹیمنگ کے لیے چند متفقہ معیارات ہیں، جس کی وجہ سے دی گئی کوشش کی تاثیر کا اندازہ لگانا مشکل ہو جاتا ہے۔
ماہرین نے مطالعہ کے شریک مصنفین کو بتایا کہ ریڈ ٹیم کے لیے ضروری مہارتوں اور مہارت کے حامل افراد کو تلاش کرنا مشکل ہوسکتا ہے، اور یہ کہ ریڈ ٹیمنگ کی دستی نوعیت اسے مہنگا اور محنتی بناتی ہے – ضروری وسائل کے بغیر چھوٹی تنظیموں کے لیے رکاوٹیں پیش کرنا۔
ممکنہ حل
ماڈلز کو تیزی سے ریلیز کرنے کے لیے دباؤ اور ایسے ٹیسٹ کروانے میں ہچکچاہٹ جو ریلیز سے پہلے مسائل کو جنم دے سکتی ہیں وہ بنیادی وجوہات ہیں جن کی وجہ سے AI کی تشخیص بہتر نہیں ہو سکی ہے۔
جونز نے کہا، “ایک شخص جس سے ہم نے فاؤنڈیشن ماڈلز تیار کرنے والی کمپنی کے لیے کام کرنے کے بارے میں بات کی تھی محسوس کیا کہ کمپنیوں کے اندر ماڈلز کو تیزی سے ریلیز کرنے کے لیے زیادہ دباؤ ہے، جس سے پیچھے ہٹنا اور تشخیص کو سنجیدگی سے لینا مشکل ہو جاتا ہے،” جونز نے کہا۔ “بڑی AI لیبز اس رفتار سے ماڈلز جاری کر رہی ہیں جو ان کے محفوظ اور قابل بھروسہ ہونے کو یقینی بنانے کے لیے ان کی یا معاشرے کی صلاحیت سے آگے نکل جاتی ہیں۔”
ALI کے مطالعہ میں ایک انٹرویو لینے والے نے حفاظت کے لیے ماڈلز کا جائزہ لینے کو ایک “ناقابل غور” مسئلہ قرار دیا۔ تو صنعت – اور اس کو منظم کرنے والے – کے پاس حل کی کیا امید ہے؟
ALI کے محقق، ماہی ہردلوپاس کا خیال ہے کہ آگے کا راستہ ہے، لیکن اس کے لیے پبلک سیکٹر کے اداروں سے مزید مشغولیت کی ضرورت ہوگی۔
“ریگولیٹرز اور پالیسی سازوں کو واضح طور پر واضح کرنا چاہیے کہ وہ تشخیص سے کیا چاہتے ہیں،” انہوں نے کہا۔ “اس کے ساتھ ہی، تشخیصی برادری کو موجودہ حدود اور تشخیص کی صلاحیت کے بارے میں شفاف ہونا چاہیے۔”
Hardalupas تجویز کرتا ہے کہ حکومتیں تشخیص کی ترقی میں زیادہ سے زیادہ عوامی شرکت کو لازمی قرار دیتی ہیں اور فریق ثالث کے ٹیسٹوں کے “ایکو سسٹم” کو سپورٹ کرنے کے لیے اقدامات کو نافذ کرتی ہیں، بشمول کسی بھی مطلوبہ ماڈلز اور ڈیٹا سیٹس تک باقاعدہ رسائی کو یقینی بنانے کے لیے پروگرام۔
جونز کا خیال ہے کہ “سیاق و سباق سے متعلق” تشخیصات تیار کرنا ضروری ہو سکتا ہے جو صرف یہ جانچنے سے بالاتر ہو کہ ماڈل کسی پرامپٹ پر کیسے ردعمل ظاہر کرتا ہے، اور اس کے بجائے ان صارفین کی اقسام کو دیکھیں جو ایک ماڈل پر اثر انداز ہو سکتا ہے (مثلاً ایک خاص پس منظر کے لوگ، جنس یا نسل) اور وہ طریقے جن میں حملے ماڈلز پر حفاظتی اقدامات کو شکست دے سکتا ہے۔
انہوں نے مزید کہا کہ “اس کے لیے تشخیص کی بنیادی سائنس میں سرمایہ کاری کی ضرورت ہو گی تاکہ زیادہ مضبوط اور دوبارہ قابل تجزیے تیار کیے جا سکیں جو کہ ایک AI ماڈل کے کام کرنے کے طریقہ کار کی سمجھ پر مبنی ہیں۔”
لیکن اس بات کی کبھی ضمانت نہیں ہو سکتی کہ ماڈل محفوظ ہے۔
“جیسا کہ دوسروں نے نوٹ کیا ہے، ‘حفاظت’ ماڈلز کی خاصیت نہیں ہے،” ہردلوپاس نے کہا۔ “اس بات کا تعین کرنے کے لیے کہ آیا کوئی ماڈل ‘محفوظ’ ہے اس کے لیے ان سیاق و سباق کو سمجھنے کی ضرورت ہوتی ہے جن میں اسے استعمال کیا جاتا ہے، اسے کس کو فروخت کیا جاتا ہے یا اسے قابل رسائی بنایا جاتا ہے، اور آیا ان خطرات کو کم کرنے کے لیے جو حفاظتی اقدامات موجود ہیں وہ مناسب اور مضبوط ہیں۔ فاؤنڈیشن ماڈل کی تشخیص ممکنہ خطرات کی نشاندہی کرنے کے لیے ایک تحقیقی مقصد کی تکمیل کر سکتی ہے، لیکن وہ اس بات کی ضمانت نہیں دے سکتے کہ ماڈل محفوظ ہے، ‘بالکل محفوظ’۔ ہمارے بہت سے انٹرویو لینے والوں نے اس بات پر اتفاق کیا کہ تشخیص ماڈل کے محفوظ ہونے کو ثابت نہیں کر سکتا اور صرف اس بات کی نشاندہی کر سکتا ہے کہ ماڈل غیر محفوظ ہے۔
[ad_2]
Source link
techcrunch.com
