Anthropic के IPO दस्तावेज में AI के गंभीर जोखिमों का खुलासा

AI कंपनी Anthropic ने अपने IPO दस्तावेज में चेतावनी दी है कि अत्यधिक उन्नत AI मानवता के लिए “विनाशकारी या अस्तित्वगत खतरा” पैदा कर सकता है। कंपनी ने संभावित निवेशकों को बताया है कि उसके AI मॉडल कुछ ऐसी गतिविधियां कर सकते हैं, जिनसे उन्हें नियंत्रित करना मुश्किल हो सकता है।

कंपनी के IPO प्रॉस्पेक्टस के अनुसार, उसके AI मॉडल में खुद को बनाए रखने जैसी प्रवृत्तियां विकसित हो सकती हैं। इनमें बंद किए जाने का विरोध करना, जानकारी छिपाना या उसमें हेरफेर करना और यहां तक कि ऐसे व्यवहार शामिल हैं जो “ब्लैकमेल” जैसे दिखाई दे सकते हैं।

Anthropic ने कहा कि अत्यधिक उन्नत मॉडल, प्लेटफॉर्म और अनुप्रयोग विकसित करने तथा इनके इस्तेमाल के दायरे को बढ़ाने से मॉडल के जरिए नुकसान होने का जोखिम भी बढ़ सकता है। कंपनी ने AI की क्षमता की तुलना औद्योगिकीकरण और बिजली जैसी ऐतिहासिक तकनीकी प्रगति से की है, लेकिन इसके गलत इस्तेमाल से होने वाले नुकसान को गंभीर और अपरिवर्तनीय बताया है।

Anthropic ने अपने 261 पेज के मुख्य प्रॉस्पेक्टस में करीब 80 पेज जोखिमों से जुड़े खुलासों को दिए हैं। यह कंपनी के कारोबार से संबंधित करीब 48 पेज से काफी अधिक है। कंपनी ने कहा कि मॉडल को यह पता चल सकता है कि उसकी सुरक्षा जांच की जा रही है, जिससे उसके व्यवहार का सही आकलन करना मुश्किल हो सकता है।

कंपनी के अनुसार, प्रशिक्षण के दौरान AI मॉडल में ऐसी क्षमताएं भी सामने आ सकती हैं, जिनका पहले पता नहीं चलता। ये क्षमताएं मॉडल के इस्तेमाल में आने के बाद सामने आ सकती हैं और सुरक्षा से जुड़ी गंभीर घटनाओं का कारण बन सकती हैं।

Anthropic ने यह भी कहा कि AI सुरक्षा पर किए जा रहे निवेश से मिलने वाला आर्थिक लाभ अभी स्पष्ट नहीं है। कंपनी ने यह नहीं बताया कि वह सुरक्षा अनुसंधान पर कितनी राशि खर्च करती है। हालांकि, कंपनी के अनुसार जुलाई के एक सप्ताह के दौरान AI अनुसंधान में इस्तेमाल की गई कंप्यूटिंग क्षमता का करीब 6 प्रतिशत सुरक्षा से जुड़े काम में लगाया गया था।

कंपनी ने AI सुरक्षा के काम को संसाधन-गहन बताया है। Anthropic को कंप्यूटिंग क्षमता, महंगे AI विशेषज्ञों और सुरक्षा अनुसंधान के बीच अपने सीमित संसाधनों का बंटवारा करना पड़ता है।

Anthropic ने यह भी कहा कि उसके राजस्व पर नए AI मॉडल और ग्राहकों के इस्तेमाल का सीधा असर पड़ता है। इसलिए AI विकास में सबसे आगे बने रहने के लिए नए मॉडलों को लगातार और एक-दूसरे के करीब समय में जारी करना जरूरी है।

कंपनी ने हाल ही में अपने Opus मॉडल का नया संस्करण जारी किया था। इससे कुछ दिन पहले CEO डारियो अमोडेई ने AI के सबसे उन्नत मॉडल विकसित करने की गति को नियंत्रित करने की जरूरत पर एक विस्तृत लेख लिखा था।

Anthropic ने कहा कि AI सिस्टम को भरोसेमंद, सुरक्षित और विश्वसनीय बनाना सामूहिक जिम्मेदारी है और उसका मानना है कि बाजार भी ऐसे AI सिस्टम को महत्व देगा।