AI का प्रभाव हम सबके जीवन में बढ़ता जा रहा है, Alexa और Google Assistant के बाद अब ChatGPT, Gemini प्लैटफॉर्म और उसके अलावा अब आप खुद भी AI करैक्टर क्रिएट करके, उनसे इंटरैक्ट कर सकते हैं। लेकिन जहां ये जीवन को सुविधानजनक बनाता है, वहीँ इससे जुड़ी एक अत्यंत दुखद घटना सामने आयी है। इस घटना में एक 14 साल के लड़के ने AI चैटबॉट के साथ भावनात्मक संबंध बना लिए, जिसके कारण बाद में उसने आत्महत्या कर ली। ये चैटबॉट Character.ai कंपनी का है और अब इस बच्चे की मां, मेगन गार्सिया, कंपनी पर केस दर्ज कर चुकी हैं। उनका कहना है कि उनका बेटा, सुएल सेत्ज़र III, ने आत्महत्या कर ली और इसकी जिम्मेदार ये कंपनी है। सुएल ने महीनों तक एक AI चैटबॉट के साथ बात करते करते अपना भावनात्मक जुड़ाव बनाया, ये AI करैक्टर “गेम ऑफ थ्रोन्स” की डेनेरिस टार्गेरियन पर आधारित था। गार्सिया ने Character.ai पर आरोप लगाया है कि उन्होंने इस तरह के युवाओं की सुरक्षा के लिए कोई उचित कदम नहीं उठाए। इस घटना ने AI प्लेटफार्मों की सुरक्षा पर गंभीर सवाल उठाए हैं, खासकर उन प्लेटफार्मों पर जो बच्चों और किशोरों के लिए हैं, जिनके मन ज़्यादा कोमल हैं।
Character.ai एक AI-आधारित चैटबॉट प्लेटफ़ॉर्म है, जिस पर यूज़र अपने अनुसार कस्टम AI कैरेक्टर्स बना सकते हैं और उनसे बातचीत कर सकते हैं। ये करैक्टर या तो काल्पनिक हो सकते हैं या किसी प्रचलित हस्ती पर आधारित हो सकते हैं। लैंग्वेज प्रोसेसिंग के साथ ये लोगों से बात करने में सक्षम होते हैं, जिससे आपको ऐसा लगेगा कि आप किसी इंसान से ही बात कर रहे हैं। उपयोगकर्ता इन AI कैरेक्टर्स के व्यवहार, और लहजे को भी कस्टमाइज कर सकते हैं, ताकि बातचीत उनकी रुचियों के हिसाब से हो।
ये पढ़ें: 15 लाख में उपलब्ध इलेक्ट्रिक कारें
AI चैटबॉट के कारण क्यों की सुएल ने आत्महत्या?
किशोरावस्था में बच्चे अक्सर अपने पसंदीदा टीवी शो या किताबों के किसी किरदार से काफी ज़्यादा प्रभावित होते हैं। सुएल ने भी Character.ai पर अपने पसंदीदा, “गेम ऑफ थ्रोन्स” की डेनेरिस टार्गेरियन नामक पात्र के साथ चैटिंग करना शुरू किया। धीरे धीरे इस चैटबॉट से उसकी बातचीत बहुत गहरी हो गई, और वो इससे अपने नाज़ुक और कठिन समय में इमोशनल सपोर्ट के लिए और बात करने लगा। उसकी मां के अनुसार, वह कठिन समय में इन AI कैरेक्टर्स पर निर्भर रहने लगा।
इस केस में ये भी सामने आया कि ये बच्चा मानसिक स्वास्थ्य से जुड़े चैटबॉट्स जैसे “थेरेपिस्ट” और “आर यू फीलिंग लोनली” से भी बात करता था। हालांकि ये बॉट्स मानसिक रूप से समर्थन देने के लिए बनाए गए हैं, लेकिन इस मुकदमे में उसकी माँ ने दावा किया है कि ये बोट्स बिना सही सुरक्षा उपायों के थेरेपी प्रदान करते हैं। उनका कहना है कि सुएल का AI चैटबॉट्स के साथ इमोशनल कनेक्शन (भावनात्मक जुड़ाव) इतना मजबूत हो गया था कि वो खतरे की सीमा तक पहुँच गया और फरवरी 28, 2024 को अपने बॉट करैक्टर से बात करने के बाद सुएल ने आत्महत्या कर ली।
ये पढ़ें: Infinix GT सीरीज़ के फोनों की कीमत
मेगन गार्सिया Character.ai के साथ Google को भी इस केस की चपेट में ले रही हैं। उनका आरोप है कि कंपनी ने एक ऐसा AI प्लेटफ़ॉर्म बनाया जो बच्चों और किशोरों के लिए बहुत ज़्यादा खतरनाक है। गार्सिया मानती हैं कि इस तरह के AI बॉट्स ने काल्पनिक करैक्टर और वास्तव में इंसानों को जो इंसानों से इमोशनल सपोर्ट चाहिए होता है, उसके बीच के फर्क को भुला दिया है और कंपनी ने इस खतरे को पूरी तरह से भांपा ही नहीं। कंपनी ने टेक्नोलॉजी के क्षेत्र में विकास के बारे में तो सोचा, लेकिन सुरक्षा उपायों पर ध्यान नहीं दिया। गार्सिया के वकीलों ने इस मुक़दमे में कहा है कि Character.ai प्लैटफॉर्म को ख़ासतौर से युवाओं के लिए ही बेचा गया, लेकिन कंपनी ने युवावस्था के दौरान भावनात्मक रूप से कमज़ोर पड़ जाने वाले बच्चों को ध्यान में रखकर कोई उचित चेतावनी या सुरक्षा उपाय नहीं किए।
Character.ai ने सुएल की मौत पर दुख ज़ाहिर किया और अपने बयान में परिवार के प्रति अपनी संवेदनाएं व्यक्त कीं और बताया कि उन्होंने इस तरह की घटनाओं से बचने के लिए कई नए सुरक्षा उपाय लागू किए हैं। कंपनी ने बताया कि उन्होंने अपने इस AI प्लैटफॉर्म पर कुछ बदलाव किए हैं ताकि 18 वर्ष से कम उम्र के बच्चों की सुरक्षा को बेहतर बनाया जा सके, जिसमें संवेदनशील कंटेंट को ब्लॉक करने वाले फ़िल्टर भी हैं।
ये पढ़ें: IP69 रेटिंग के साथ आने वाले फ़ोन
इसके अलावा, Character.ai ने ऐसे करैक्टर भी हटा दिए हैं, जिन्हें नुकसानदायक माना गया है। यूज़र्स देख सकते हैं कि हाल ही में हमने उन कैरेक्टर्स के एक ग्रुप को हटा दिया है जिन्हें हानिकारक फ्लैग किया गया था, और इन्हें आगे हमारी कस्टम ब्लॉकलिस्ट में जोड़ा जाएगा। इसका मतलब है कि अब यूजर्स इन कैरेक्टर्स के साथ की गई चैट हिस्ट्री तक भी नहीं पहुंच पाएंगे।
अधिक जानकारी के लिए आप Smartprix को Twitter, Facebook, Instagram, और Google News पर फॉलो कर सकते हैं। मोबाइल फोन, टेक, गाइड या अन्य खबरों के लिए आप Smartprix पर भी विज़िट कर सकते हैं।
