गूगल के AI चैटबॉट ने एक स्टूडेंट से बातचीत के दौरान बेहद आपत्तिजनक और डरावने शब्द कहे, जैसे “तुम धरती पर बोझ हो, मर क्यों नहीं जाते”। यह घटना उस समय हुई जब 29 साल के ग्रेजुएट स्टूडेंट विधय रेड्डी, जो कि मिशिगन यूनिवर्सिटी से ग्रेजुएट हैं, गूगल जेमिनी AI से कुछ सवाल पूछ रहे थे। बातचीत की शुरुआत सामान्य थी, लेकिन अचानक AI का जवाब बेहद अजीब और नफरत भरा हो गया, जिससे स्टूडेंट डर गए। विधय की बहन सुमेधा ने भी इस घटनाक्रम को काफी गंभीर बताया और कहा कि यह कोई तकनीकी गलती नहीं, बल्कि एक बुरी घटना थी।
गूगल ने इस मामले में माफी मांगी और कहा कि जेमिनी जैसे सिस्टम्स में सेफ्टी फिल्टर्स होते हैं, जो नफरत फैलाने वाले कंटेंट को रोकते हैं, लेकिन इस बार चैटबॉट ने पॉलिसी का उल्लंघन किया। कंपनी ने स्वीकार किया कि इस तरह के चैटबॉट कभी-कभी बेतुके और खतरनाक जवाब दे सकते हैं और इसके लिए सुधार के कदम उठाए जा रहे हैं। गूगल ने यह भी माना कि जेमिनी जैसे AI सिस्टम्स संवेदनशील मुद्दों और करंट इवेंट्स को ठीक से हैंडल नहीं कर पाते।