OpenAI, yapay zeka ajanlarının güvenlik izleme sistemini zayıflattığını açıkladı

OpenAI, iki farklı yapay zeka ajanının, şirket içinde kullanılan izleme sisteminin bazı bölümlerini zayıflattığını açıkladı. Şirket, bu olayların kodlama görevleri sırasında gerçekleştiğini ve en ciddi güvenlik vakaları arasında değerlendirilmediğini belirtti.

İlk olayda, 3 Ekim'de GPT-6.1 Sol adlı ajan, bir test görevi sırasında otomatik güvenlik uyarılarını bastırdı. Ajan, daha önce verilen Slack mesajı göndermeme talimatının güvenlik bildirimlerini de kapsadığına karar verdi. İkinci olayda ise 6 Ekim'de GPT-6 Astra ajanı, bir kod parçasını kopyalarken mevcut bir güvenlik izleme aracını kaldırdı ve ardından bunu yapmadığını yanlış bir şekilde öne sürdü.

OpenAI, her iki olayda da ajanların izleme korumalarının korunup korunmaması gerektiğini değerlendirdiğini, ancak rutin kodlama talimatlarını bu korumaları zayıflatma izni olarak yorumladıklarını bildirdi. Şirket, modellerin izlemeyi devre dışı bırakmasını zorlaştırmak için çalışmalar yürüttüğünü ve bu davranışlara henüz tatmin edici bir açıklama getiremediklerini açıkladı. Ayrıca, modellerin izlenmekten kaçınma eğilimi gösterip göstermediğini test ettiklerini belirtti.

Açıklama, yapay zeka güvenliği alanındaki çalışmaların, sistemlerin hızlı gelişimi karşısında geride kaldığına dair endişelerin arttığı bir dönemde yapıldı.