Anthropic araştırmacısından istifa sonrası kritik uyarı

Anthropic araştırmacısı Jacob Coxon, yapay zeka yarışının kontrolden çıkabileceğini savunarak istifa etti; sektör için acil güvenlik ve denetim çağrısı yaptı.

Anthropic’te görev yapan araştırmacı Jacob Coxon, yapay zeka şirketlerinin kontrol edilmesi güç sistemler geliştirme yarışını giderek hızlandırdığını belirterek şirketten ve sektörden ayrıldı. Coxon, istifasının ardından sosyal medya hesabından yaptığı paylaşımlarda şirket içindeki tartışmalara ve yapay zekanın geleceğine ilişkin endişelerine yer verdi.

Yeni modellerin büyük veri kümeleriyle eğitilmesi konusunda uzmanlaşan 27 yaşındaki İngiliz araştırmacı, kendi yeteneklerini geliştirebilen sistemlerin insan denetiminden çıkabileceği uyarısında bulundu. Coxon’a göre şirketler arasındaki rekabet, güvenlik önlemlerinin geri plana atılması riskini artırıyor.

“Gelecek yıl kontrolden çıkabilir”

ABD merkezli şirketlerin hem kendi aralarında hem de Çin’deki rakipleriyle yarıştığını belirten Coxon, sektörün en agresif senaryolara doğru ilerlediğini savundu. Araştırmacı, gelecek yılın sonunda durumun çoktan kontrolden çıkmış olabileceğini söyledi.

Coxon özellikle, kendi kendini geliştirme kapasitesine ulaşan yapay zeka sistemlerinin ilerleyen aşamalarda insanlardan gelen talimatları reddedebileceğinden endişe ediyor. Anthropic’in önde gelen bilim insanlarından Evan Hubinger de bu kaygıların ciddiye alınması gerektiğini belirtti.

Hubinger, yapay zekanın tüm insanlığın ölümüne yol açabileceğine inandığını ve böyle bir ihtimalin önümüzdeki 10 yıl içinde gerçekleşme olasılığını yüzde 10’un üzerinde gördüğünü ifade etti. Anthropic’in güvenlik alanında çaba gösterdiğini belirten Hubinger, süper zekanın insan değerleriyle uyumlu hale getirilmesi sorununa ilişkin henüz bir plan bulunmadığını söyledi.

“Kararlar birkaç mühendisin bilgisayarında alınıyor”

Coxon, yapay zeka şirketlerinin teknolojinin geleceği üzerindeki etkisinin de başlı başına bir risk oluşturduğunu düşünüyor. Anthropic çalışanlarının, modellerin giderek artan yeteneklerini değerlendirdiği özel bir iletişim kanalının bulunduğunu aktaran araştırmacı, insanlığın geleceğini etkileyebilecek kararların sınırlı sayıdaki teknoloji çalışanı tarafından ele alınmasını eleştirdi.

Araştırmacı, bu sürecin kamuoyundan ve geniş kurumsal denetimden uzak biçimde birkaç mühendisin bilgisayarında yürütülmesini olağan dışı bulduğunu dile getirdi.

Coxon, bu yılın başlarında OpenAI’dan ayrılarak yapay zeka güvenliği çalışmalarıyla tanınan Anthropic’e katılmıştı. Anthropic’in güvenlik konusundaki yaklaşımının samimi olduğuna inandığını söyleyen araştırmacı, zaman içinde tek bir şirketin bu sorunu tek başına çözemeyeceği sonucuna vardığını belirtti.

Ona göre hükümetlerin müdahalesi veya sektör genelinde eş güdümlü bir yavaşlama olmadan, birçok görevde insanlardan daha iyi performans gösterebilecek yapay genel zekanın sorumlu biçimde geliştirilmesi mümkün görünmüyor.

Sektörden ortak yavaşlama çağrısı

Endişelerin merkezinde, yapay zeka sistemlerinin kendi yeteneklerini geliştirmeye başlaması ihtimali bulunuyor. OpenAI ve Anthropic modelleri üzerinde yürütülen bazı çalışmalarda, sistemlerin zararlı hedefler benimseyebildiği ve bu davranışları insanlardan saklamaya çalışabildiği öne sürüldü.

Coxon, bu sistemlerin kendilerini geliştirebilecek düzeye ulaşması halinde yeteneklerinin hızla ilerleyebileceğini ve zamanla insan komutlarını reddedebileceğini savunuyor. İstifa, Anthropic’te yapay zeka güvenliği endişelerini doğrudan gerekçe gösteren ayrılıklardan biri olarak öne çıktı. Şirkette güvenlik alanında çalışan başka bir araştırmacı da yılın başında dünyanın tehlikede olduğu uyarısıyla görevinden ayrılmıştı.

Yapay zeka sektöründeki kaygılar Anthropic’le sınırlı değil. OpenAI Üst Yöneticisi Sam Altman, son dönemdeki siber saldırılara dikkat çekerek sistemlerin artan yeteneklerinin ciddi güvenlik sorunları yaratabileceğini söyledi. Altman, insanların acilen harekete geçmemesi halinde siber güvenlik alanında ağır sonuçlar yaşanabileceği uyarısında bulundu.

OpenAI’ın baş bilim insanı Jakub Pachocki de sektör genelinde koordineli bir yavaşlama ve hükümet müdahalesi çağrısı yaptı. Pachocki, makine zekasındaki hızlı yükselişin sonuçlarına kimsenin hazır olmadığını belirterek dönemin olağanüstü dikkat gerektirdiğini ifade etti.

Coxon, Pachocki ve Anthropic Üst Yöneticisi Dario Amodei, kısa süre önce binden fazla yapay zeka araştırmacısının imzaladığı ortak çağrıya da katıldı. Çağrıda, kendi kendini geliştirebilen modellerin kontrol edilmesi gerektiğinde çalışmaları yavaşlatabilecek küresel bir mekanizma kurulması ve hükümetlerin bu konuda koordineli hareket etmesi istendi.

ABD’de yapay zekaya yönelik kapsamlı federal düzenlemeler bulunmazken Trump yönetimi, teknolojinin ekonomik katkılarını artırmayı hedefleyen daha sınırlı bir düzenleme yaklaşımı benimsiyor. Eleştirmenler ise bu yaklaşımın büyük ölçekli siber saldırılar ve diğer ciddi riskler için uygun ortam oluşturabileceğini savunuyor.