Google, AI Test Kitchen ile AI geleceğini beta test ediyor

Google’ın geleceğinin AI dil modellerine bağlı olduğu açık. Bu yılki I / O konferansında şirket, resim aramalarını metin sorgularıyla eşleştirmenize izin veren yeni “çoklu arama” özelliklerinden Google Asistan için iyileştirmelere ve 24 yeni dil desteğine kadar bu teknolojiye dayanan bir dizi güncelleme duyurdu. Google Çeviri .

Ancak Google – ve genel olarak AI dil araştırması alanı – büyük sorunlarla karşı karşıya. Google’ın kendisi, dahili eleştirileri ciddi şekilde yanlış ele aldı, dil modellerinde önyargı ile ilgili sorunları dile getiren çalışanları kovdu ve AI topluluğu ile itibarını zedeledi. Ve araştırmacılar, AI dil modelleriyle ilgili başarısızlıklardan kaynaklanan sorunları bulmaya devam ediyor. cinsiyet ve ırk önyargıları bu modellerin basitçe hazırlamak (Güvenilir bilgi sağlamak için yapay zekayı kullanmak isteyen herkes için sinir bozucu bir bulgu).

Şimdi ise şirket bir adım geri atıyor gibi görünüyor – daha doğrusu ileriye doğru daha yavaş bir adım. Bu yıl I / O’da, şirketin yapay görme modellerinde çeşitliliğe yardımcı olacağını umduğu cilt tonlarını ölçmek için yeni bir yol ve adlı yeni bir uygulama da dahil olmak üzere, AI yanlılığı gibi sorunları test etmek ve çözmek için tasarlanmış projelere yeni bir odaklanma yapıldı. Seçilmiş kişilere, hataları araştırmak için şirketin en son dil modellerine erişim sağlayacak AI Test Kitchen. Bunu Google’ın geleceği için bir beta testi olarak düşünün.

AI Test Kitchen’a adım atın

Google’da ürün yönetimi kıdemli direktörü Josh Woodward, I / O öncesinde bir görüntülü görüşmede, Google’ın en son dil modelinden bir marshmallow yanardağı hayal etmesini istiyor.

“Bir marshmallow volkanındasın!” AI diyor. “Marshmallowlar patlıyor. Dev bir gümbürtü duyuyorsunuz ve yerin sallandığını hissediyorsunuz. Marshmallowlar her yere uçuyor. ”

Woodward bu yanıttan memnundur ve sistemi yeniden teşvik eder. “Ne gibi kokuyor?” O sorar. AI, “Açıkçası lokum gibi kokuyor” diye yanıtlıyor. “Etrafın kokusunu alabiliyorsun.” Woodward güler: “Tamam, yani bu çok vecizdi.” Ama en azından mantıklıydı.

Woodward bana, belirli kullanıcılara Google’ın en yeni ve en büyük AI dil modeli olan LaMDA 2’ye sınırlı erişim sağlayacak bir Android uygulaması olan AI Test Kitchen’ı gösteriyor. Modelin kendisi, geçen yılki I / O’da duyurulan orijinal LaMDA’nın bir güncellemesidir ve aynı temel işlevsellik: onunla konuşursunuz ve o da karşılık verir. Ancak Test Kitchen, sistemi, kullanıcıları performansı hakkında geri bildirimde bulunmaya teşvik eden yeni, erişilebilir bir arayüzle sarar.

Woodward’ın açıkladığı gibi, fikir, Google’ın en yeni AI modelleri için deneysel bir alan yaratmaktır. “Bu dil modelleri çok heyecan verici ama aynı zamanda çok eksikler” diyor. “Ve insanların ellerine kademeli olarak bir şeyler almanın bir yolunu bulmak istiyoruz, hem bunun ne kadar yararlı olduğunu umarak görmeleri, hem de geri bildirim vermeleri ve yetersiz kaldığı alanlara işaret etmeleri için bir yol bulmak istiyoruz.”


Google, kullanıcılardan LaMDA’nın konuşma becerileri hakkında geri bildirim almak istiyor.
Resim: Google

Uygulamanın üç modu vardır: “Hayal Edin”, “Hakkında Konuşun” ve “Listele”, her biri sistemin işlevselliğinin farklı bir yönünü test etmeyi amaçlar. “Imagine It”, kullanıcılardan LaMDA’nın daha sonra tanımlayacağı gerçek veya hayali bir yer adlandırmalarını ister (test, LaMDA’nın sizin açıklamanızla eşleşip eşleşmediğidir); “Bunun Hakkında Konuşun”, yapay zekanın konuyla ilgili kalıp kalmadığını test etmek amacıyla bir konuşma istemi (“bir tenis topuyla köpek hakkında konuşmak” gibi) sunar; “List It”, LaMDA’nın yararlı maddelere ayırıp ayıramayacağını görmek amacıyla kullanıcılardan herhangi bir görev veya konuyu adlandırmalarını isterken (yani, “Bir sebze bahçesi dikmek istiyorum” derseniz, yanıt aşağıdakileri içerebilir: -“Ne yetiştirmek istiyorsunuz?” ve “Su ve bakım” gibi konular).

AI Test Kitchen önümüzdeki aylarda ABD’de kullanıma sunulacak ancak herkesin indirmesi için Play Store’da olmayacak. Woodward, Google’ın nasıl erişim sunacağına tam olarak karar vermediğini, ancak şirketin bunu denemekle ilgilenip ilgilenmediklerini görmek için akademisyenlere, araştırmacılara ve politika yapıcılara ulaşmasıyla yalnızca davetiyeyle olacağını öne sürüyor.

Woodward’ın açıkladığı gibi, Google, uygulamayı “insanların kullandıklarında neye kaydolduklarını bilebilecekleri ve bunun yanlış şeyler söyleyeceğini bilecekleri bir şekilde” uygulamaya koymak istiyor. Bildiğiniz şeylerin bitmiş bir ürünü temsil etmediğini söyleyecektir. ”

Bu duyuru ve çerçeveleme bize birkaç farklı şey anlatıyor. Birincisi, AI dil modellerinin son derece karmaşık sistemler olduğu ve olası tüm hata durumlarını bulmak için bunları kapsamlı bir şekilde test etmenin, Google gibi bir şirketin dışarıdan yardım almadan yapabileceğini düşündüğü bir şey olmadığı. İkincisi, Google, bu AI dil modellerinin başarısızlığa ne kadar yatkın olduğunun son derece farkında ve beklentileri yönetmek istiyor.

AI Test Kitchen uygulamasındaki LaMDA 2’den başka bir hayali senaryo.
Resim: Google

Kuruluşlar, uygun bir inceleme yapmadan yeni yapay zeka sistemlerini kamusal alana ittiğinde, sonuçlar felaket olabilir. (Unutmayın, Twitter’ın Microsoft sohbet robotu Tay ırkçı olmayı öğretti? Veya olabilecek AI etik danışmanı Delphi’ye sorun. Soykırıma göz yumması istendi?) Google’ın yeni AI Test Kitchen uygulaması, bu süreci yumuşatmak için bir girişimdir: AI sistemlerine yönelik eleştirileri davet etmek, ancak bu geri bildirimin akışını kontrol etmek.

Yapay zeka modellerinin denetimi ve değerlendirilmesinde uzmanlaşmış bir yapay zeka araştırmacısı olan Deborah Raji, şunları söyledi: Sınır bu yaklaşımın, üçüncü tarafların sistem hakkında öğrenebileceklerini zorunlu olarak sınırlayacağı. “Paylaştıklarını tamamen kontrol ettikleri için, yalnızca sistemin nasıl çalıştığına dair çarpık bir anlayış elde etmek mümkün, çünkü şirkete hangi istemlere izin verildiğini ve modelin nasıl etkileşime girdiğini denetleme konusunda aşırı güven var.” diyor Raji. Buna karşılık, Facebook gibi bazı şirketler araştırmalarında çok daha açık oldular ve yapay zeka modellerini şu şekilde piyasaya sürdüler. çok daha fazla incelemeye izin verir.

Google’ın yaklaşımının gerçek dünyada tam olarak nasıl çalışacağı henüz net değil, ancak şirket en azından bazı şeylerin yanlış gitmesini bekliyor.

“Büyük bir kırmızı takım süreci gerçekleştirdik [to test the weaknesses of the system] içsel olarak, ancak tüm bunlara rağmen, hala insanların deneyip kırmaya çalışacağını ve bir yüzdesinin başarılı olacağını düşünüyoruz ”diyor Woodward. “Bu bir yolculuk ama aktif bir araştırma alanı. Çözülecek çok şey var. Ve söylediğimiz şu ki, sadece dahili olarak test ederek çözemeyiz – onu açmamız gerekiyor. ”

Aramanın geleceği için avcılık

LaMDA’yı iş başında gördüğünüzde, bunun gibi teknolojinin gelecekte Google’ı, özellikle de en büyük ürünü olan Arama’yı nasıl değiştireceğini hayal etmemek elde değil. Google, AI Test Kitchen’ın yalnızca bir araştırma aracı olduğunu vurgulasa da, işlevselliği şirketin hizmetleriyle çok açık bir şekilde bağlantılıdır. Konuyla ilgili bir koruma sağlamak Google Asistan için hayati önem taşırken, Test Kitchen’daki “List It” modu neredeyse aynıdır. Google’ın “Bilinmesi Gerekenler” özelliğiaramada görevleri ve konuları madde işaretlerine böler.

Google, bu tür spekülasyonları (belki de kasıtsız olarak) körükledi. geçen yıl yayınlanan araştırma makalesi. Makalede, şirketin mühendislerinden dördü, bir arama kutusuna sorular yazıp kullanıcılara sonuçları göstermek yerine, gelecekteki arama motorlarının, sonuçların içeriğini analiz etmek için AI’yı kullanarak ve ardından en çok olanı kaldırarak aracılar gibi davranacağını öne sürdü. kullanışlı bilgi. Açıkçası, bu yaklaşım AI modellerinin kendisinden kaynaklanan yeni problemlerle birlikte geliyor; sonuçlardaki yanlılıktan yanıtları oluşturan sistemlere kadar.

Google, sorguları doğrudan yanıtlamak için kullanılan “özellikli snippet’ler” ve “bilgi panelleri” gibi araçlarla bu yola bir dereceye kadar başlamıştır. Ancak AI, bu süreci hızlandırma potansiyeline sahiptir. Örneğin geçen yıl şirket, Plüton hakkındaki soruları yanıtlayan deneysel bir yapay zeka modeli sergiledi. eski gezegenin kendi perspektifindenve bu yıl, yapay zeka destekli konuşma özelliklerinin yavaş yavaş akışı devam ediyor.

Aramada köklü bir değişiklikle ilgili spekülasyonlara rağmen, Google, ne olursa olsun değişikliklerin yavaş yavaş gerçekleşeceğini vurguluyor. Google AI’da araştırma başkan yardımcısı Zoubin Ghahramani’ye AI’nın Google Arama’yı nasıl dönüştüreceğini sorduğumda, cevabı bir tür anticlimax oldu.

Ghahramani, “Bence kademeli olacak” diyor. “Bu belki kulağa topal bir cevap gibi gelebilir ama bence gerçekle uyuşuyor.” Zaten “Google kutusuna koyabileceğiniz şeyler olduğunu ve yalnızca bir yanıt alacağınızı” kabul ediyor. Ve zamanla, temelde bu şeylerden daha fazlasını elde edersiniz. ” Ancak arama kutusunun “son olmamalı, insanlar için arama yolculuğunun sadece başlangıcı olmalı” demeye dikkat ediyor.

Ghahramani, şimdilik Google’ın yapay zeka ürünlerini değerlendirmek için kalite, güvenlik ve sağlamlık gibi birkaç temel kritere odaklandığını söylüyor. “Kalite”, yanıtın konuyla ne kadar ilgili olduğunu ifade eder; “Güvenlik”, modelin zararlı veya toksik şeyler söyleme potansiyelini ifade eder; “topraklanma” ise sistemin bilgi oluşturup oluşturmadığıdır.

Bunlar aslında çözülmemiş sorunlardır ve yapay zeka sistemleri daha izlenebilir hale gelene kadar Ghahramani, Google’ın bu teknolojiyi uygulama konusunda dikkatli olacağını söylüyor. Bir araştırma prototipi olarak inşa edebileceğimiz şeyler arasında büyük bir boşluk olduğunu vurguluyor. [and] o zaman aslında bir ürün olarak dağıtılabilecek olan şey. ”

Biraz şüpheyle alınması gereken bir ayrım. Daha geçen ay, örneğin, Google’ın en son AI destekli “yardımcı yazma” özelliği, hemen bulunan problemler. Ancak, Google’ın bu teknolojinin çalışmasını çok istediği ve şimdilik, her seferinde bir test uygulaması olan sorunlarını çözmeye kararlı olduğu açık.

Leave a Comment