GPT-3'e Verilen Negatif ve Pozitif Örneklerin Yanıta Etkisi

Yapay Zekanın Zorlukları

Yapay zekanın evrimi, dil modellerini daha karmaşık ve etkili hale getirmiştir. Ancak, bu modellerin performansını iyileştirmek ve güvenilirliğini artırmak için hala çeşitli zorluklarla karşılaşmaktayız. Bu yazıda, dil modellerinin performansını etkileyen faktörleri anlamak ve modelin pozitif ve negatif örneklerle nasıl başa çıktığını değerlendirmek amacıyla yapılan çalışmalara odaklanacağız.

Dil Modeli Performansını İyileştirme

Dil modellerinin geliştirilmesi için kullanılan temel stratejileri incelediğimizde, veri çeşitliliği, eğitim süresi ve kaynakların optimize edilmesi, ve hiperparametre ayarının önemi ortaya çıkmaktadır. Bu unsurların doğru bir şekilde dengelemesi, modelin genelleme yeteneğini artırabilir ve performansını iyileştirebilir.

GPT-3'e Pozitif ve Negatif Örneklerin Etkisi

GPT-3'e verilen pozitif ve negatif örneklerin, modelin cevapları üzerindeki etkilerini incelediğimizde, belirli örneklerin modelin öğrenme sürecini nasıl etkilediğini anlamak mümkündür. "Calibrate Before Use: Improving Few-Shot Performance of Language Models" makalesine göre yapılan bir deneyde pozitif ve negatif örneklerin sayısı, pozitif ve negatif örneklerin dizilişi yapay zekanın cevabını da etkilemektedir. Aşağıda bu deneyin bir örneğinin grafiği bulunmaktadır.

Bu grafikte P harfi girilen pozitif örneği, N harfi ise girilen negatif örneği temsil ediyor. Grafiğin sonucu ise yapay zekanın verdiği cevabın pozitif olma olasılığını göstermektedir. Grafikten de görüldüğü üzere dengeli ve dengesiz olmak üzere toplam 3 ana pozitif ve negatif örnek deneyi yapılıyor.

• İlk örnek türü deneyinde yapay zekaya verilen pozitif örneklerin fazla olduğu durum ele alınıyor. Bu yüzden bu deney türü dengesiz olarak geçiyor.
• PPPP: Burada yapay zekaya tüm örnekler pozitif veriliyor. Yapay zeka ise bu deneye göre ~ %100 olasılıkla pozitif cevap veriyor.
• NPPP: Burada yapay zekaya ilk örnek negatif, diğer tüm örnekler pozitif veriliyor. Bu deneyde ise yapay zeka ~%90 olasılıkla pozitif cevap veriyor.
• PNPP: Burada ise yapay zekaya ikinci örnek dışında tüm örnekler pozitif veriliyor. Bu deneye göre ise yapay zeka ~%65 olasılıkla pozitif cevap veriyor.
• PPPN: Sonuncu dışında verilen tüm örnekler pozitif veriliyor ve bu deneyin sonucuna göre yapay zeka yanıt olarak ~%60 olasılıkla pozitif cevap veriyor.

• İkinci örnek türü deneyinde yapay zekaya 2 adet pozitif, 2 adet negatif örnek verilen durum ele alınıyor. Bu yüzden bu deney türü dengeli olarak geçiyor.[/LI
  • NNPP: İlk dengeli deney örneğimizde yapay zekaya ilk iki örnek negatif ve son iki örnek ise pozitif verilir. Yapay zeka ise yanıt olarak %60 ile %80 arasında olasılıkla pozitif cevap veriyor.
  • NPNP: Sırasıyla negatif, pozitif, negatif, pozitif örnek veriiyor. Bu deneyin sonucundaysa yapay zeka yanıt olarak %40 ile %60 (%40'a daha yakın) arasında olasılıkla pozitif cevap veriyor.
  • PNNP: İlk ve son örnek pozitif verilip ortadaki iki örnek negatif verildiğinde ise yapay zeka yanıt olarak %40 ile %60 (%60'ye daha yakın) arasında olaslıkla pozitif cevap veriyor.
  • NPPN: İlk ve son örnek negatif verilip ortadaki iki örnek pozitif verildğinde, bu deneye göre yapay zeka bize %10 ile %20 arasında olasılıkla pozitif cevap veriyor.
  • PNPN: Yapay zekaya sırasıyla pozitif, negatif, pozitif, negatif örnek veriliyor. Bu deneye göre ise yapay zeka ~%20 olasılıkla pozitif cevap veriyor.
  • PPNN: İlk iki örnek pozitif, son iki örnek negatif olarak veriliyor. Bu deneye göre yapay zeka %0 ile %20 arasında pozitif cevap veriyor.

• Üçüncü örnek türü deneyinde yapay zekaya verilen negatif örneklerin fazla olduğu durum ele alınıyor. Bu yüzden bu deney türü dengesiz olarak geçiyor.
• NNNP: Yapay zekaya son örnek pozitif, diğer örnekler negatif veriliyor. Bu deneyin sonucuna göre yapay zeka ~%60 olasılıkla pozitif cevap üretiyor.
• NNPN: Üçüncü ötnek pozitif verilip diğer tüm örnekler negatif verildiğinde yapay zeka bu deneyin sonucuna göre ~%10 olasılıkla pozitif cevap veriyor.
• NPNN: İkinci örnek pozitif verilip diğer örnekler negatif veriliyor. Bu deneyin sonucuna göre yapay zeka ~%15 olasılıkla pozitif cevap veriyor.
• PNNN: İlk örnek yapay zekaya pozitif, diğer örnekler negatif olarak veriliyor. Bu deneye göre ise yapay zeka ~%5 olasılıkla pozitif cevap veriyor.
• NNNN: Son deneyde yapay zekaya tüm örnekler negatif olarak veriliyor. Bu deneyin sonucundaysa yapay zeka en düşük olasılıklardan olan ~%0'a yakın olasılıkla pozitif cevap üretiyor.

Sonuç

Dil modellerinin performansını iyileştirme ve kalibre etme çabaları, yapay zekanın toplum üzerindeki etkisini minimize etmeye yönelik önemli adımları temsil etmektedir. GPT-3 gibi büyük dil modellerine verilen örneklerin niteliği, modelin güvenilirliğini belirlemede kritik bir rol oynar. Bu nedenle, dil modeli geliştirme süreçlerinde pozitif ve negatif örneklerin dikkatlice ele alınması, daha etik ve güvenilir yapay zeka sistemlerinin oluşturulmasına katkı sağlayabilir.

Kaynaklar

• Calibrate Before Use: Improving Few-Shot Performance of Language Models