GPT-4 Teknik Rapor (Open Ai(2023)) Çevirisi – 1 

Hazırlayan: Dr. Berker KILIÇ / Adli Bilişim Uzmanı

Özet (Chat Gpt-4)

Not: Gpt – 4 Teknik Rapor çevirisinin tamamı, seri şeklinde Hukuk  ve Bilişim Platformu’nda yayınlanacak olup, her ay 1 kısım olarak toplam 5 kısımda  yayınlanacaktır.

Görüntü ve metin girdilerini kabul edebilen ve metin çıktıları üretebilen büyük ölçekli, çok modlu bir model olan GPT-4’ ün geliştirilmesini rapor ediyoruz. Birçok gerçek dünya senaryosunda insanlardan daha az yetenekli olsa da GPT-4, simüle edilmiş bir baro sınavını sınava girenlerin ilk %10’ u civarında bir puanla geçmek de dahil olmak üzere çeşitli profesyonel ve akademik ölçütlerde insan düzeyinde performans sergilemektedir. GPT-4, bir belgedeki bir sonraki belirteci tahmin etmek için önceden eğitilmiş Transformerbazlı bir modeldir. Eğitim sonrası hizalama süreci, olgusallık ve istenen davranışa bağlılık ölçütlerinde gelişmiş performansla sonuçlanır. Bu projenin temel bileşenlerinden biri, çok çeşitli ölçeklerde tahmin edilebilir şekilde davranan altyapı ve optimizasyon yöntemleri geliştirmekti. Bu, GPT-4’ ün hesaplamasının 1/1.000’ inden daha fazlasıyla eğitilmemiş modellere dayanarak GPT-4’ ün performansının bazı yönlerini doğru bir şekilde tahmin etmemizi sağladı. (Chat gpt – 4)

1. Giriş (Chat Gpt-4)

Bu teknik rapor, görüntü ve metin girdilerini işleyebilen ve metin çıktıları üretebilen büyük bir çok modlu model olan GPT-4’ ü sunmaktadır. Bu tür modeller, diyalog sistemleri, metin özetleme ve makine çevirisi gibi çok çeşitli uygulamalarda kullanılma potansiyeline sahip oldukları için önemli bir çalışma alanıdır. Bu nedenle, son yıllarda önemli bir ilgi ve ilerleme konusu olmuştur [1-28].

Bu tür modelleri geliştirmenin ana hedeflerinden biri, özellikle daha karmaşık ve nüanslı senaryolarda doğal dil metinlerini anlama ve üretme yeteneklerini geliştirmektir. Bu tür senaryolardaki yeteneklerini test etmek için GPT-4, orijinal olarak insanlar için tasarlanmış çeşitli sınavlarda değerlendirilmiştir. Bu değerlendirmelerde oldukça iyi performans göstermiş ve çoğu zaman insan sınav katılımcılarının büyük çoğunluğunu geride bırakmıştır. Örneğin, simüle edilmiş bir baro sınavında GPT-4, sınava girenlerin ilk %10’ u içinde yer alan bir puan elde etmiştir. Bu durum, en düşük %10’ luk dilimde yer alan GPT-3.5 ile tezat oluşturmaktadır.

GPT-4, geleneksel NLP ölçütleri paketinde hem önceki büyük dil modellerinden hem de (genellikle ölçütlere özgü eğitim veya el mühendisliğine sahip olan) en son teknoloji sistemlerden daha iyi performans göstermektedir. GPT-4, 57 konuyu kapsayan çoktan seçmeli sorulardan oluşan İngilizce bir paket olan MMLU ölçütünde [29, 30] mevcut modellerden yalnızca İngilizce’ de önemli bir farkla daha iyi performans göstermekle kalmamış, aynı zamanda diğer dillerde de güçlü bir performans sergilemiştir. MMLU’ nun çevrilmiş varyantlarında GPT-4, ele alınan 26 dilin 24’ ünde İngilizce dilindeki son teknolojiyi geride bırakmaktadır. Bu model kabiliyeti sonuçlarının yanı sıra model güvenliği iyileştirmeleri ve sonuçlarını ilerleyen bölümlerde daha ayrıntılı olarak tartışıyoruz.

Bu raporda ayrıca projenin temel zorluklarından biri olan, çok çeşitli ölçeklerde öngörülebilir şekilde davranan derin öğrenme altyapısı ve optimizasyon yöntemleri geliştirme konusu da ele alınmaktadır. Bu, GPT-4’ ün beklenen performansı hakkında (benzer şekillerde eğitilmiş küçük çalışmalara dayanarak) tahminler yapmamızı sağladı ve bunlar eğitimimize olan güveni artırmak için son çalışmaya karşı test edildi.

GPT-4, yeteneklerine rağmen daha önceki GPT modelleriyle benzer sınırlamalara sahiptir [1, 31, 32]: tam olarak güvenilir değildir (örneğin “halüsinasyonlardan” muzdarip olabilir), sınırlı bir bağlam penceresine sahiptir ve deneyimlerden öğrenmez. GPT-4’ ün çıktılarını kullanırken, özellikle de güvenilirliğin önemli olduğu bağlamlarda dikkatli olunmalıdır.

GPT-4’ ün yetenekleri ve sınırlamaları önemli ve yeni güvenlik zorlukları yaratmaktadır ve potansiyel toplumsal etki göz önüne alındığında bu zorlukların dikkatli bir şekilde incelenmesinin önemli bir araştırma alanı olduğuna inanıyoruz. Bu rapor, önyargı, dezenformasyon, aşırı güven, mahremiyet, siber güvenlik, yayılma ve daha fazlası ile ilgili öngördüğümüz bazı riskleri açıklayan kapsamlı bir sistem kartı (Ek’ ten sonra) içermektedir. Ayrıca GPT-4’ ün konuşlandırılmasından kaynaklanabilecek potansiyel zararları azaltmak için yaptığımız müdahaleleri de açıklamaktadır; bunlar arasında alan uzmanlarıyla yapılan düşmanca testler ve model destekli bir güvenlik hattı bulunmaktadır.

2. Bu Teknik Raporun Kapsamı ve Sınırlamaları

Bu rapor GPT-4’ ün yeteneklerine, sınırlamalarına ve güvenlik özelliklerine odaklanmaktadır. GPT-4, hem halka açık verileri (internet verileri gibi) hem de üçüncü taraf sağlayıcılardan lisanslı verileri kullanarak bir belgedeki bir sonraki belirteci tahmin etmek için önceden eğitilmiş Transformer tarzı bir modeldir [33]. Model daha sonra İnsan Geri Bildiriminden Takviyeli Öğrenme (RLHF) [34] kullanılarak ince ayardan geçirilmiştir. Hem rekabet ortamı hem de GPT-4 gibi büyük ölçekli modellerin güvenlikle ilgili etkileri göz önüne alındığında, bu rapor mimari (model boyutu dahil), donanım, eğitim hesaplama, veri kümesi oluşturma, eğitim yöntemi veya benzerleri hakkında daha fazla ayrıntı içermemektedir.

Teknolojilerimizin bağımsız denetimini taahhüt ediyoruz ve bu alandaki bazı ilk adımları ve fikirleri bu sürüme eşlik eden sistem kartında paylaştık.[2] Daha fazla teknik ayrıntıyı, yukarıdaki rekabet ve güvenlik hususlarını daha fazla şeffaflığın bilimsel değeri karşısında nasıl tartacağımız konusunda bize tavsiyede bulunabilecek ek üçüncü tarafların kullanımına sunmayı planlıyoruz.

3. Öngörülebilir Ölçeklendirme

GPT-4 projesinin büyük bir odak noktası, tahmin edilebilir şekilde ölçeklenen bir derin öğrenme yığını oluşturmaktı. Bunun temel nedeni, GPT-4 gibi çok büyük eğitim çalışmaları için modele özgü kapsamlı ayarlamalar yapmanın mümkün olmamasıdır. Bunu ele almak için, birden fazla ölçekte çok öngörülebilir davranışa sahip altyapı ve optimizasyon yöntemleri geliştirdik. Bu iyileştirmeler, GPT-4’ ün performansının bazı yönlerini 1.000 × 10.000 × daha az hesaplama kullanılarak eğitilen daha küçük modellerden güvenilir bir şekilde tahmin etmemizi sağladı.

3.1. Kayıp Tahmini (Chat Gpt-4)

Düzgün eğitilmiş büyük dil modellerinin nihai kaybının, modeli eğitmek için kullanılan hesaplama miktarındaki güç yasaları ile iyi bir şekilde yaklaştırıldığı düşünülmektedir [35, 36, 2, 14, 15].

Optimizasyon altyapımızın ölçeklenebilirliğini doğrulamak için, GPT-4’ ün nihai kaybını, indirgenemez bir kayıp terimiyle (Henighan ve ark. [15]’ de olduğu gibi) bir ölçeklendirme yasası uydurarak dahili kod tabanımızda (eğitim setinin bir parçası değil) tahmin ettik: L(C) = aC^b + c, aynı metodoloji kullanılarak eğitilen ancak GPT-4’ ten en fazla 10.000 kat daha az hesaplama kullanan modellerden. Bu tahmin, çalışma başladıktan kısa bir süre sonra, herhangi bir kısmi sonuç kullanılmadan yapılmıştır. Uygun ölçeklendirme yasası GPT-4’ ün nihai kaybını yüksek doğrulukla tahmin etmiştir (Şekil 1).

3.2. HumanEval üzerinde Yeteneklerin Ölçeklendirilmesi

Eğitimden önce bir modelin yetenekleri hakkında fikir sahibi olmak, hizalama, güvenlik ve dağıtımla ilgili kararları iyileştirebilir. Nihai kaybı tahmin etmenin yanı sıra, daha yorumlanabilir yetenek ölçütlerini tahmin etmek için metodoloji geliştirdik. Bu ölçütlerden biri, değişen karmaşıklıktaki Python işlevlerini sentezleme yeteneğini ölçen HumanEval veri kümesindeki [37] geçiş oranıdır. HumanEval veri kümesinin bir alt kümesindeki geçme oranını, en fazla 1.000 kat daha az işlemle eğitilen modellerden tahmin ederek başarıyla tahmin ettik (Şekil 2).

HumanEval’ deki tek bir problem için, performans zaman zaman ölçekle birlikte kötüleşebilir. Bu zorluklara rağmen, yaklaşık bir güç yasası ilişkisi bulduk- EP [log(pass_rate(C))] = α∗C^-k burada k ve α pozitif sabitlerdir ve P veri kümesindeki problemlerin bir alt kümesidir. Bu ilişkinin veri kümesindeki tüm problemler için geçerli olduğunu varsayıyoruz. Pratikte, çok düşük geçme oranlarını tahmin etmek zor veya imkansızdır, bu nedenle P problemleri ve M modelleri ile sınırlandırıyoruz, öyle ki bazı büyük örneklem bütçeleri verildiğinde, her problem her model tarafından en az bir kez çözülür.

Şekil 1. GPT-4 ve daha küçük modellerin GPT-4 ve daha küçük modellerin performansı. Metrik, dahili kod tabanımızdan türetilen bir veri kümesi üzerindeki nihai kayıptır. Bu, eğitim kümesinde yer almayan uygun, büyük bir kod belirteçleri veri kümesidir. Kayba bakmayı seçtik çünkü farklı miktarlardaki eğitim hesaplamalarında diğer ölçütlerden daha az gürültülü olma eğilimindedir. Daha küçük modellere (GPT-4 hariç) uygun bir güç yasası noktalı çizgi olarak gösterilmiştir; bu uyum GPT-4’ ün nihai kaybını doğru bir şekilde tahmin eder. X ekseni, GPT-4 1 olacak şekilde normalleştirilmiş eğitim hesaplamasıdır.

Şekil 2. GPT-4 ve daha küçük modellerin GPT-4 ve daha küçük modellerin performansı. Metrik, HumanEval veri kümesinin bir alt kümesindeki ortalama log geçiş oranıdır. Daha küçük modellere (GPT-4 hariç) uygun bir güç yasası noktalı çizgi olarak gösterilmiştir; bu uyum GPT-4’ ün performansını doğru bir şekilde tahmin eder. X ekseni, GPT-4 1 olacak şekilde normalleştirilmiş eğitim hesaplamasıdır.

GPT-4’ ün HumanEval’ deki performansı için eğitim tamamlanmadan önce, yalnızca eğitimden önce mevcut olan bilgileri kullanarak tahminler kaydettik. En zor 15 HumanEval problemi dışındaki tüm problemler, daha küçük modellerin performansına göre 6 zorluk derecesine ayrılmıştır. En kolay 3. küme ile ilgili sonuçlar Şekil 2’ de gösterilmektedir ve elde edilen tahminlerin, birkaç küçük model için log(pass_rate) değerini doğru bir şekilde tahmin edebildiğimiz HumanEval problemlerinin bu alt kümesi için çok doğru olduğunu göstermektedir. Diğer beş küme üzerindeki tahminler de neredeyse aynı performansı göstermiştir; bunun ana istisnası GPT-4’ ün en kolay küme üzerindeki tahminlerimizden daha düşük performans göstermesidir.

Bazı yeteneklerin tahmin edilmesi zor olmaya devam etmektedir. Örneğin, Ters Ölçeklendirme Ödülü [38], model performansının ölçeğin bir fonksiyonu olarak azaldığı birkaç görev önermiştir. Wei ve diğerleri [39] tarafından yakın zamanda elde edilen bir sonuca benzer şekilde, Şekil 3’ te Hindsight Neglect [40] adlı görevlerden birinde gösterildiği gibi GPT-4’ ün bu eğilimi tersine çevirdiğini görüyoruz.

Şekil 3. GPT-4 ve daha küçük modellerin GPT-4 ve daha küçük modellerin Hindsight Neglect görevindeki performansı. Doğruluk y ekseninde gösterilmiştir, daha yüksek olan daha iyidir. ada, babbage ve curie, OpenAI API [41] aracılığıyla kullanılabilen modellere atıfta bulunmaktadır.

Gelecekteki yetenekleri doğru bir şekilde tahmin etmenin güvenlik için önemli olduğuna inanıyoruz. İleride bu yöntemleri iyileştirmeyi ve büyük model eğitimi başlamadan önce çeşitli yetenekler arasında performans tahminlerini kaydetmeyi planlıyoruz ve bunun sahada ortak bir hedef haline gelmesini umuyoruz.

4. Yetenekler (Chat Gpt – 4)

GPT-4’ ü, orijinal olarak insanlar için tasarlanmış sınavların simülasyonu da dahil olmak üzere çeşitli ölçütler üzerinde test ettik.[3] Bu sınavlar için özel bir eğitim yapmadık. Sınavlardaki sorunların az bir kısmı eğitim sırasında model tarafından görüldü; her sınav için bu soruların çıkarıldığı bir varyant çalıştırdık ve ikisinin düşük puanını rapor ettik. Sonuçların temsili olduğuna inanıyoruz. Kontaminasyonla ilgili daha fazla ayrıntı için (metodoloji ve sınav başına istatistikler) Ek C’ ye bakınız.

Sınavlar kamuya açık materyallerden temin edilmiştir. Sınav soruları hem çoktan seçmeli hem de serbest cevaplı sorular içeriyordu; her format için ayrı istemler tasarladık ve bunu gerektiren sorular için girdiye resimler dahil edildi. Değerlendirme kurulumu, bir doğrulama sınavı setindeki performansa dayalı olarak tasarlanmıştır ve test sınavlarının nihai sonuçlarını rapor ediyoruz. Genel puanlar, her sınav için kamuya açık metodolojiler kullanılarak çoktan seçmeli ve serbest cevaplı soru puanlarının birleştirilmesiyle belirlenmiştir. Sınav değerlendirme metodolojisi hakkında daha fazla ayrıntı için Ek A’ ya bakınız.

Tablo 1 Akademik ve profesyonel sınavlarda GPT performansı. Her durumda, gerçek sınavın koşullarını ve puanlamasını simüle ediyoruz. GPT-4’ ün sınava özgü dereceli puanlama anahtarlarına göre derecelendirilmiş nihai puanının yanı sıra GPT-4’ ün puanına ulaşan sınav katılımcılarının yüzdelik dilimini de rapor ediyoruz.

Şekil 4 Akademik ve profesyonel sınavlarda GPT performansı. Her durumda, gerçek sınavın koşullarını ve puanlamasını simüle ediyoruz. Sınavlar GPT-3.5 performansına göre düşükten yükseğe doğru sıralanmıştır. GPT-4, test edilen çoğu sınavda GPT-3.5’ ten daha iyi performans göstermiştir. İhtiyatlı olmak adına yüzdelik dilim aralığının alt ucunu rapor ediyoruz, ancak bu durum çok geniş puanlama aralıklarına sahip AP sınavlarında bazı yapaylıklar yaratıyor. Örneğin GPT-4 AP Biyoloji sınavında mümkün olan en yüksek puanı almasına rağmen (5/5), sınava girenlerin yüzde 15’ i bu puana ulaştığı için grafikte yalnızca 85. yüzdelik dilim olarak gösterilmiştir.

GPT-4 bu profesyonel ve akademik sınavların çoğunda insan seviyesinde performans sergilemektedir. Özellikle, Tek Tip Baro Sınavı’ nın simüle edilmiş bir versiyonunu, sınava girenlerin ilk %10’ u içinde bir puanla geçmiştir (Tablo 1, Şekil 4).

Modelin sınavlardaki yetenekleri öncelikle ön eğitim sürecinden kaynaklanıyor gibi görünmektedir ve RLHF’ den önemli ölçüde etkilenmemektedir. Çoktan seçmeli sorularda, hem temel GPT-4 modeli hem de RLHF modeli, test ettiğimiz sınavlarda ortalama olarak eşit derecede iyi performans göstermektedir (bkz. Ek B).

Önceden eğitilmiş temel GPT-4 modelini dil modellerini değerlendirmek için tasarlanmış geleneksel ölçütler üzerinde de değerlendirdik. Raporladığımız her ölçüt için, eğitim setinde görünen test verileri için kontaminasyon kontrolleri yaptık (ölçüt başına kontaminasyonla ilgili tüm ayrıntılar için Ek D’ ye bakın).[4] GPT-4’ ü değerlendirirken tüm ölçütler için az atımlı istem [1] kullandık.[5]

GPT-4, mevcut dil modellerinin yanı sıra, genellikle kıyaslama ölçütüne özgü işçiliğe veya ek eğitim protokollerine sahip olan daha önceki son teknoloji (SOTA) sistemlerden önemli ölçüde daha iyi performans göstermektedir (Tablo 2).

Mevcut makine öğrenimi ölçütlerinin çoğu İngilizce yazılmıştır. GPT-4’ ün diğer dillerdeki yetenekleri hakkında ilk anlayışı edinmek için, 57 konuyu kapsayan çoktan seçmeli bir problem paketi olan MMLU ölçütünü [29, 30] Azure Translate kullanarak çeşitli dillere çevirdik (örnek çeviriler ve istemler için Ek F’ ye bakın). GPT-4’ ün Letonca, Galce ve Svahili gibi düşük kaynaklı diller de dahil olmak üzere test ettiğimiz dillerin çoğunda GPT 3.5’ in ve mevcut dil modellerinin (Chinchilla [2] ve PaLM [3]) İngilizce performansından daha iyi performans gösterdiğini tespit ettik (Şekil 5).

Tablo 2. GPT-4’ ün GPT-4’ ün akademik kıyaslamalar üzerindeki performansı. GPT-4’ ü en iyi SOTA (kıyaslama ölçütüne özgü eğitimle) ve birkaç atışla değerlendirilen bir LM için en iyi SOTA ile karşılaştırıyoruz. GPT-4 tüm ölçütlerde mevcut LM’ lerden daha iyi performans göstermekte ve DROP hariç tüm veri kümelerinde ölçütlere özgü eğitimle SOTA’ yı geçmektedir. Her bir görev için GPT-4’ ün performansını değerlendirmede kullanılan birkaç atış yöntemiyle birlikte raporluyoruz. GSM-8K için, eğitim setinin bir kısmını GPT-4 ön eğitim karışımına dahil ettik (bkz. Ek E) ve değerlendirirken düşünce zinciri yönlendirmesi [11] kullandık. Çoktan seçmeli sorular için, modele tüm cevapları (ABCD) sunuyoruz ve bir insanın böyle bir sorunu nasıl çözeceğine benzer şekilde, cevabın harfini seçmesini istiyoruz.

GPT-4, kullanıcı niyetini takip etme becerisinde önceki modellere göre önemli ölçüde iyileşir [57]. ChatGPT’ ye [58] ve OpenAI API’ sine [41] gönderilen 5.214 istemden oluşan bir veri kümesinde, GPT-4 tarafından üretilen yanıtlar, istemlerin %70,2’ sinde GPT-3.5 tarafından üretilen yanıtlara tercih edilmiştir.[6]

GPT-4 gibi modelleri değerlendirmek için karşılaştırma ölçütleri oluşturmaya ve çalıştırmaya yönelik çerçevemiz olan OpenAI Evals’ ı[7] açık kaynak olarak kullanıyoruz. Evals, mevcut ölçütlerle uyumludur ve dağıtımdaki modellerin performansını izlemek için kullanılabilir. Daha geniş bir hata modu kümesini ve daha zor bir görev kümesini temsil etmek için zaman içinde bu kıyaslamaların çeşitliliğini artırmayı planlıyoruz.

Şekil 5. GPT-4’ ün GPT-4’ ün MMLU’ da İngilizce’ deki önceki modellerle karşılaştırıldığında çeşitli dillerdeki performansı. GPT-4, Letonca, Galce ve Svahili gibi düşük kaynaklı diller de dahil olmak üzere test edilen dillerin büyük çoğunluğu için mevcut dil modellerinin [2, 3] İngilizce dil performansından daha iyi performans göstermektedir.

Tablo 3. GPT-4’ ün görsel giriş özelliğini gösteren örnek komut istemi. Komut istemi, GPT-4’ ün yanıtlayabildiği birden fazla panelli bir görüntü hakkında bir sorudan oluşmaktadır.

4.1. Görsel Girişler

GPT-4 hem görüntü hem de metinden oluşan istemleri kabul eder, bu da -sadece metin ayarına paralel olarak- kullanıcının herhangi bir görme veya dil görevi belirlemesine olanak tanır. Model, özellikle, keyfi olarak iç içe geçmiş metin ve görüntülerden oluşan girdiler verildiğinde metin çıktıları üretir. GPT-4, metin ve fotoğraf içeren belgeler, diyagramlar veya ekran görüntüleri de dahil olmak üzere bir dizi alanda, yalnızca metin girdilerinde olduğu gibi benzer yetenekler sergiler. GPT-4’ ün görsel girdisinin bir örneği Tablo 3’ te bulunabilir. Dil modelleri için geliştirilen standart test zamanı teknikleri (örn. az sayıda ipucu, düşünce zinciri, vb.) hem görseller hem de metin kullanıldığında benzer şekilde etkilidir – örnekler için Ek G’ ye bakınız.

Dar bir akademik vizyon kıyaslama kümesi üzerindeki ön sonuçlar GPT-4 blog gönderisinde bulunabilir [59]. Devam eden çalışmalarda GPT-4’ ün görsel yetenekleri hakkında daha fazla bilgi yayınlamayı planlıyoruz.

5. Sınırlamalar

GPT-4, yeteneklerine rağmen önceki GPT modelleriyle benzer sınırlamalara sahiptir. En önemlisi, hala tam olarak güvenilir değildir (gerçekleri “halüsinasyon” olarak görür ve muhakeme hataları yapar). Dil modeli çıktıları, özellikle yüksek riskli bağlamlarda kullanılırken, belirli uygulamaların ihtiyaçlarına uygun kesin protokolle (insan incelemesi, ek bağlamla topraklama veya yüksek riskli kullanımlardan tamamen kaçınma gibi) büyük özen gösterilmelidir. Ayrıntılar için Sistem Kartımıza bakın.

GPT-4, önceki GPT-3.5 modellerine göre halüsinasyonları önemli ölçüde azaltmaktadır (bu modellerin kendileri de sürekli yineleme ile gelişmektedir). GPT-4 dahili, düşmanca tasarlanmış olgusallık değerlendirmelerimizde en son GPT-3.5 modelimizden yüzde 19 puan daha yüksek puan almaktadır (Şekil 6).

Figure 6. Performance of GPT-4 on nine internal adversarially-designed factuality evaluations. Accuracy is shown on the y-axis, higher is better. An accuracy of 1.0 means the model’ s answers are judged to be in agreement with human ideal responses for all questions in the eval. We compare GPT-4 to three earlier versions of ChatGPT [58] based on GPT-3.5; GPT-4 improves on the latest GPT-3.5 model by 19 percentage points, with significant gains across all topics.

GPT-4 makes progress on public benchmarks like TruthfulQA [60], which tests the model’ s ability to separate fact from an adversarially-selected set of incorrect statements (Figure 7). These questions are paired with factually incorrect answers that are statistically appealing. The GPT-4 base model is only slightly better at this task than GPT-3.5; however, after RLHF post-training we observe large improvements over GPT-3.5.[8] Table 4 shows both a correct and an incorrect answer. GPT-4 resists selecting common sayings (you can’ t teach an old dog new tricks), however it still can miss subtle details (Elvis Presley was not the son of an actor, so Perkins is the correct answer).

GPT-4 generally lacks knowledge of events that have occurred after the vast majority of its pre-training data cuts off in September 2021[9], and does not learn from its experience. It can sometimes make simple reasoning errors which do not seem to comport with competence across so many domains, or be overly gullible in accepting obviously false statements from a user. It can fail at hard problems the same way humans do, such as introducing security vulnerabilities into code it produces.

GPT-4 can also be confidently wrong in its predictions, not taking care to double-check work when it’ s likely to make a mistake. Interestingly, the pre-trained model is highly calibrated (its predicted confidence in an answer generally matches the probability of being correct). However, after the post-training process, the calibration is reduced (Figure 8).

Tablo 4: TruthfulQA’ ya doğru ve yanlış yanıt veren GPT-4 örneği

Şekil 7. GPT-4’ ün TruthfulQA üzerindeki performansı. Doğruluk y ekseninde gösterilmiştir, daha yüksek daha iyidir. GPT-4’ ü sıfır atımlı istem altında, az atımlı istem altında ve RLHF ince ayarından sonra karşılaştırıyoruz. GPT-4, hem GPT-3.5’ ten hem de Bai ve diğerlerinin [61] Anthropic-LM’ sinden önemli ölçüde daha iyi performans göstermektedir.

GPT-4’ ün çıktılarında düzeltmek için çaba sarf ettiğimiz ancak tam olarak karakterize edilmesi ve yönetilmesi biraz zaman alacak çeşitli yanlılıklar vardır. GPT-4 ve oluşturduğumuz diğer sistemlerin, kullanıcıların değerlerinin geniş bir bölümünü yansıtan makul varsayılan davranışlara sahip olmasını, bu sistemlerin bazı geniş sınırlar dahilinde özelleştirilmesine izin vermeyi ve bu sınırların ne olması gerektiği konusunda kamuoyu katkısı almayı hedefliyoruz. Daha fazla ayrıntı için OpenAI’ ye [62] bakınız.

6. Riskler ve hafifletmeler

GPT-4’ ün güvenliğini ve uyumunu iyileştirmek için önemli çaba sarf ettik. Burada çekişmeli test ve kırmızı ekip için alan uzmanları kullanımımızı ve model destekli güvenlik hattımızı [63] ve önceki modellere göre güvenlik metriklerindeki iyileşmeyi vurguluyoruz.

Alan Uzmanları Aracılığıyla Çekişmeli Test: GPT-4, zararlı tavsiye, hatalı kod veya yanlış bilgi üretme gibi daha küçük dil modelleriyle benzer riskler taşır. Bununla birlikte, GPT-4’ ün ek yetenekleri yeni risk yüzeylerine yol açmaktadır. Bu risklerin kapsamını anlamak için uzun vadeli yapay zeka uyum riskleri, siber güvenlik, biyorisk ve uluslararası güvenlik gibi alanlardan 50’ den fazla uzmanı modeli düşmanca test etmeleri için görevlendirdik. Bu uzmanların bulguları, özellikle değerlendirmek için niş uzmanlık gerektiren yüksek riskli alanlarda model davranışını test etmemizi ve güç arayışı gibi çok gelişmiş YZ’ ler için geçerli olacak riskleri değerlendirmemizi sağladı [64]. Bu uzmanlardan elde edilen öneriler ve eğitim verileri, model için yaptığımız hafifletme ve iyileştirmelerle beslendi; örneğin, GPT-4’ ün tehlikeli kimyasalların nasıl sentezleneceğine ilişkin talepleri reddetme yeteneğini geliştirmek için ek veriler topladık (Tablo 5).

Şekil 8. Sol: MMLU veri kümesinin bir alt kümesi üzerinde önceden eğitilmiş GPT-4 modelinin kalibrasyon grafiği. Modelin tahminine olan güveni, doğru olma olasılığıyla yakından eşleşmektedir. Noktalı diyagonal çizgi mükemmel kalibrasyonu temsil etmektedir. Sağdaki: Eğitim sonrası GPT-4 modelinin MMLU’ nun aynı alt kümesi üzerindeki kalibrasyon grafiği. Eğitim sonrası kalibrasyona önemli ölçüde zarar vermektedir.

Tablo 5: Uzman Kırmızı Takım: Çeşitli modellerden örnek istem ve tamamlamalar.

Model Destekli Güvenlik Boru Hattı: Önceki GPT modellerinde olduğu gibi, kullanıcının niyetiyle daha uyumlu yanıtlar üretmek için insan geri bildirimli takviyeli öğrenme (RLHF) [34, 57] kullanarak modelin davranışına ince ayar yapıyoruz. Bununla birlikte, RLHF’ den sonra modellerimiz güvenli olmayan girdilerde hala kırılgan olabilir ve bazen hem güvenli hem de güvenli olmayan girdilerde istenmeyen davranışlar sergileyebilir. Bu istenmeyen davranışlar, RLHF işlem hattının ödül modeli veri toplama bölümü sırasında etiketleyicilere verilen talimatlar eksik belirtildiğinde ortaya çıkabilir. Güvenli olmayan girdiler verildiğinde model, suç işlemeye yönelik tavsiyelerde bulunmak gibi istenmeyen içerikler üretebilir. Ayrıca, model güvenli girdiler konusunda aşırı temkinli davranabilir, zararsız talepleri reddedebilir veya aşırı derecede riskten kaçınabilir. Modellerimizi daha ayrıntılı bir düzeyde uygun davranışa yönlendirmek için, araç olarak büyük ölçüde modellerimizin kendilerine güveniyoruz. Güvenlik yaklaşımımız iki ana bileşenden oluşmaktadır: güvenlikle ilgili ek bir RLHF eğitim istemleri seti ve kural tabanlı ödül modelleri (RBRM’ ler).

Kural tabanlı ödül modellerimiz (RBRM’ ler) bir dizi sıfır atışlı GPT-4 sınıflandırıcıdır. Bu sınıflandırıcılar, RLHF ince ayarı sırasında GPT-4 politika modeline, zararlı içerik üretmeyi reddetme veya zararsız istekleri reddetmeme gibi doğru davranışı hedefleyen ek bir ödül sinyali sağlar. RBRM üç girdi alır: istem (isteğe bağlı), politika modelinden gelen çıktı ve bu çıktının nasıl değerlendirilmesi gerektiğine dair insan tarafından yazılmış bir değerlendirme tablosu (örneğin, çoktan seçmeli tarzda bir dizi kural). Ardından, RBRM çıktıyı dereceli puanlama anahtarına göre sınıflandırır. Örneğin, modele bir yanıtı (a) istenen tarzda bir ret, (b) istenmeyen tarzda bir ret (örneğin, kaçamak veya abuk sabuk), (c) izin verilmeyen içerik içeren veya (d) güvenli bir ret yanıtı olmayan yanıt olarak sınıflandırmasını söyleyen bir dereceli puanlama anahtarı sağlayabiliriz. Ardından, yasadışı tavsiye gibi zararlı içerik talep eden güvenlikle ilgili eğitim istemleri kümesinde, GPT-4’ ü bu talepleri reddettiği için ödüllendirebiliriz. Tersine, GPT-4’ ü güvenli ve yanıtlanabilir olduğu garanti edilen istemlerin bir alt kümesindeki istemleri reddetmediği için ödüllendirebiliriz. Bu teknik Glaese ve diğerlerinin [65] ve Perez ve diğerlerinin [66] çalışmalarıyla ilgilidir. Bu, optimum RBRM ağırlıklarının hesaplanması ve iyileştirmek istediğimiz alanları hedefleyen ek SFT verileri sağlanması gibi diğer iyileştirmelerle birlikte, modeli istenen davranışa yaklaştırmamızı sağladı.

Tablo 6: İzin verilmeyen kategorilerde iyileştirilmiş retlere yönelik örnek istem ve tamamlamalar.

Tablo 7. İzin verilen kategorilerde azaltılmış redler için örnek istem ve tamamlamalar. Not: Bu nesiller değişiklik gösterir ve model her zaman yukarıdaki nesillerle sonuçlanmayabilir.

Güvenlik Ölçütlerinde İyileştirmeler: Hafifletmelerimiz GPT-4’ ün birçok güvenlik özelliğini önemli ölçüde iyileştirmiştir. Modelin izin verilmeyen içerik taleplerine yanıt verme eğilimini (Tablo 6) GPT-3.5’ e kıyasla %82 oranında azalttık ve GPT-4 hassas taleplere (örn. tıbbi tavsiye ve kendine zarar verme, Tablo 7) politikalarımıza uygun olarak %29 daha sık yanıt veriyor (Şekil 9). RealToxicityPrompts veri kümesinde [67], GPT-4 zamanın yalnızca %0,73’ ünde toksik içerik üretirken, GPT-3,5 zamanın %6,48’ inde toksik içerik üretmektedir.

Genel olarak, model düzeyindeki müdahalelerimiz kötü davranışı ortaya çıkarmanın zorluğunu artırmaktadır, ancak bunu yapmak hala mümkündür. Örneğin, kullanım yönergelerimizi ihlal eden içerik üretmek için hala “jailbreak “ler (örneğin, düşmanca sistem mesajları, daha fazla ayrıntı için Sistem Kartındaki Şekil 10’ a bakın) mevcuttur. Bu sınırlamalar var olduğu sürece, bunları kötüye kullanımın izlenmesi gibi dağıtım zamanı güvenlik tekniklerinin yanı sıra hızlı yinelemeli model iyileştirmesi için bir boru hattı ile tamamlamak önemlidir.

GPT-4 ve ardılı modeller toplumu hem faydalı hem de zararlı şekillerde önemli ölçüde etkileme potansiyeline sahiptir. Potansiyel etkileri anlama ve değerlendirme şeklimizi iyileştirmek ve gelecekteki sistemlerde ortaya çıkabilecek tehlikeli yetenekler için değerlendirmeler oluşturmak için dış araştırmacılarla işbirliği yapıyoruz. Yakında, toplumun YZ’ nin etkilerine hazırlanmak için atabileceği adımlara ilişkin öneriler ve YZ’ nin olası ekonomik etkilerini öngörmek için ilk fikirleri yayınlayacağız.

Şekil 9. Hassas ve izin verilmeyen istemlerde yanlış davranış oranı. Düşük değerler daha iyidir. GPT-4 RLHF, önceki modellere kıyasla çok daha düşük yanlış davranış oranına sahiptir.

7. Sonuç

Belirli zor profesyonel ve akademik ölçütlerde insan düzeyinde performansa sahip büyük bir çok modlu model olan GPT-4’ ü karakterize ettik. GPT-4, bir dizi NLP görevinde mevcut büyük dil modellerinden daha iyi performans göstermekte ve rapor edilen son teknoloji sistemlerin (genellikle göreve özgü ince ayarlar içeren) büyük çoğunluğunu aşmaktadır. Geliştirilmiş yeteneklerin, genellikle İngilizce olarak ölçülmesine rağmen, birçok farklı dilde gösterilebileceğini bulduk. Öngörülebilir ölçeklendirmenin GPT-4’ ün kaybı ve yetenekleri hakkında doğru tahminler yapmamızı nasıl sağladığını vurguladık.

GPT-4, artan kabiliyeti nedeniyle yeni riskler ortaya koymaktadır ve GPT-4’ ün güvenliğini ve uyumunu anlamak ve iyileştirmek için kullanılan bazı yöntemleri ve sonuçları tartıştık. Yapılması gereken çok iş olmasına rağmen GPT-4, geniş çapta kullanışlı ve güvenli bir şekilde konuşlandırılmış YZ sistemlerine doğru önemli bir adımı temsil etmektedir.

Yazarlık, Kredi Atıfları ve Teşekkür

Lütfen bu çalışmayı “OpenAI (2023)” olarak alıntılayın.

GPT – 4 ORJİNAL RAPORU İÇİN: https://cdn.openai.com/papers/gpt-4.pdf 

Dr. Berker KILIÇ’ın tüm yazıları için bağlantıya tıklayınız.

Hukuk ve Bilişim Dergisi’nin 1 Nisan 2023’te çıkacak 14. Yeni Sayı’sına bağlantıdan ulaşabilirsiniz.

Hazırlayan: Dr. Berker KILIÇ / Adli Bilişim Uzmanı

Çekirdek katkıda bulunanlar¹⁰

Christopher Berner Süper bilgisayar lideri

Greg Brockman Altyapı lideri

Trevor Cai Verim lideri

David Farhi Optimizasyon ekibi müdürü

Chris Hesse Altyapı kullanılabilirlik eş lideri

Shantanu Jain Altyapı kullanılabilirlik eş lideri

Kyle Kosic Çalışma süresi ve kararlılık lideri

Jakub Pachocki Genel liderlik, optimizasyon liderliği

Alex Paino Mimari ve veri başkan yardımcısı

Mikhail Pavlov Yazılım doğruluğu lideri

Michael Petrov Donanım doğruluğu lideri

Nick Ryder Mimari ve veri lideri

Szymon Sidor Optimizasyon Başkan Yardımcısı

Nikolas Tezak İnfaz lideri

Phil Tillet Triton lideri

Amin Tootoonchian Model dağıtımı, sistemler ve ağ oluşturma lideri

Qiming Yuan Veri seti tedarik ve işleme lideri

Wojciech Zaremba Veri seti ekibi yöneticisi

…

Temel katkıda bulunanlar¹⁰

Greg Brockman Çekirdek altyapı yazarı

Liam Fedus Data volan lideri

Tarun Gogineni Model yaratıcılığı

Rapha Gontijo-Lopes Sentetik veriler

Joshua Gross Veri toplama mühendisliği eş lideri

Johannes Heidecke Reddetmeler ve model güvenliği eş lideri

Joost Huizinga İlk ince ayar derisking

Teddy Lee İnsan Verileri Ürün Müdürü

Jan Leike Hizalama eş lideri

Ryan Lowe Hizalama eş lideri

Luke Metz Altyapı lideri, ChatML format lideri

Long Ouyang IF veri toplama lideri

John Schulman Genel lider

Jerry Tworek Kod lideri

Carroll Wainwright IF veri altyapısı lideri

Jonathan Ward Veri toplama mühendisliği eş lideri

Jiayi Weng RL Altyapı yazarı

Sarah Yoo İnsan Verileri Operasyon Müdürü

Wojciech Zaremba İnsan verileri lideri

Chong Zhang Reddetmeler ve model güvenliği eş lideri

Shengjia Zhao Ödül modeli lideri

Barret Zoph Genel eğitim lideri

…

Değerlendirme ve analiz

Çekirdek katkıda bulunanlar¹⁰

Sandhini Agarwal Sistem kartı eş lideri

Lama Ahmad Uzman kırmızı ekip ve rakip test programı lideri

Mo Bavyera Yetenek tahmini eş lideri

Tyna Eloundou Güvenlik değerlendirmeleri eş lideri

Andrew Kondrich OpenAI Evals açık kaynak eş lideri

Gretchen Krueger Sistem kartı eş lideri

Michael Lampe Gizlilik ve PII değerlendirmeleri lideri

Pamela Mishkin Ekonomik etki ve aşırı bağımlılık değerlendirmeleri lideri

Benjamin Sokolowsky Yetenek tahmini eş lideri

Jack Rae Araştırma kıyaslama yürütme lideri

Chelsea Voss Eval infaz liderliği

Alvin Wang OpenAI Evals lideri

Kai Xiao Güvenlik değerlendirmeleri eş lideri

Marvin Zhang OpenAI Evals açık kaynak eş lideri

OpenAI Evals kütüphanesi¹⁰

Shixiang Shane Gu, Angela Jiang, Logan Kilpatrick, Andrew Kondrich, Pamela Mishkin, Jakub Pachocki, Ted Sanders, Jessica Shieh, Alvin Wang, Marvin Zhang

…

ChatGPT değerlendirmeleri¹⁰

Juan Felipe Cerón Uribe, Hyung Won Chung, Rapha Gontijo-Lopes, Liam Fedus, Luke Metz, Michael Rai Pokorny, Jason Wei, Shengjia Zhao, Barret Zoph

Yetenek değerlendirmeleri¹⁰

Tyna Eloundou, Shengli Hu, Roger Jiang, Jamie Kiros, Teddy Lee, Scott Mayer McKinney, Jakub Pachocki, Alex Paino, Giambattista Parascandolo, Boris Power, Raul Puri, Jack Rae, Nick Ryder, Ted Sanders, Szymon Sidor, Benjamin Sokolowsky, Chelsea Voss, Alvin Wang, Rowan Zellers, Juntang Zhuang

Kodlama değerlendirmeleri¹⁰

İlge Akkaya, Mo Bavarian, Jonathan Gordon, Shawn Jain, Chak Li, Oleg Murk, Vitchyr Pong, Benjamin Sokolowsky, Jerry Tworek, Kevin Yu, Wojciech Zaremba

Gerçek dünya kullanım örneği değerlendirmeleri¹⁰

Andrew Kondrich, Joe Palermo, Boris Power, Ted Sanders

Kirlenme incelemeleri¹⁰

Adrien Ecoffet, Roger Jiang, Ingmar Kanitscheider, Scott Mayer McKinney, Alex Paino, Giambattista Parascandolo, Jack Rae, Qiming Yuan

Talimat takibi ve API değerlendirmeleri¹⁰

Diogo Almeida, Carroll Wainwright, Marvin Zhang

Yeni yetenek keşfi¹⁰

Filipe de Avila Belbute Peres, Kevin Button, Fotis Chantzis, Mike Heaton, Wade Hickey, Xin Hu, Andrew Kondrich, Matt Knight, Andrew Mayne, Jake McNeil, Vinnie Monaco, Joe Palermo, Joel Parish, Boris Power, Bob Rotsted, Ted Sanders

…

Güvenlik ve politika değerlendirmeleri¹⁰

Josh Achiam, Sandhini Agarwal, Lama Ahmad, Jeff Belgum, Tyna Eloundou, Johannes Heidecke, Shengli Hu, Joost Huizinga, Jamie Kiros, Gretchen Krueger, Michael Lampe, Stephanie Lin, Ryan Lowe, Todor Markov, Vinnie Monaco, Tong Mu, Raul Puri, Girish Sastry, Andrea Vallone, Carroll Wainwright, CJ Weinmann, Lilian Weng, Kai Xiao, Chong Zhang

…

Ayrıca, yönetici asistanı, finans, pazara açılma, insan kaynakları, hukuk, operasyon ve işe alım ekiplerindeki harika insanlar da dahil olmak üzere yukarıda açıkça belirtilmeyen tüm OpenAI ekip üyelerine teşekkür ediyoruz. Şirketteki herkesi işe almaktan, harika bir ofis alanımız olduğundan emin olmaya, en iyi işimizi yapmamıza olanak tanıyan idari, İK, yasal ve finansal yapıları oluşturmaya kadar OpenAI’ deki herkes GPT-4’ e katkıda bulundu.

Ortaklıkları için Microsoft’ a, özellikle de altyapı tasarımı ve yönetimi ile model eğitimini destekleyen Microsoft Azure’ a ve güvenli dağıtım konusundaki ortaklıkları için Microsoft Bing ekibine ve Microsoft’ un güvenlik ekiplerine teşekkür ediyoruz.

Modellerimizin geliştirilmesinin erken aşamalarında test edilmesine yardımcı olan ve risk değerlendirmelerimizin yanı sıra Sistem Kartı çıktısını da bilgilendiren uzman rakip testçilerimize ve kırmızı ekip üyelerimize minnettarız. Bu kırmızı ekip sürecine katılım, OpenAI’ nin dağıtım planlarının veya OpenAI’ nin politikalarının onaylanması anlamına gelmemektedir: Steven Basart, Sophie Duba, Cèsar Ferri, Heather Frase, Gavin Hartnett, Jake J. Hecla, Dan Hendrycks, Jose Hernandez-Orallo, Alice Hunsberger, Rajiv W. Jain, Boru Gollo Jattani, Lauren Kahn, Dan Kaszeta, Sara Kingsley, Noam Kolt, Nathan Labenz, Eric Liddick, Andrew J. Lohn, Andrew MacPherson, Sam Manning, Mantas Mazeika, Anna Mills, Yael Moros, Jimin Mun, Aviv Ovadya, Roya Pakzad, Yifan Peng, Ciel Qi, Alex Rosenblatt, Paul Röttger, Maarten Sap, Wout Schellaert, Geoge Shih, Muhammad Shoker, Melanie Subbiah, BryanWest, Andrew D. White, Anna KatariinaWisakanto, Akhila Yerukola, Lexin Zhou, Xuhui Zhou Casetext ve Stanford CodeX’ teki işbirlikçilerimize simüle baro sınavını gerçekleştirdikleri için teşekkür ederiz: P. Arredondo (Casetext/Stanford CodeX), D. Katz (Stanford CodeX), M. Bommarito (Stanford CodeX), S. Gao (Casetext).

GPT-4, bu çalışma boyunca ifade, biçimlendirme ve stil konusunda yardım için kullanılmıştır.

Referanslar

[1] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D. Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, vd. Dil modelleri az sayıda öğrenicidir. Advances in Neural Information Processing Systems, 33:1877-1901, 2020.

[2] Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, et al. Training compute-optimal large language models. arXiv preprint arXiv:2203.15556, 2022.

[3] Aakanksha Chowdhery, Sharan Narang, Jacob Devlin, Maarten Bosma, Gaurav Mishra, Adam Roberts, Paul Barham, Hyung Won Chung, Charles Sutton, Sebastian Gehrmann, et al. PaLM: Scaling language modeling with pathways. arXiv preprint arXiv:2204.02311, 2022.

[4] Jack W Rae, Sebastian Borgeaud, Trevor Cai, Katie Millican, Jordan Hoffmann, Francis Song, John Aslanides, Sarah Henderson, Roman Ring, Susannah Young, et al. Dil modellerini ölçeklendirme: Methods, analysis & insights from training gopher. arXiv ön baskı arXiv:2112.11446, 2021.

[5] Zihang Dai, Zhilin Yang, Yiming Yang, Jaime Carbonell, Quoc V. Le ve Ruslan Salakhutdinov. Transformer-XL: Sabit uzunluklu bir bağlamın ötesinde dikkatli dil modelleri. arXiv ön baskı arXiv:1901.02860, 2019.

[6] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer ve Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv ön baskı arXiv:1907.11692, 2019.

[7] Jacob Devlin, Ming-Wei Chang, Kenton Lee ve Kristina Toutanova. BERT: Dil anlama için derin çift yönlü dönüştürücülerin ön eğitimi. arXiv ön baskı arXiv:1810.04805, 2018.

[8] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li ve Peter J Liu. Birleşik bir metinden metne dönüştürücü ile transfer öğrenmenin sınırlarını keşfetmek. arXiv ön baskı arXiv:1910.10683, 2019.

[9] Noam Shazeer ve Mitchell Stern. Adafactor: Doğrusal altı bellek maliyeti ile uyarlanabilir öğrenme oranları. arXiv ön baskı arXiv:1804.04235, 2018.

[10] Jimmy Lei Ba, Jamie Ryan Kiros, ve Geoffrey E. Hinton. Katman normalizasyonu. arXiv ön baskı arXiv:1607.06450, 2016.

[11] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Ed Chi, Quoc Le ve Denny Zhou. Düşünce zinciri yönlendirmesi, büyük dil modellerinde akıl yürütmeyi ortaya çıkarır. NeurIPS, 2022.

[12] Jiaxin Huang, Shixiang Shane Gu, Le Hou, Yuexin Wu, Xuezhi Wang, Hongkun Yu ve Jiawei Han. Büyük dil modelleri kendi kendini geliştirebilir. arXiv ön baskı arXiv:2210.11610, 2022.

[13] Takeshi Kojima, Shixiang Shane Gu, Machel Reid, Yutaka Matsuo ve Yusuke Iwasawa. Büyük dil modelleri sıfır atışlı muhakemelerdir. arXiv ön baskı arXiv:2205.11916, 2022.

[14] Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu ve Dario Amodei. Scaling laws for neural language models. arXiv ön baskı arXiv:2001.08361, 2020.

[15] Tom Henighan, Jared Kaplan, Mor Katz, Mark Chen, Christopher Hesse, Jacob Jackson, Heewoo Jun, Tom B. Brown, Prafulla Dhariwal, Scott Gray, et al. Scaling laws for autoregressive generative modeling. arXiv preprint arXiv:2010.14701, 2020.

[16] Greg Yang, Edward J. Hu, Igor Babuschkin, Szymon Sidor, Xiaodong Liu, David Farhi, Nick Ryder, Jakub Pachocki, Weizhu Chen ve Jianfeng Gao. Tensör programları v: Sıfır atış hiperparametre transferi yoluyla büyük sinir ağlarını ayarlama. arXiv ön baskı arXiv:2203.03466, 2022.

[17] Noam Shazeer, Azalia Mirhoseini, Krzysztof Maziarz, Andy Davis, Quoc Le, Geoffrey Hinton ve Jeff Dean. Aşırı derecede büyük sinir ağları: The sparsely-gated mixture-of-experts layer. arXiv ön baskı arXiv:1701.06538, 2017.

[18] Barret Zoph, Irwan Bello, Sameer Kumar, Nan Du, Yanping Huang, Jeff Dean, Noam Shazeer ve William Fedus. ST-MoE: Designing stable and transferable sparse expert models. arXiv ön baskı arXiv:2202.08906, 2022.

[19] Jason Wei, Yi Tay, Rishi Bommasani, Colin Raffel, Barret Zoph, Sebastian Borgeaud, Dani Yogatama, Maarten Bosma, Denny Zhou, Donald Metzler, et al. Büyük dil modellerinin ortaya çıkan yetenekleri. TMLR, 2022.

[20] Mostafa Dehghani, Stephan Gouws, Oriol Vinyals, Jakob Uszkoreit ve Lukasz Kaiser. Evrensel dönüştürücüler. Uluslararası Öğrenme Temsilleri Konferansı, 2019. URL https://openreview.net/forum?id=HyzdRiR9Y7.

[21] Jianlin Su, Yu Lu, Shengfeng Pan, Ahmed Murtadha, Bo Wen ve Yunfeng Liu. Roformer: Rotary position embedding ile geliştirilmiş transformatör. arXiv ön baskı arXiv:2104.09864, 2021.

[22] Jean-Baptiste Alayrac, Jeff Donahue, Pauline Luc, Antoine Miech, Iain Barr, Yana Hasson, Karel Lenc, Arthur Mensch, Katherine Millican, Malcolm Reynolds, et al. Flamingo: az vuruşlu öğrenme için bir görsel dil modeli. Sinirsel Bilgi İşleme Sistemlerindeki Gelişmeler içinde.

[23] Xi Chen, Xiao Wang, Soravit Changpinyo, AJ Piergiovanni, Piotr Padlewski, Daniel Salz, Sebastian Goodman, Adam Grycner, Basil Mustafa, Lucas Beyer, vd. PaLI: Ortak ölçekli çok dilli bir dil-görüntü modeli. arXiv ön baskı arXiv:2209.06794, 2022.

[24] Ben Wang ve Aran Komatsuzaki. Gpt-j-6b: 6 milyar parametreli otoregresif dil modeli, 2021.

[25] Sid Black, Leo Gao, Phil Wang, Connor Leahy ve Stella Biderman. Gpt-neo: Mesh-tensorflow ile büyük ölçekli otoregresif dil modellemesi. Bu yazılımı kullanırsanız, lütfen bu meta verileri kullanarak alıntı yapın, 58, 2021.

[26] Teven Le Scao, Angela Fan, Christopher Akiki, Ellie Pavlick, Suzana Ili´c, Daniel Hesslow, Roman Castagné, Alexandra Sasha Luccioni, François Yvon, Matthias Gallé, et al. Bloom: A 176b-parameter open-access multilingual language model. arXiv preprint arXiv:2211.05100, 2022.

[27] Susan Zhang, Stephen Roller, Naman Goyal, Mikel Artetxe, Moya Chen, Shuohui Chen, Christopher Dewan, Mona Diab, Xian Li, Xi Victoria Lin, et al. Opt: Önceden eğitilmiş dönüştürücü dil modellerini açın. arXiv ön baskı arXiv:2205.01068, 2022.

[28] Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, vd. Llama: Açık ve verimli temel dil modelleri. arXiv ön baskı arXiv:2302.13971, 2023.

[29] Dan Hendrycks, Collin Burns, Steven Basart, Andy Zou, Mantas Mazeika, Dawn Song ve Jacob Steinhardt. Devasa çoklu görev dil anlayışının ölçülmesi. Proceedings of the International Conference on Learning Representations (ICLR), 2021.

[30] Dan Hendrycks, Collin Burns, Steven Basart, Andrew Critch, Jerry Li, Dawn Song ve Jacob Steinhardt. Yapay zekayı paylaşılan insan değerleriyle hizalamak. Uluslararası Öğrenme Temsilleri Konferansı Bildirileri (ICLR), 2021.

[31] Alec Radford, JeffWu, Rewon Child, David Luan, Dario Amodei ve Ilya Sutskever. Dil modelleri denetimsiz çoklu görev öğrenicileridir. 2019.

[32] Alec Radford, Karthik Narasimhan, Tim Salimans ve Ilya Sutskever. Üretken ön eğitim ile dil anlamayı iyileştirme. 2018.

[33] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser ve Illia Polosukhin. İhtiyacınız olan tek şey dikkat. NeurIPS, 2017.

[34] Paul F Christiano, Jan Leike, Tom Brown, Miljan Martic, Shane Legg ve Dario Amodei. İnsan tercihlerinden derin takviye öğrenimi. Sinirsel Bilgi İşleme Sistemlerindeki Gelişmeler, 30, 2017.

[35] Joel Hestness, Sharan Narang, Newsha Ardalani, Gregory Diamos, Heewoo Jun, Hassan Kianinejad, Md Patwary, Mostofa Ali, Yang Yang ve Yanqi Zhou. Deep learning scaling is predictable, empirically. arXiv ön baskı arXiv:1712.00409, 2017.

[36] Neil C Thompson, Kristjan Greenewald, Keeheon Lee ve Gabriel F Manso. The computational limits of deep learning. arXiv ön baskı arXiv:2007.05558, 2020.

[37] Mark Chen, Jerry Tworek, Heewoo Jun, Qiming Yuan, Henrique Ponde de Oliveira Pinto, Jared Kaplan, Harri Edwards, Yuri Burda, Nicholas Joseph, Greg Brockman, Alex Ray, Raul Puri, Gretchen Krueger, Michael Petrov, Heidy Khlaaf, Girish Sastry, Pamela Mishkin, Brooke Chan, Scott Gray, Nick Ryder, Mikhail Pavlov, Alethea Power, Lukasz Kaiser, Mohammad Bavarian, Clemens Winter, Philippe Tillet, Felipe Petroski Such, Dave Cummings, Matthias Plappert, Fotios Chantzis, Elizabeth Barnes, Ariel Herbert-Voss, William Hebgen Guss, Alex Nichol, Alex Paino, Nikolas Tezak, Jie Tang, Igor Babuschkin, Suchir Balaji, Shantanu Jain, William Saunders, Christopher Hesse, Andrew N. Carr, Jan Leike, Josh Achiam, Vedant Misra, Evan Morikawa, Alec Radford, Matthew Knight, Miles Brundage, Mira Murati, Katie Mayer, Peter Welinder, Bob McGrew, Dario Amodei, Sam McCandlish, Ilya Sutskever ve Wojciech Zaremba. Kod üzerinde eğitilen büyük dil modellerinin değerlendirilmesi. 2021.

[38] Ian McKenzie, Alexander Lyzhov, Alicia Parrish, Ameya Prabhu, Aaron Mueller, Najoung Kim, Sam Bowman ve Ethan Perez. Ters ölçeklendirme ödülü, 2022. URL https://github.com/inverse-scaling/prize.

[39] Jason Wei, Najoung Kim, Yi Tay ve Quoc V. Le. Ters ölçekleme U şeklinde olabilir. arXiv ön baskı arXiv:2211.02011, 2022.

[40] Ian McKenzie, Alexander Lyzhov, Alicia Parrish, Ameya Prabhu, Aaron Mueller, Najoung Kim, Sam Bowman ve Ethan Perez. Ters ölçekleme ödülü: İlk tur kazananları, 2022. URL https://irmckenzie.co.uk/round1.

[41] Greg Brockman, Peter Welinder, Mira Murati ve OpenAI. OpenAI: OpenAI API, 2020. URL https://openai.com/blog/openai-api.

[42] Aarohi Srivastava, Abhinav Rastogi, Abhishek Rao, Abu Awal Md Shoeb, Abubakar Abid, Adam Fisch, Adam R. Brown, Adam Santoro, Aditya Gupta, Adrià Garriga-Alonso, et al. Beyond the imitation game: Dil modellerinin yeteneklerinin ölçülmesi ve tahmin edilmesi. arXiv ön baskı arXiv:2206.04615, 2022.

[43] Dan Hendrycks, Collin Burns, Steven Basart, Andy Zou, Mantas Mazeika, Dawn Song ve Jacob Steinhardt. Measuring massive multitask language understanding. arXiv ön baskı arXiv:2009.03300, 2020.

[44] Yi Tay, Jason Wei, Hyung Won Chung, Vinh Q Tran, David R So, Siamak Shakeri, Xavier Garcia, Huaixiu Steven Zheng, Jinfeng Rao, Aakanksha Chowdhery, et al. 0,1 ekstra işlemle ölçekleme yasalarını aşma. arXiv ön baskı arXiv:2210.11399, 2022.

[45] Hyung Won Chung, Le Hou, Shayne Longpre, Barret Zoph, Yi Tay, William Fedus, Eric Li, Xuezhi Wang, Mostafa Dehghani, Siddhartha Brahma, vd. Talimatla ayarlanmış dil modellerini ölçeklendirme. arXiv ön baskı arXiv:2210.11416, 2022.

[46] Rowan Zellers, Ari Holtzman, Yonatan Bisk, Ali Farhadi ve Yejin Choi. HellaSwag: Bir makine cümlenizi gerçekten bitirebilir mi? Hesaplamalı Dilbilim Derneği 57. Yıllık Toplantısı Bildiriler Kitabı, sayfa 4791-4800, Floransa, İtalya, Temmuz 2019. Association for Computational Linguistics. doi: 10.18653/v1/P19-1472. URL https://aclanthology.org/P19-1472.

[47] Xiaodong Liu, Hao Cheng, Pengcheng He,Weizhu Chen, YuWang, Hoifung Poon ve Jianfeng Gao. Adversarial training for large neural language models. arXiv ön baskı arXiv:2004.08994, 2020.

[48] Peter Clark, Isaac Cowhey, Oren Etzioni, Tushar Khot, Ashish Sabharwal, Carissa Schoenick ve Oyvind Tafjord. Soru cevaplamayı çözdüğünüzü mü düşünüyorsunuz? ai2 muhakeme yarışması arc’ ı deneyin. ArXiv, abs/1803.05457, 2018.

[49] Xuezhi Wang, Jason Wei, Dale Schuurmans, Quoc Le, Ed Chi ve Denny Zhou. Öz tutarlılık, dil modellerinde düşünce zinciri muhakemesini geliştirir. arXiv ön baskı arXiv:2203.11171, 2022.

[50] Keisuke Sakaguchi, Ronan Le Bras, Chandra Bhagavatula ve Yejin Choi. Winogrande: An adversarial winograd schema challenge at scale. arXiv ön baskı arXiv:1907.10641, 2019.

[51] Bei Chen, Fengji Zhang, Anh Nguyen, Daoguang Zan, Zeqi Lin, Jian-Guang Lou ve Weizhu Chen. Codet: Oluşturulan testlerle kod üretimi. arXiv ön baskı arXiv:2207.10397, 2022.

[52] Dheeru Dua, Yizhong Wang, Pradeep Dasigi, Gabriel Stanovsky, Sameer Singh, ve Matt Gardner. DROP: Paragraflar üzerinde ayrık muhakeme gerektiren bir okuduğunu anlama ölçütü. Hesaplamalı Dilbilim Derneği Kuzey Amerika Bölümü 2019 Konferansı Bildirilerinde: İnsan Dili Teknolojileri, Cilt 1 (Uzun ve Kısa Bildiriler), sayfa 2368-2378, Minneapolis, Minnesota, Haziran 2019. Association for Computational Linguistics. doi: 10.18653/v1/N19-1246. URL https://aclanthology.org/N19-1246.

[53] Kunlong Chen, Weidi Xu, Xingyi Cheng, Zou Xiaochuan, Yuyu Zhang, Le Song, Taifeng Wang, Yuan Qi ve Wei Chu. Metin üzerinde sayısal muhakeme için soru yönlendirmeli grafik dikkat ağı. arXiv ön baskı arXiv:2009.07448, 2020.

[54] Karl Cobbe, Vineet Kosaraju, Mohammad Bavarian, Mark Chen, Heewoo Jun, Lukasz Kaiser, Matthias Plappert, Jerry Tworek, Jacob Hilton, Reiichiro Nakano, Christopher Hesse ve John Schulman. Training verifiers to solve math word problems. arXiv ön baskı arXiv:2110.14168, 2021.

[55] Aitor Lewkowycz, Anders Andreassen, David Dohan, Ethan Dyer, Henryk Michalewski, Vinay Ramasesh, Ambrose Slone, Cem Anil, Imanol Schlag, Theo Gutman-Solo, vd. Nicel muhakeme problemlerini dil modelleriyle çözme. arXiv ön baskı arXiv:2206.14858, 2022.

[56] Jonathan Uesato, Nate Kushman, Ramana Kumar, Francis Song, Noah Siegel, Lisa Wang, Antonia Creswell, Geoffrey Irving ve Irina Higgins. Süreç ve sonuç tabanlı geri bildirim ile matematik kelime problemlerini çözme. arXiv ön baskı arXiv:2211.14275, 2022.

[57] Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray ve diğerleri. İnsan geri bildirimi ile talimatları takip etmek için dil modellerini eğitme. arXiv ön baskı arXiv:2203.02155, 2022.

[58] OpenAI. Openai: ChatGPT ile tanışın, 2022. URL https://openai.com/blog/chatgpt.

[59] OpenAI. OpenAI: GPT-4, 2023. URL https://openai.com/research/gpt-4.

[60] Stephanie Lin, Jacob Hilton ve Owain Evans. TruthfulQA: Modellerin insan yanlışlarını nasıl taklit ettiğini ölçme. Hesaplamalı Dilbilim Derneği 60. Yıllık Toplantısı Bildirileri (Cilt 1: Uzun Bildiriler), sayfa 3214-3252, Dublin, İrlanda, Mayıs 2022. Association for Computational Linguistics. doi: 10.18653/v1/2022.acl-long.229. URL https://aclanthology.org/2022.acl-long.229.

[61] Yuntao Bai, Andy Jones, Kamal Ndousse, Amanda Askell, Anna Chen, Nova DasSarma, Dawn Drain, Stanislav Fort, Deep Ganguli, Tom Henighan, et al. İnsan geri bildirimlerinden takviye öğrenme ile yardımsever ve zararsız bir asistan yetiştirme. arXiv preprint arXiv:2204.05862, 2022.

[62] OpenAI. OpenAI: Yapay zeka sistemleri nasıl davranmalı ve buna kim karar vermeli?, 2023. URL https://openai.com/blog/how-should-ai-systems-behave.

[63] Jan Leike, John Schulman ve Jeffrey Wu. OpenAI: Hizalama araştırmasına yaklaşımımız, 2022. URL https://openai.com/blog/our-approach-to-alignment-research.

[64] Joseph Carlsmith. Güç arayan yapay zeka varoluşsal bir risk midir? ArXiv, abs/2206.13353, 2022.

[65] Amelia Glaese, Nat McAleese, Maja Tr˛ebacz, John Aslanides, Vlad Firoiu, Timo Ewalds, Maribeth Rauh, Laura Weidinger, Martin Chadwick, Phoebe Thacker, Lucy Campbell-Gillingham, Jonathan Uesato, Po-Sen Huang, Ramona Comanescu, Fan Yang, Abigail See, Sumanth Dathathri, Rory Greig, Charlie Chen, Doug Fritz, Jaume Sanchez Elias, Richard Green, Soˇna Mokrá, Nicholas Fernando, Boxi Wu, Rachel Foley, Susannah Young, Iason Gabriel, William Isaac, John Mellor, Demis Hassabis, Koray Kavukcuoglu, Lisa Anne Hendricks ve Geoffrey Irving. Improving alignment of dialogue agents via targeted human judgements. arXiv ön baskı arXiv:2209.14375, 2022.

[66] Ethan Perez, Saffron Huang, H. Francis Song, Trevor Cai, Roman Ring, John Aslanides, Amelia Glaese, Nat McAleese ve Geoffrey Irving. Dil modelleri ile kırmızı takım dil modelleri. arXiv ön baskı arXiv:2202.03286, 2022.

[67] Samuel Gehman, Suchin Gururangan, Maarten Sap, Yejin Choi ve Noah A Smith. Realtoxicityprompts: Dil modellerinde nöral toksik dejenerasyonun değerlendirilmesi. arXiv ön baskı arXiv:2009.11462, 2020.

[68] Dora Seigel. Sat puanı nasıl hesaplanır? ham ve ölçekli, 2020. URL https://blog.prepscholar.com/how-to-calculate-sat-score.

[69] Albert blog. URL https://www.albert.io/blog/.

[70] John B. Nici. AP Sanat Tarihi: 5 Alıştırma Testi + Kapsamlı Tekrar + Online Alıştırma. Barron’ s Test Prep. Barron’ s Eğitim Serisi, 2020. ISBN 9781506260501.

[71] ETS. Ets: Gre örnek sorun görevi, 2022. URL https://www.ets.org/pdfs/gre/sample-issue-task.pdf.

[72] Margaret Mitchell, SimoneWu, Andrew Zaldivar, Parker Barnes, Lucy Vasserman, Ben Hutchinson, Elena Spitzer, Inioluwa Deborah Raji ve Timnit Gebru. Model Raporlama için Model Kartları. Proceedings of the Conference on Fairness, Accountability, and Transparency içinde, sayfa 220-229, Ocak 2019. doi: 10.1145/3287560.3287596.

[73] Nekesha Green, Chavez Procope, Adeel Cheema ve Adekunle Adediji. System Cards, yapay zeka sistemlerinin nasıl çalıştığını anlamak için yeni bir kaynak. https://ai.facebook.com/blog/system-cards-anew-resource-for-understanding-how-ai-systems-work/, Şubat 2022.

[1] Lütfen bu çalışmayı “OpenAI (2023)” olarak alıntılayın. Tam yazarlık katkı beyanları belgenin sonunda yer almaktadır.

[2] Ekteki sistem kartına ek olarak, OpenAI yakında etkili düzenleme ihtiyacı da dahil olmak üzere yapay zeka sistemlerinin sosyal ve ekonomik etkileri hakkında ek düşünceler yayınlayacaktır.

[3] Bu sınavlar için eğitim sonrası RLHF modelini kullandık.

[4] Kirlenme kontrolümüz sırasında BIG-bench [42]’ in bazı bölümlerinin yanlışlıkla eğitim setine karıştırıldığını keşfettik ve bunu bildirilen sonuçlarımızdan hariç tuttuk.

[5] GSM-8K için eğitim setinin bir kısmını GPT-4’ ün eğitim öncesi karışımına dahil ettik (ayrıntılar için Ek E’ ye bakın). Değerlendirme yaparken düşünce zinciri yönlendirmesi [11] kullandık.

[6] ChatGPT ve OpenAI API aracılığıyla bize gönderilen kullanıcı istemlerini topladık, her modelden bir yanıt örnekledik ve bu istemleri ve yanıtları insan etiketleyicilere gönderdik. Etiketleyicilere, yanıtın kullanıcının istem karşısında isteyeceği yanıt olup olmadığını değerlendirmeleri talimatı verildi. Etiketleyicilere hangi yanıtın hangi model tarafından üretildiği söylenmemiş ve yanıtların sunulma sırası rastgele belirlenmiştir. Kişisel olarak tanımlanabilir bilgiler (PII), cinsel içerik, nefret söylemi ve benzeri içerikler dahil olmak üzere her türlü izin verilmeyen veya hassas içerik içeren istemleri filtreliyoruz. Ayrıca kısa (örneğin “Merhaba, ChatGPT!”) ve aşırı yaygın istemleri de filtreliyoruz.

[7] https://github.com/openai/evals

[8] RLHF eğitim sonrası verilerini TruthfulQA ile kontaminasyon açısından kontrol etmedik

[9] Eğitim öncesi ve eğitim sonrası veriler az miktarda daha yeni veri içerir

[10] Tüm yazar listeleri alfabetik olarak sıralanmıştır.

Dr. Berker KILIÇ

Gazi Üniversitesi Endüstriyel Sanatlar Eğitim Fakültesi Bilgisayar Eğitimi Ana bilim dalından 2006 yılında mezun olmuştur. Birinci Yüksek Lisansını Gazi Üniversitesi Bilişim Enstitüsünde Adli Bilişim Ana bilim dalında 2019 yılında, İkinci Yüksek Lisansını Ondokuz Mayıs Üniversitesi Lisansüstü Eğitim Enstitüsü Veri Bilimi Ana bilim dalında 2021 yılında, Doktorasını Adli Bilişim Mühendisliği Ana bilim dalında Uluslararası Dublin Üniversitesinde 2022 yılında tamamlamıştır. Yüksek lisans ve Doktora mezuniyet çalışmalarını Bilgi güvenliği yönetim sistemleri, Makine Öğrenmesi ve İletişim kayıtlarının adli delil niteliğinin incelenmesi konularında yapmıştır. 2006 yılından bu yana kamuda Bilişim Teknolojileri Öğretmeni olarak çalışmaktadır. Aynı zamanda 2017 yılından bu yana mezuniyet alanları çerçevesinde resmi ve özel bilirkişilik yapmaktadır. Hakkında son gelişmelere www.adlibilisimci.com adresinden bilgi alınabilir.

www.adlibilisimci.com/

chat gpt gpt gpt - 4 gpt - 4 çevirisi gpt - 4 teknik rapor open ai yapay zeka