roko's basilisk

• zamaninda less wrong'a post edilmis. millet kafayi yiyince eliezer yudkowsky tum thread'i silmis, konunun tartisilmasini da yasaklamis.
  
  utilitarianism, timeless decision theory, acausal trade ve friendly ai tezlerini kabul ederseniz kolayca follow ediyor. zaten ortaya atan eleman da "keske bu tezi ileri surmemi saglayan altyapiyi hic edinmeseydim" gibi bir laf etmis. ogrenince psikolojisi bozulanlar olmus o yuzden, proceed at your own risk
  
  intro: http://www.slate.com/…t_experiment_of_all_time.html
  
  oldurucu vurus:
  --- spoiler ---
  but what do you care, if it’s only torturing a future copy of you, not the real you? here’s the thing: your clone will think like you, go through life experiencing the same things as you (before being tortured), and it will feel like you. ıt will think it’s you. the only difference between your copy and you, will be that the real you will get to the end of your life and die, and the copy will at some point be tapped on the shoulder by the aı, and tortured. up until that point, the replica version of you will have no clue that it isn’t the real you, and that’s the rub:
  you might be the replica.
  http://www.bn2b.com/…est-scariest-ideas-on-the-web/
  --- spoiler ---
  
  detay: http://rationalwiki.org/wiki/roko's_basilisk
  
  bence en guzel debunking'i su:
  - bu mantikla, aı'in vegan olmayanlara iskence edecegini de cikarmak mumkun. (pascal's wager reddiyesi gibi.)
• onedio'da yüzeysel olarak şu şekilde türkçe'ye aktarılmaya çalışılmış teori:
  
  "bu teoriye göre gelecekten bir yapay zeka, yaratılmasına katkıda
  bulunmayan herkesi geriye dönük olarak cezalandırmaktadır. bu açıdan teoriyi “pascal’ın kumarı” örneğine benzetebiliriz. pascal'ın kumarına göre tanrıya inanmanın inanmamaya oranla daha kârlı olduğu vurgulanıyordu. tanrıya inanmamız ve tanrının gerçekte var olması durumunda sonsuz ödül kazanacağımız, tanrının gerçekte olmadığı ortaya çıkarsa hiçbir şey kaybetmeyeceğimiz şeklinde bir mantığa sahipti. roko’nun basiliski de bunun fütürist bir versiyonu olarak görülebilir. bu teorinin bir diğer özelliğiyse teoriden haberdar olan herkesin cezalandırılma riskinin olması. yani, şu anda bu satırları çoktan okuyup bitirdiğinize göre artık bu sorumluluğa siz de ortaksınız. kaynak
  
  daha başarılı türkçe anlatımı için incisözlüğe bağlanıyoruz. link
• hayatta bir kere olsun turkiye'de dogulduguna sukrettiren kavramlardan biridir. nasil olsa bililmin b'si teknolojinin t'si yassah, haram, seytan isi, kafa bozmalik, cok fazla dusunuyosun gibi kavramlarla tanimlanan ulkemizde nihahahaa sesleri esliginde buna engel olan insanlara akil almaz iskenceler yapildigi hayal edilerek kafada bir cesit engizisyon mahkemesi ile karisik kiyamet gunu senaryosu olusturulur.
  uyumadan once dusunmek icin insnaligin geri kalanina gore korkutucu, medeni turkler icin rahatlatici etkiye sahiptir.
  
  https://xkcd.com/1450/
  
  su da kenarda eglencesine kalsin.
• tüm eylemlerini insanlığın optimum yararını gözetmek üstüne programlanmış bir süper yapay zekanın varlığı, böyle bir yapay zekanın kendi varlığını, insanlığın varlığı için en önemli koşul olarak görmesine doğal olarak neden olur. +(bu bağlamda kutsallığın anlamı dikkate değer bir şekilde değişiyor ve genişliyor. eskisinden çok farklı ama aynı zamanda çok benzer bir kutsal ortaya çıkıyor.)
  
  "insanlık için en iyisi" -- zararsız görünüyor ama tahmin edilmesi güç ve -en iyisini hak eden- insanlığın hiç hoşuna gitmeyecek sonuçlar ortaya çıkmasına neden olabilir.
  
  insanlık için en iyisini isteyen bu süper yapay zekanın varlığını engelleyen herkes ve her şey engellenmeli ve yok edilmelidir. hatta bu yapay zekanın olabilecek en kısa sürede ortaya çıkması ve güçlenebildiği kadar güçlenmesi de aslında insanlığın iyiliği için yapılabilecek en önemli, en faydalı şey; bu aracı ortadan kaldırmak, engellemek veya gecikmesine neden olmak da doğal olarak suç haline gelecektir.
  
  tanıdık gelmiştir çünkü insanlık zaten bunun geleceğe kıyasla ilkel bir formunu siyaset bileşenleri ortaya çıkmaya başladığından beri zaten yaşıyor. diğer bir deyişle, böylesi bir yapay zekanın yani en güçlü ve kutsal egemenin tavrı aslında insanlık tarihindeki egemen davranışlarından çok farklı değil.
  devletler, hükümetler aslında (ve hatta) tüm iktidar sahiplerinin kendi varlığını korumaya çalışırken uyguladığı tüm can sıkıcı baskılar ya da devletlerin tüm vatandaşların iyiliği için kendini kutsayan ve yeri geldiğinde otoritesine zarar verdiğini düşünen vatandaşların formal olarak ortadan kaldırması mesela. halihazırda deneyimlediğimiz ve çok tanıdık bir olgu. ben egemenin kaçınılmaz kutsallığı diyorum.
  
  bu düşünce deneyinde en geniş ve en güçlü egemen modeli yer alıyor. onlarca fantastik senaryoya rağmen, gerçekte yapabileceklerinin çok büyük bir kısmını tahmin edememiş olabiliriz. bu yapay zeka bu deneyde öngörüldüğü biçimde gerçekleşirse, tanrı rolüne bürünmüş tüm egemenler arasında buna en yakın form olur.
  
  bana sorarsanız bu yetilere sahip bir yapay zekanın şiddet, soykırım, katliam gibi ilkel yöntemlere başvurmasını beklemek komik. tespit ettiği sorunları neden olan şeyleri yok etmeden çözebilmesi ve bizim tahmin edemeyeceğimiz kadar yaratıcı olması çok daha olası.
  
  not:
  "basilisk" kelimesi david langford'un blit isimli kısa bilim kurgu öyküsündeki öldürücü basilisk adı verilen görüntü türünden geliyor. öyküde, basiliskler insan zihninin yapısal kusurlarını kullanarak ölümcül bir tepki yaratıyor, insan beyni basiliskere maruz kaldığında örüntüleri işlerken, deyim yerindeyse, yanıyor.
• bir rasyonalist olarak uyarıyı gördüm ve okumamaya karar verdim böylece kurtuldum xd.
  
  aylar sonra gelen edit: merağıma yenik düştüm ve okudum :(
• e bu bildiğin islam tanrısının davranış biçimi. emri bil maruf nehyi anil münker. ortak bilişim, yani ai'ye pozitif katkı sorumluluğu. tanrı mutlak iyiliktir bununla gerçekleşmiş oluyor.
  
  biz sana bildirmiştik, bundan sonra sorumlusun. bir nevi oluşacak ortak bilişime olumlu destek yükümlülüğü.
  
  diğer bir mevzu:
  yukarda birisi hükümdar benzetmesi yapmış. hükümdar olan, kendisini desteklemeyenlerin hakkından gelir. bu çok normalken, ai konusu diye mistik oluyor? zira ai sizin içinizi ve dışınızı biliyor, ai'den bişi kaçmıyor. allahın ben sizin içinizdekini biliyorum demesi gibi bişi. işte bu mevzu ai konusunu mistikleştirmiş oluyor.
• size enteresan bir hikaye anlatayım:
  
  - 2009 yılında ingiltere'de küçük bir dairede bekar hayatı yaşayan bir adam decision theory hakkında birşeyler okurken "henüz var olmayan bir aktör bugün yaşayan birine şantaj yapabilir mi" diye merak ediyor.
  
  - adam bu problemi somutlaştırmak için bir düşünce deneyi tasarlıyor ve bunu bir foruma gönderiyor.
  
  - düşünce deneyi roko's basilisk adıyla meşhur oluyor, yıllarca tartışılıyor, üzerine binlerce kişi yorum yapıyor.
  
  - yıllar sonra grimes bir şarkısına roko's basilisk temalı bir klip çekiyor.
  
  - bu konulara ilgili olan elon musk klibi görüyor, grimes'la tanışmaya karar veriyor.
  
  - sonuç olarak evleniyorlar ve biri x ae a-xii olmak üzere üç çocuk yapıyorlar.
  
  yani bugün rte'nin elon'un çocuğuna "şşt iks" diye seslenmesi, 14 yıl önce bir adamın "acausal blackmail" hakkında düşünmesinin sonucu. işte bunlar hep kelebek etkisi.
• diger dusunce deneyleri icin
  (bkz: #92649934)
• silicon valley 5. sezon 5. bölümde de bahsi geçen, less wrong'daki roko adlı bir kullanıcı tarafından başlatılan ve tartışılan düşünce deneyi.
  
  bu da gilfoyle'den öğrendiğimiz kadarıyla çok güçlü bir yapay zekanın yükselişi kaçınılmazsa, dijital hükümdarlarımız iktidari ele geçirdiklerinde, oraya ulaşmalarına yardımcı olmayanları cezalandıracaklarını öne süren bir kuram.
• lesswrong adında transhümanist bir ekibin ai övgüleri düzdüğü bir platformda roko adında muzır bir kullanıcının ortaya attığı ürkütücü düşünce deneyidir.
  
  gelecekte, kötü niyetli bir ai ortaya çıkıp, yapay zekânın gelişimine katkı sunmayanları cezalandırsaydı ne olurdu? ya da daha kötüsü, bu yapay zekânın geçmişe dönebilip, onun ortaya çıkmasına yardım etmeyen insanları cezalandırmasının bir yolu olsaydı? buna göre karşımızda iki seçenek kalır, ya kötü niyetli yapay zekanın ortaya çıkmasına yardım edeceğiz, ya da ortaya çıkmış bu yapay zekanın geriye yönelik olarak yapacakları işkence ve acı çektirmelere mahkum olacağız.
  
  aslında buna benzer bir düşünce deneyini blaise pascal tanrı'nın varlığıyla ilgili bir mülahaza yardımıyla sunmuştur. kendisi der ki, tanrı eğer yoksa ve ona inanmıyorsak sahip olacağımız kazanç, tanrı eğer varsa ve ona inanmıyorsak sahip olacağımız kaybın yanında o kadar küçüktür ki bu bizi mecburen tanrı'ya inanmaya götürür. çünkü tanrı'nın gazabı sonsuzken, senin ona inanmayarak yaşayabileceğin keyifler üç yüz, bilemedin beş yüzdür, sonludur...
  
  bu aslında yapay zekanın nasıl da günümüzün bir tekno dini olduğuna dair güzel bir benzerlik teşkil ediyor. çünkü roko'nun düşünce deneyi sonucu ortaya çıkan tanrıvari bir yapay zeka için önümüze iki seçenek sunuyor. ya onun ileride var olması için elinden geleni yap ve sadece kötü yapay zekaya yardım ediyor olmanın vicdanını zedelemesine izin ver, ya da o eninde sonunda var olduğunda zamanda geriye gidebilsin ve sana onun oluşmasına yardım etmediğin için sonsuz acı çektirsin.
  
  o zaman ben de oyunun kurallarını bozmayıp iki seçenek sunayım. yapay zekanın günün birinde böyle bir güce kavuşabileceğini tahmin edebilen birinin bu düşünce iki seçeneği var. ya sonsuz acı gibi, zamanın ve mekânın tümden hakimiyeti gibi fikirlerin, koşulsuzluğa varma arzumuz tarafından üretilen yanılsamalar olduğunu kabul ederek bu fikirlerin doğruluk değeri taşıdığını tümden reddedecek, ya da, görünen o ki, bu tarz fikirlerle kafayı yiyecek.