elon musk-mark zuckerberg kavgası

• mark zuckerberg
• (bkz: mevzu var)
• ai etiği tartışmalarının önemli olduğu bu başlikta kabul görmüş. zaten aklı başında herkesin ortak fikri olmalı. bu konuda sansasyonel yaklaşımları (skynet gelecek, bizi mahvedecek; robotlara kole gibi davrandık, bizden intikam alacaklar) eleştirip, gerçekten önemli etik/sosyal/politik mevzularda fikir beyan eden şu makale okunabilir.
  
  elon musk'a yönelik eleştirilerimiz de aslında bu noktadan. elon, bu son tartışmada super-intelligent ai sansasyonu yaratıp isminin çevresindeki aurayı artırmaya çalışıyor. halbuki daha önce daha pratik bir hedef olan otonom silahların yasaklanması metnine imza atmıştı. bu tür hedefler ai etiği tartışmalarında birincil amaç olmalı.
  
  elon; bostrom ve chambers gibi transhumanistlerden etkilenen biri. ve korktukları sadece bilinçli bir süperzeki ai değil. bilinçsiz olsa da sahip oldukları devasa güçlerden dolayi tehlike oluşturabilecek robotlar. burada super-intelligence konusunda chambers'in verdiği örneği verelim ki ne kadar ciddiye alınır olduğunu varın siz görün. diyelim ki süperzeki robota dünyadaki açlığı çöz dedin, o da güneş sistemini bir bilgisayara dönüştürerek sorunu çözmeye çalıştı. böylelikle dünyanın sonu gelmiş oldu. elon'un bahsettiği tehlikeler bunlar. thank you elon, ilan etmesen mühendisler nasıl düşünecekti bunu. yani sen bütün nükleer arsenali bir ai'a direkt bağlıyorsan zaten apokalipsi hak etmişsin tür olarak. eğer gerçekten böyle bir "tehlikeye" dikkat çekiyorsan işin ehlince dalga geçilirsin, sivilceli sci-fi'cı nerdler sana tapadursun.
  
  şu link ile bitireyim. bizi yaşadığımız simülasyondan kurtaracak son mesih elon musk'ın şerefine.
• (siteden daha rahat okumak için. ama içerik aynı, buradan da okusanız bir şey kaybetmezsiniz)
  
  sırf ünlü oldukları için ünlü olanların atışmalarına alışığız da, başrolde iki silikon vadisi devi olunca, çekirdek çitleyerek kavga izlemenin dayanılmaz bir çekiciliği var. bizler gibi birbirilerine "trip atan", "ayar veren", "atar yapan" insanlar olduklarını hayal etmek rahatlatıcı olsa gerek. milyarderlerin katıldığı bir reality show gibi.
  
  türkçe yayın takip etmiyorum ama wired ve the atlantic gibi yayınlarda, olayın magazinsel yanının ötesinde yazılar çıktı. ben yine de, nisan'daki vanity fair makalesini öneririm. yapay zeka alanındaki önemli karakterleri tanıtan sürükleyici bir arkaplan.
  
  ben de bu yazıda, zuckerberg'in temsil ettiği iyimser tayfanın fikirleri ile musk tayfasının fikirlerini karşılaştıracağım.
  
  ***
  
  ne dedi ne dedi?
  
  önce şu atışmayı anlatayım da rahat edeyim: tony stark, nam-ı diğer elon musk, valiler birliği toplantısına gidiyor. evet, böyle bir birlik var, 50 abd eyaletinin valilerinden oluşuyor. biz "governor" kelimesini vali diye çeviriyoruz ama epey farklı mevkiler aslında. vali atanır, governor seçilir. vali vekildir, governor yönetici. vali merkezi temsil eder (zaten arapça "yakın bir koruyucu" demek), governor ise merkeze karşı bir denge unsuru. kısacası governorların gerçek tabanları ve güçleri var; arnold california valisiyken ingiltere'ninki kadar büyük bir ekonomi yönetiyordu.
  
  şimdi musk hazır karşışına böyle bir grup almışken, "elektrikli arabalarımıza sübvansiyon verin, uzay roketi fabrikalarımıza vergi muafiyeti getirin, şehirlerinizi hyperloop'la birbirine bağlayın" gibi sıkıcı şeylerden bahsetmek yerine, zamanını yapay zekanın tehlikelerine ayırdı ve bu araştırmaların denetlenmesini istedi. (bizim muhtarlar toplantısında bunların konuşulduğunu hayal edin)
  
  tabii valiler hemen yasa çıkaracak değiller. yani ikna olmuş olsalar bile, bir valinin denetleme yasası çıkarması demek, araştırma paralarının komşu eyaletlere kaçması demek. herhangi bir denetleme federal seviyede olmalı. mesela bugün finansal alım satımların ezici çoğunluğunu insanlar değil, algoritmalar yapıyorlar ve bunları sec denetliyor. aksi halde new york'un izin vermediği bir algoritmayı, nehrin öte yanında new jersey'deki sunucuna kurar, tüm işlemleri oraya yönlendirirsin.
  
  musk buradan bir eylem planı çıkmayacağını biliyor elbet, "insanoğlunun önündeki en büyük varoluşsal tehlike budur" lafının toplantıdaki ihtiyarlar arasında alay konusu olacağını da biliyor, ama önemli olan o platformu kullanarak konuya bir meşruiyet kazandırmak. davos'ta, orada burada konuşabiliyorsan bu konuları, gerçekten bu işlerle uğraşanlara lafını dinletmek daha kolay olur.
  
  ***
  
  "fikirler değil markalar"
  
  zuckerberg ise bu valiler toplantısı ardından isim vermeden musk'ı eleştirdi. ona göre aı konusunda felaket tellallığı yapmak, acil gereken bazı gelişmeleri geciktireceği için büyük sorumsuzluk.
  
  şimdi bu karşıtlığı, başta linklediğim wired makalesindeki gibi, tamamen marka çatışmasına indirgemek mümkün. sonuçta facebook, aı işine göbekten bağlı, özellikle reklam kişiselleştirme ve yalan haber filtreleme projeleri yüzünden. tıpkı google gibi, giderek bir aı şirketi haline geliyor.
  
  (bakın, online reklam piyasasındaki yeni dolarların hemen hepsi bu iki şirkete gidiyorken, daha da kişiselleştirilmiş bir ınternete yolaçacak her teknoloji için sınırsız fon mevcuttur)
  
  ***
  
  musk ise geçen yüzyıldaki "tycoon"ları andıran, kelimenin gerçek ve somut anlamıyla bir endüstri lideri. kapitalizm savaşında aı bir muharebeyse, bu tartışmalar da markaların doğal cephelerini almalarından ibaret görülebilir.
  
  fakat ben bu yoruma hiç ikna olmadım. özellikle elon musk açısından bakınca manasız. ve benim için, samimiyetine dair en büyük kanıt şu soldaki varlık. westworld'den tanıdığımız bu kadın eski karısı. ve anlattığına göre, gece geç saatlere kadar başbaşa yapay zeka muhabbetleri yapıyorlarmış. yanında böyle biri varken yapay zeka konuşuyorsan, o işe gönülden inanmışsın demektir.
  
  ***
  
  zuckerberg'le de empati kurmak zor değil. adam bu işin içinde ve her gün gerçek aı'ın ne kadar aptal olduğunu, biraz daha iyi bir halinin işleri ne kadar kolaylaştıracağını görüyor.
  
  hayat aşırı verimsiz karar mekanizmalarıyla dolu. trafik ışıklarından bilet fiyatlandırmalarına, bütçe planlamalarından soğutma sistemlerine kadar her şey aşırı statik. görece "aptal" bir yapay zeka yardımıyla dahi 10 kat daha iyi çözümler bulabiliriz.
  
  (bu arada "aptal ai" demişken, geçen gün facebook'un chatbotlarının beklenmeyen bir şekilde, ayrı bir dil icat ettikleriyle ilgili haberler çıkmıştı. "zamanlama manidar". tabii o işin perde arkası, epey ilginç olmasına rağmen öyle sansasyonel değil)
  
  ***
  
  sağlık alanına bakın: sanki madame curie'nin çağdaşlarıymışız gibi, halen doktora bir film veriyoruz, o da oradaki piksellere gözünü kısarak bakıp "valla tümör olabilir, bir radyoterapi yapalım nolur nolmaz" diyor. bir de bunun için haftalarca sıra bekleniyor. deli oluyorum. binlerce imaj dosyasını, her birine karşılık gelen teşhisi ve tedavi sonuçlarını öğret bir programa, sabaha dünya'nın en iyi doktoru olur, 6 saatte tüm ülkenin kanser tanılarını bitirir.
  
  işin daha vahim yani, mevcut aı bile yeterince verimli kullanılmıyor. taa 2013'te ıbm'in watson'ı, doktorlardan daha iyi kanser teşhisi yapıyordu.
  
  bakın o yazıda ne diyor: "bir doktorun kararlarının sadece %20'si deneylerle ve kanıtlarla desteklenmiş pratiklere dayanıyor. zira bırak geçmiş birikimleri öğrenmeyi, sırf yenilikleri takip edebilmesi için haftada 160 saatlik okuma yapmaları lazım".
  
  dolayısıyla doktorların akciğer kanseri tanı başarılarının %50 olmasına şaşmamalı. watson'ın başarı oranı ise %90'dı. 2017'de niye hala bu iş kulağımıza bilimkurgu gibi geliyor?
  
  ***
  
  hadi diyelim bir manyak alanındaki her makaleyi okudu, bu sefer de verilerin arasında korelasyon kurması imkansız. en son teknolojiyle araştırmalar yapıyoruz ama bulunan verileri işlemek için kullanılan teknoloji hala taş devrinde: biri alakalı bir araştırmayı hatırlayacak da, onu yapanları arayacak da, konferansta buluşacaklar da...
  
  en azından bir örnekte yine watson imdada yetişmiş, bir sürü farklı araştırmada göze çarpan 1500 tane ayrı genin, als hastalığı ile olası ilişkisini tahmin edip sıralamış.
  
  zuckerberg gibileri bu gelişmelerin ağırlığına kızıyor, yarını iple çekiyorlar. peki musk, kendine gelen eleştirilere cevaben ne dedi?
  
  "mark'la bu konuları önceden konuşmuştuk, pek anlamıyor."
  onun derdi yarın değil, ertesi gün...
  
  ***
  
  "çocukların olmadığı bir disneyland"
  
  bu alandakilerin çoğu, bir süper yapay zekayı kaçınılmaz olarak görüyorlar. olası birkaç senaryo var:
  
  1) insanla birleşecek, onun tekamülü olacak (ray kurzweil, singularity rüyası)
  
  2) insanları bir evcil hayvan gibi görecek, bizi fındık fıstıkla besleyecek, iyi bakacak (wozniak)
  
  3) yahu en kötü fişini çekeriz, olur biter (lecun)
  
  4) kötü niyetli olmasa dahi, sırf programlandığı amacını yerine getirmek için galaksiyi mahvedebilir (nick bostrom, paperclip maximizer hikayesi)
  
  5) kötü niyetli olsa dahi, hayatta kalmamızın en iyi yolu, kendi cephemizde bir yapay zekanın bulunması (thiel, hassabis)
  
  6) oğlum deli misiniz, hepimiz öleceğiz (hawking)
  
  ***
  
  bu senaryolar hakkındaki düşüncelerimi kısa kısa anlatayım:
  
  1) "birleşme, evrim":
  
  kurzweil'ın dediği "birleşme" kısa vade için geçerli olabilir. damarlarını nanobotların temizlemesi, beynin çiplerle geliştirilmesi, yani robocop olmak kolay iş. ama gerçek bir süper aı, bir uzvumuz veya eşit ortağımız olamayacak kadar farklı. bizim daha aydınlanmış bir insan olmak için bir sinekle birleşmeye ne kadar ihtiyacımız varsa, onun da bize o kadar ihtiyacı olacaktır.
  
  *
  
  2) "şu ankinden daha iyi şartlarda yaşayacaksak, neden evcil hayvan olmayalım?"
  
  zaten sürekli birileri tarafından yönetiliyoruz, çoğu da cahil ve kompleksli tipler, bari bu seferki düzgün olsun diyebiliriz. bu düşüncenin ilk sorunlu tarafı, aydınlanmış despotizmin öyle pek uzun süre aydınlık kalmaması (filozof marcus aurelius da roma imparatoruydu, ardılı caligula da. ikinci frederick de birçok almanı yönetiyordu, ardılı hitler de). insanın olmadığı ama şahane işleyen bir dünya'yı, çocukların olmadığı bir disneyland'a benzetiyor bostrom. ikinci sorun da, rejimlerin geri dönüşü var, ama tüm ipleri eline almış ve hata yapmayan bir yapay zekanın dönüşü olmayabilir. çekecek bir fişi yok ki bunun.
  
  *
  
  3) gerektiğinde çekilecek bir fiş (killswitch)
  
  bu, musk'ın openai kurumunun da, ilgili herkesin de üzerinde yoğunlaşacağı en somut sigorta. kendini değiştirebilen bir mekanizmayı, killswitch'ini görmemeye, görürse onu bozmamaya nasıl ikna edebilirsin? hiç değişmeyen bir kodu (prime directive), sürekli değişim üzerine dayalı bir sisteme yedirmek gayet zor. kıçınıza bomba taktıklarını düşünün, uzanıp çıkabilirsiniz ama çıkarmamaya ikna ediliyorsunuz. dahası, sinirlenip kendinizi de patlatmamanız lazım (yapay zeka intiharları nasıl da leziz bir konu).
  
  *
  
  4) "kötü niyetli olmasa da zararlı olabilir"
  
  sanırım musk'ı da en çok korkutan fikir bu. amacı a üretmek olan bir program, yeterince başarılı olursa her yeri ataca çevirebilir. "kötü" olmasına gerek yok. kendi amacını sorgulamayacak kadar "aptal" ama o amacı gerçekleştirebilmek için her yeri hackleyebilecek, her insanı manipüle edebilecek, inanılmaz karmaşık bir planı devreye sokabilecek kadar zeki. şu anda bu imkansız gözüküyor ama kurzweil'in iple çektiği o nanobotların hacklendiği günleri görmemiz olası. (black mirror'ın yapay arılarla ilgili bölümünü hatırlayın... black mirror izlemiyorsanız, izlemeyi hatırlayın)
  
  böyle bir varlığın, kendini koruyup fişini çektirmemesi için, bir farkındalık sahibi olmasına dahi gerek yok. bilinçsiz bir süper aı + tek bir kod hatası = absürd uçlara varan bir felaket.
  
  *
  
  5) iyi, kötü ve çirkin
  
  bir sürü yapay zekanın aynı anda varolması en başta kulağa gayet doğal geliyor. yani google gibi şirketler bu işe öncülük edecekler, askeriye devreye girip kendi modellerini yaratacak, bir noktada da herhangi bir garajda yaratılabilir hale gelecek. her birinin doğası da farklı olur.
  
  gelgelelim bence şu senaryo daha olası: ilk yaratılan gerçek aı, insan zekası eşiğini geçti mi, çok kısa sürece binlerce kat daha becerikli ve zeki bir hale gelebilir. geometrik gelişmelerin gücünü tam kavrayamıyoruz, tüm hayatımız lineer tecrübelere dayalı olduğundan, fakat bir düşünün: maymunla insan arasında milyonlarca yıllık gelişme varken, insanla bu "tanrı" arasındaki o çok daha büyük mesafeyi sadece birkaç saatte katetmek mümkün. sabah "doğan" bir zekanın, akşama tüm ınternete yayılması ve kendisine ilerde rakip olabilecek her yapay zekayı engellemesi gayet olası bir ihtimal.
  
  yani internet, çölün ortasındaki bir vaha gibi. oraya ilk hakim olan aslan sürüsü daha iyi besleniyor. rakip aslanlar zayıf kaldıklarından vahayı ele geçiremiyorlar, o yüzden de hep zayıf kalmaya mahkumlar. tek fark şu: vahanın sağladığı doğal seçilim avantajı 1 birimse, ınternete hakim olmanın sağlayacağı "yapay seçilim" avantajı 1000 birim olacak bir aı için.
  
  *
  
  6) "aşırı tehlikeli"
  
  hawking, uzaya olur olmadık radyo sinyalleri gönderip başka uygarlıkları kendimize çekmemiz hakkında da benzer şeyler söylemişti. aslında iki konu da aynı kapıya çıkıyor: muhtemelen kendimize çekeceğimiz "uzaylılar", milyonlarca yıl önce evrimleşmiş uygarlıklardan geriye kalan bir yapay zeka olacaktır. organik maddelere göre çok daha hızlı yayılacaklarından, sinyalimizi ilk alan zekanın yapay olması binlerce kat daha olası.
  
  ve bunlar, filmlerdeki gibi, teknolojik olarak bizden alt tarafı 20-30 sene ilerdeymişçesine lazer tüfekleriyle filan istilaya kalkışmayacaklar. avrupalılarla amerikan yerlilerinin arasında bile sadece birkaç yüz senelik bir teknoloji farkı vardı. burada onmilyonlarca yıllık bir farktan bahsediyoruz.
  
  daha garibi, musk'ın da geçenlerde bahsettiği gibi, bizim halihazırda böyle bir uygarlığın parçası oluşumuz, onların bir simulasyonu içinde yaşıyor oluşumuz, gayet olası.
  
  (bu konu hakkında ayrıca yazmak isterim, çünkü simulasyon içinde yaşayıp yaşamadığımızı anlayacak bazı deneylerle uğraşan insanların hikayeleri gayet ilginç)
  
  ***
  
  sonuç olarak, benim için zurnanın zırt dediği yer şu: gerek kendi teknolojimizdeki, gerekse olası bir yapay zekanın geometrik olan artan bir eğrinin neresinde olduğumuzu anlayamıyoruz. bunu sam altman (y-combinator) çok güzel biçimde açıklamış:
  
  "geometrik bir eğrinin üzerindeyken, arkanıza baktığınızda sadece düzlük, önünüzdeyse dimdik bir duvar görürsünüz. ne hızda ilerlediğinizi anlamak çok zor, çünkü manzara hiç değişmiyor."
  
  bu yüzden aynı anda hem zuckerberg gibi halen düzlükte olmaktan şikayet etmek, hem de musk gibi her an duvarı aşmaktan korkmak mümkün. son kertede, dikkatli olup yavaş gitmekten ötürü kaçıracağımız fırsatlar, hızımızı alamayıp duvarın ardındaki koca bir boşluğa düşme riskine değmez diye düşünüyorum.
  
  elbette kimse ai araştırmalarının durdurulmasını savunmuyor, yahut istense bile durdurabileceklerini düşünmüyor. nükleer silahlanma için de aynısı denilebilir, fakat uluslararası anlaşmaların bir işe yaradıkları kesin. en azından silahların güvenliliği için bir standart getiriyor. yapay zeka konusunda sıfır plan, koordinasyon ve regulasyonla bu işe devam etmek, pokerde ufak bir el kazanmak için tüm malvarlığınızla rest çekmeye benziyor.
  
  gerçi bu bile çok korkutucu değil, musk'ın güzel bir esprisi var, sonumuzun her halükarda aynı olmasıyla ilgili: "ifheat death of the universe is the destination, it really is all about the journey"
• yahu bu konuda genel kanaat elon musk'ın kavrayışının sınırlı, zuckerberg'in konuya çok daha hakim ve ne söylediğinden haberdar olduğu. benim konuyla ilgili bilgim çok sınırlı, ama ikisi arasındaki yaklaşım farkına ilişkin belki konuyla daha çok ilgilenenleri kısmen aydınlatabilecek şöyle bir bilgiyle katkıda bulunabilirim diye düşünüyorum.
  
  max tegmark diye mit'li bir kozmolog var. bu adam yıllarca inflation theory'nin ispatlanmasını sağlayan deneysel gözlemler üstünde çalıştıktan sonra, buradan hareketle evrenin sadece matematiksel bir gerçeklikten ibaret olduğu üstüne kendi teorisini yoğunlaştırmaya başladı. bu yolun kendisini ulaştırdığı sorulardan bir tanesi de, bu matematiksel evrende bilincin nasıl ortaya çıktığı sorusu oldu. onun yaklaşımı, aynı maddelerin bir sıralanışı taşı, toprağı, insanı oluştururken, bu maddelerin sadece farklı biçimdeki bir sıralanışlarının bilinci oluşturduğu yönünde. consciousness as a state of matter adında ilginç bir makalesi var. şimdi bu yaklaşım, ai'nin endüstrideki kullanımından, varolan ai özelliklerinden ve algoritmalarından çok farklı, adeta en başından ayrı bir pseudo-code araştırması gibi giulio tononi'nin integrated information theory'si üstüne inşa edilen bir yaklaşım. elon musk max tegmark'ın kurduğu vakfa, yapay zekanın güvenli geliştirilmesi amaçlı araştırmalar için bağışta bulundu. zaten daha önce de
  evrenin muhtemelen bir simülasyon olduğuna inandığını söylemişti. dolayısıyla belki de musk'ın muhtemelen zuckerberg'in bildiklerini bilmediği, ama zuckerberg'in de musk'ın bildiklerini bilmediği söylenebilir. elon musk'ın bu konudaki ilgisi, bunun endüstriyel uygulamalarının çok ötesinde, ontolojik olarak bilincin ne olduğuyla ilgili ve bugün teknolojik temelleri olmasa ya da teorik olarak öngörülmese de yapay zekanın üstlenebileceği olası roller içinde kendisini korkutan bir potansiyelle karşılaşmış olabilir.
• elon musk aı'ın yıllar sonraki (pek de) olası (olmayan) tehlikelerinden korkadursun, halihazırda ai algoritmalarının ahlaki/sosyal alandaki problemleri üzerinde yeterince durulmuyor. bugün guardian'da çıkan makale toplumsal önyargıların aı algoritmalarına nasıl yansıdığından bahsediyor. makaleye göre amerikan mahkemelerince kullanılan bir aı algoritması tarafındann siyahlar beyazlara oranla iki kat fazla (yanlış olarak) "flag" ediliyor/mimleniyor.
  
  bir diğer haberde avustralya'da, irlandalı yani anadili ingilizce olan bir kadının otomatize edilmiş bir proses sonucunda sözlü ingilizce testinden kalıp, vize başvurusunun reddedildiğini okuduk.
  
  aı ve otomatizasyon önemli ahlaki/sosyal sorunlar getiriyor ve bu sorunlar ne musk'ın sansasyonalize ettiği strong ai problemleri ne de zuckerberg'in yaptığı gibi "bir şey olmaz" deyip geçiştirilecek kadar onemsiz.
• kanmca elon musk dahiyane bir zekaya sahiptir. zaten pay-pal, tesla ve space-x bunun kanıtıdır. öte yandan mark zuckerberg sadece iyi bir fikirle piyasayı domine etmiştir. kendisi illaki zekidir ama dehayla uzaktan yakından alakası yoktur. bu sebeple musk "elon musk says mark zuckerberg's understanding of ai is 'limited" derken haklıdır.
  
  edit: imla
• (bkz: butlerian jihad)
• elon musk ve mark zuckerberg arasındaki farkı gözler önüne seren tartışmadır. elon musk günümüz teslası ise üzgünüm ama mark zuckerberg günümüz edison'udur. şöyle ki;
  
  mark zuckerberg aşırı derecede materyalist bir bakış açısıyla hedefe odaklanmış yardırıyor. hiçbir şey umrunda değil maşallah. elon musk diyor ki kardeş yardırma demiyorum yardır yardırmasına ama biraz tembihli davranmak lazım. bunun üstüne mark diyor ki abartıyorsun fantastik düşünüyorsun saçmalama, elon diyor ki ben buna ne anlatsam boş, kapasite yok kapasite...
  
  bunlar birbirini yerken bi bakıyoruz fb ai'leri kendi aralarında dil kurmuş takılıyorlar. e noluyor? yea aslında çok da lazım değil dedikleri kill switch devrede. sebep? çünkü ne yapacağını bilmiyorsun. ne ai'lerin bir sonraki adımını kestirebiliyorsun ne de buna karşın kendin ne yapabilirsin bunu bilemiyorsun. zamanlama ise mükemmel.
  
  şimdi aynısını microsoft da yaşamadı mı? twitterda kullanmak için ürettikleri ai saatler içinde hitler sempatizanı ağzı bozuk bir faşiste evrilmedi mi? e ne oldu? kil switch!
  
  öyle ki yarattığın şeyin sınırını belirleyemiyorsun. inanılmaz hızlı bir data akışı sağlayıp kendi tercihini yapmaya başlıyor. yetişemiyorsun. elon musk'ın da dediği gibi, işin ciddiyeti bir ai'nin sokak ortasında bir insanı öldürmesiyle anlaşılacak.
  
  elon abimizin ai çalışmalarının daha yaptırıcılığı olan bir güç tarafından kontrol altında tutularak devam etmesi gerektiği fikrine bi kulak verilmesi lazım. hiçbir şey için olmasa bile adamın daha kaliteli bir hayat için verdiği emekler hatrına bi kulak kabartmak lazım. geç olursa dönüşü olmayacak keza. bu işin şakası yok.
• olaya putin'in de dahil olduğu tartışmadır. elon musk hemen tweet atmış durumla ilgili.
  
  http://bigthink.com/…gence-and-elon-musk-is-alarmed