big data

• alan wilkis tarafından öncülük edilen paranoid müzik projesi.
  
  örnek bir müzik ve klip
  
  web sitesi
• (bkz: apache flink)
  
  edit: garip bir kafa olmalı ekstra bilgiye eksi basmak.
• şöyle bir söz vardı: "big data is like teenage sex, everyone talks about it but no one can really do it."
• veri madenciliği mesleğinin önümüzdeki onyıllara damga vurmasını sağlayacak olgu. birsürü de bununla ilgili meslek türeyecek. web 3.0 alanında onlarca farklı iş kolu oluşacak. bilgisayarın daha mantıklı yapay zekalar ortaya çıkması durumunda birçok operasyonel yükü insanoğlunun elinden alacağı bir çağı başlatacak.
  
  tabi bunların hiçbirinin türkiye'ye bir faydası olmayacak, 10-20 yıl geriden takip ederiz belki.
• şüphesiz yakın geleceğimizi bir hayli etkileyecek teknoloji terimidir. büyük veriyi yorumlayıp kullanacak insan gücü ihtiyacı gözardı edilirken, "big data" kalıbı insanların kafasını karıştırmak için sıkça kullanılmaktadır canım ülkemde. bu durumu eleştiren bir iş çözümü blog yazısı da tavsiye edilir.
• (bkz: big query)
• görünen o ki bulut bilişim^* vb. teknolojiler ile big data denen meret yakın vadede çok önemli olacak. her ne kadar türkiye'de esamesi pek okunmasa bile (toplantılarda 4 bin satırı olan excel dosyalarına "big data" denmesi dışında) bizde bu akımdan nasibimizi alacağız sanırım.
  
  big data aslında günümüz teknolojilerinden biri. yanında ona mobil, sosyal ağlar ve bulut bilişim eşlik ediyor. bu 4'ü de birbirinin besleyen kavramlar. günümüzde verinin toplanması eskisi kadar önemli değil çünkü yıllarca toplanan veriler fazlasıyla birikti. artık asıl soru verinin nasıl toplanacağı değil toplanan verinin nasıl analiz edileceği. bu gereklilik ise başka bir alan doğurdu. veri bilimi^*. veri bilimi disiplinler arası çalışan bir bilim. istatistik ise en büyük yardımcısı. çünkü veriyi analiz etmek için önce veriden değil problemden başlamalıyız. problemi ise istatistiksel yöntemler ile belirleyebiliriz. (model kurma, regresyon denklemi vs.)
  http://www.kiwidatascience.com/…ce-venn-diagram.jpg
  
  gel gelelim la bu big data'yı ne ile kullanabiliriz kısmına. tabi ki de ilki r. veya python ve sql. bunu bir istatistik ile destekleyeyim. programları bir başka entry'e saklıyorum. henüz ben de çok bilgi sahibi değilim ama fikir vermesi açısından ufak tefek programlardan bahsedeceğim bir sonraki entry'de.
  
  gel gelelim bir big data uygulamasına. literatüre giren bir amazon var ki herkesin bildiği. amazon'un geliştirdiği öneri sistemi^* en büyük örneğidir. biraz daha farklı bir örnek ise google flu trends. ee facebook durur mu tabi yapıştırmış hemen cevabı. bu kadar etkin bir kestirim olmasa da adamlar ilişki öncesi ve sonrası ile ilgili bir araştırma yayınlamışlar. facebook'un bu tarz araştırmaları bir yana 2010 seçimleri için yaptıkları bir deney var. hatta bu sazan.avi 61 milyon kişiyi kapsıyor. özetle facebook'u seçim günü açanların %98'i ekranda "i voted" butonunu gördüler. altında ise arkadaşlarının resimlerini. pek çoğu butona tıkladı. kalan %2 ise 2'ye bölündü. %1'i sadece arkadaşlarının isimlerini gördü diğer %1 ise hiçbir mesaj almadı. sonuç mu? katılanların %20'si oy atarım butonuna tıkladı, arkadaşlarının resmini görmeyenlerin ise %18'i tıkladı. tam inci sözlük ayarında bir sazan.avi.
  
  son olarak big data meraklıları necmi gürsakal'ın büyük veri kitabını okuyabilirler.
• türkçesi, büyük veri. zaman içinde özellikle internet ortamında dağ gibi büyüyen ve kullanılamayan verilerin potansiyeli farkedildiğinde ortaya çıkmıştır. bu büyük verinin işlenmesi sonucu şu an çeşitli sektörlerde özellikle marketing alanında büyük ilerlemeler kaydedilmiştir. bunun için de hadoop gibi toollar kullanılmaktadır.
• öncelikle big data ve "internet of things" (şeylerin interneti) önümüzdeki beş yılın parlayan çalışma alanı olacak, şöyle bir altını çizelim.
  
  ortalama bir şirket abd kongre kütüphanesi'ne şimdiye kadar kaydedilmiş tüm verinin 427 katı kadar veriye sahip.
  facebook'un kodak tarafından şu ana kadar işlenen tüm piksellerden daha fazla fotoğraf verisi var.
  bizler artık günlük olarak televizyonun ilk elli yılında kaydedilen video miktarından daha fazlasını çekiyoruz.
  
  yukarıda sıralananlar verinin baş döndürücü hacmi ile ilgili gerçek ifadeler değil. ama thomas devenport'un big data @ work kitabına göre gerçekleşmiş olması ya da gerçekleşmesinin an meselesi olduğuna kesin gözüyle bakılıyor.
  
  evet veri analizi hep vardı.
  ama büyük veriyi geleneksel analitik ile hesaplamak mümkün değil.
  bir tahmine göre dünyada günlük olarak 2,5 kentilyon (2,5'ten sonra 18 tane sıfır anlamına geliyor) bayt veri üretiliyor.
  
  bu veriyi belirten özellik sadece "massive" (dev, kocaman) değil.
  aynı zamanda akışkan. sabit değil.
  onun için geleneksel bilimsel yöntemlerle analizi çok güç.
• diğer datalar ile farkı şöyledir:
  küçük data: <10 gb
  orta büyüklükte data: 10 gb-1 tb
  büyük data: >1 tb
  
  neyle yönetilir?
  küçük data: excell, r
  orta büyüklükte data: endesklenmiş dosyalar, monolitik veri tabanları
  büyük data: hadoop, dağıtık veri tabanları
  
  nerede saklanır?
  küçük data: bir makinenin belleği
  orta büyüklükte data: bir makinenin diski
  büyük data: çok sayıda makinede
  
  örnekler:
  küçük data: binlerce satış sayısı
  orta büyüklükte data: milyonlarca web sayfası
  büyük data: milyarlarca web tıklaması
  
  (bkz: dataracy)
  (bkz: the circle) #49580638
  (bkz: petabyte age)
  (bkz: opinion mining)
  (bkz: predictive analytics)