• 'dot.com', 'social' ve 'cloud''dan sonra yeni içi boş kelimelerimiz. aslında epeydir bu anlatılan şeyi havalı bir ismi olmadığı halde yapıyoruz çoğu yerde, mesela alışveriş sitelerinin 'bunu beğenenler bunu da beğendi' uygulaması bir big data analizi. ya da facebook'un bunları tanıyo musun aracı. ama işte konferanslarda falan konuşmak için böyle havalı şekil kelimelere ihtiyaç var.

    hayret dedim ne zamandır aklımda ama bir şey yazmamışım buraya bu konuda. bi iki karalayayım.

    hacım, şimdi her yerde güvenlik kamerası falan var di mi mesela? yüz binlerce saat kamera kaydı var, ama şehirde bi adam arıyorsan bir sürü insanı kamera monitörleri önüne dikip, görüntüleri izletmek dışında bir çaren yok. insanlar izleyecek, o adamı görünce haber verecek, falan filan.

    big data yaklaşımıyla bakıldığında bu analizin tamamını belirli algoritma ve yazılımlarla bilgisayara yaptırıyorsun. böylece sonuca çabucak ucuz ve hızlı bi biçimde ulaşıyorsun. bir nevi bi dünya veri üzerinden bilgisayarla anlam çıkarma.

    mesela ekşi sözlük veritabanı bende olsa, yazarlar songül karlı sütyensiz başlığından hemen önce hangi başlığa bakmışlar diye hızla bir analiz yapar, böylece insanların gerçekten de hagi'nin mençıstıra attığı golü ararken mi oraya geldiklerini, yoksa hakikaten de songül karlı'nın o videosunu mu aradıklarını öğrenmiş, ciddi bir yalanı ortaya çıkarmış olurum. ne oldu, elimdeki 'yazarlar hangi başlıkları okuyor' verileri üzerinden bir çıkarım yapmış oldum. vs.

    esasında big data uygulamalarını geliştirmek veri bilimcisi / madencisi denen epey zor bir uzmanlık dalı üzerinden ilerliyor. türkiye'de bu konuda bir eğitim / yaklaşım olduğunu sanmıyorum, belki sabancı cs'de falan ilgili dersler veriliyordur. onun dışında evet, ben geleceğe yatırım yapacağım, işim gücüm garanti olsun diyen arkadaşlar bilgisayar bilimleri okuyup master'da veri madenciliği / veri analizi / büyük veri üzerine çalışırlarsa işleri garanti, yok yine iş bulamazlarsa bana gelsinler. garantisi benim.

    edit: bana gelmeyin artık.
  • güzel bir benzetmeye konu olmuş.

    - big data is like teenage sex; everyone talks about it, nobody really knows how to do it, everyone thinks everyone else is doing it, so everyone claims that they are doing it..
  • birçokları için hala şöyle bir şeydir big data.
  • diğer datalar ile farkı şöyledir:
    küçük data: <10 gb
    orta büyüklükte data: 10 gb-1 tb
    büyük data: >1 tb

    neyle yönetilir?
    küçük data: excell, r
    orta büyüklükte data: endesklenmiş dosyalar, monolitik veri tabanları
    büyük data: hadoop, dağıtık veri tabanları

    nerede saklanır?
    küçük data: bir makinenin belleği
    orta büyüklükte data: bir makinenin diski
    büyük data: çok sayıda makinede

    örnekler:
    küçük data: binlerce satış sayısı
    orta büyüklükte data: milyonlarca web sayfası
    büyük data: milyarlarca web tıklaması

    (bkz: dataracy)
    (bkz: the circle) #49580638
    (bkz: petabyte age)
    (bkz: opinion mining)
    (bkz: predictive analytics)
  • gereksiz populerlesti.

    - is fikrim var super.
    - nedir?
    - big data ve mesin lorning. tum resimleri okuyacaz.
    - sebestiyan icerden odun getir arkadasi bi temiz dovelim**.
    - ama big data?

    yeter lan big data big data.
  • görünen o ki bulut bilişim* vb. teknolojiler ile big data denen meret yakın vadede çok önemli olacak. her ne kadar türkiye'de esamesi pek okunmasa bile (toplantılarda 4 bin satırı olan excel dosyalarına "big data" denmesi dışında) bizde bu akımdan nasibimizi alacağız sanırım.

    big data aslında günümüz teknolojilerinden biri. yanında ona mobil, sosyal ağlar ve bulut bilişim eşlik ediyor. bu 4'ü de birbirinin besleyen kavramlar. günümüzde verinin toplanması eskisi kadar önemli değil çünkü yıllarca toplanan veriler fazlasıyla birikti. artık asıl soru verinin nasıl toplanacağı değil toplanan verinin nasıl analiz edileceği. bu gereklilik ise başka bir alan doğurdu. veri bilimi*. veri bilimi disiplinler arası çalışan bir bilim. istatistik ise en büyük yardımcısı. çünkü veriyi analiz etmek için önce veriden değil problemden başlamalıyız. problemi ise istatistiksel yöntemler ile belirleyebiliriz. (model kurma, regresyon denklemi vs.)
    http://www.kiwidatascience.com/…ce-venn-diagram.jpg

    gel gelelim la bu big data'yı ne ile kullanabiliriz kısmına. tabi ki de ilki r. veya python ve sql. bunu bir istatistik ile destekleyeyim. programları bir başka entry'e saklıyorum. henüz ben de çok bilgi sahibi değilim ama fikir vermesi açısından ufak tefek programlardan bahsedeceğim bir sonraki entry'de.

    gel gelelim bir big data uygulamasına. literatüre giren bir amazon var ki herkesin bildiği. amazon'un geliştirdiği öneri sistemi* en büyük örneğidir. biraz daha farklı bir örnek ise google flu trends. ee facebook durur mu tabi yapıştırmış hemen cevabı. bu kadar etkin bir kestirim olmasa da adamlar ilişki öncesi ve sonrası ile ilgili bir araştırma yayınlamışlar. facebook'un bu tarz araştırmaları bir yana 2010 seçimleri için yaptıkları bir deney var. hatta bu sazan.avi 61 milyon kişiyi kapsıyor. özetle facebook'u seçim günü açanların %98'i ekranda "i voted" butonunu gördüler. altında ise arkadaşlarının resimlerini. pek çoğu butona tıkladı. kalan %2 ise 2'ye bölündü. %1'i sadece arkadaşlarının isimlerini gördü diğer %1 ise hiçbir mesaj almadı. sonuç mu? katılanların %20'si oy atarım butonuna tıkladı, arkadaşlarının resmini görmeyenlerin ise %18'i tıkladı. tam inci sözlük ayarında bir sazan.avi.

    son olarak big data meraklıları necmi gürsakal'ın büyük veri kitabını okuyabilirler.
  • ted'i düzenli olarak takip eden ve veri analizi, business intelligence, big data'ya ilgi duyan biriyseniz; büyük ihtimalle big data hakkında kafanızda bi fikir oluşmasını ve ne kadar tehlikeli bir şey olabileceğini anlamanızı sağlayacak şu videoyu izlemişsinizdir.
  • internet ve sensor teknolojilerindeki cok hizli gelismenin akabinde orta cikan yuksek hacimli veri ve bu verinin nasil saklanacagi, korunacagi, icindeki bilgiye nasil ulasilacagi, nasil islenip karar ve ogrenme mekanizmalarina entegre hala getirilecegi muammasi. yuksek hacimli veriyi etkili ve hizli bir sekilde kullanmayi ogrenmemiz, saglik sektorunden kisiye yonelik pazarlama stratejilerine, astronomiden guvenlige pek cok alanda cigir acabilecek gelismeleri beraberinde getirebilir ki bu nedenle bu alandaki calismalara buyuk capli yatirimlar yapilmaktadir su gunlerde.
  • ing. yüksek hacimli veri.
  • bir süre önce bu işle uğraşan bir şirkette çalışan biri olarak şunu söyleyebilirim, insanlık için büyük bir hazine olduğu kadar kendisine doğrultulan büyük bir silahtır.

    rasyonel tüm hareketlerinizin birileri tarafından tahmin edildiğini düşünün. bunun üzerine irrasyonel bir kısım hareketlerinizin de artık bu veriler ve manipülasyonlarla rasyonelleştiğini düşünün. alacağınız arabaya, giyeceğiniz kıyafete, attığınız adıma bile şirketler karar verecek.
hesabın var mı? giriş yap