nlp

• türkçesi doğal dil işleme. açık uçlu soruların bilgisayar tarafından puanlanması(automated scoring) ile ilgili birkaç çalışma yapmıştım. öğrencinin kurmuş olduğu cümlenin hem dil bilgisi kurallarına uygun hem de anlamlı bir cümle kurduğunun tespiti yapılması gerekiyordu. peki bunu nasıl yapabilirdik? ilk önce cümleye uygulayacağımız işlemleri aşağıda listeleyelim.
  
  1. cümlenin ögelerine ayrılması
  2. ögelere ayrılmış kelimelerin morfolojik analizin yapılması.
  3. kelimelerin kök ve eklerin belirlenmesi
  4. öğrencinin kelimeler de ki kök ve eklerin doğru kullanıp kullanmadığının tespiti.
  5. ardından sözdizimsel analiz (syntactic analysis) öğrencinin cümledeki kelimelerin yerlerini doğru şekilde kullanıp kullanmadığının analizi.
  6. ve en heyecan veren yer. :) öğrencinin anlamlı bir cümle kurup kurmadığının tespiti.
  
  işte ben burada tıkandım. buradan sonra artık derin bir araştırma yapılması gerekiyor. ben word2vec denilen bir model buldum. analiz yapılacak dile ait dijitalleştirilmiş tüm yazılarda ki cümlelerin içerisindeki kelimelerin kullanım sıklığına bakılarak vektörel bir değer çıkıyor. bu değer aynı cümlede kullanılmış kelimelerde birbirine yakın çıkıyor.
  
  öğrencinin kurduğu cümledeki kelimelerin word2vec modelindeki vektörel değerlerine bakılarak anlamlı bir cümle olup olmadığı tespit edilebilir.
  
  maalesef dilimiz ile ilgili çalışmaların yetersiz olduğunu düşünüyorum. nlp yapay zeka için çok önemli bir kavram.
  
  tabi bunların yapılması için türkçe doğal dil işleme kütüphanelerine ihtiyacımız var. bu kütüphanelerden bir kaçı
  itü pipeline tools.nlp.itu.edu.tr
  zemberek zembereknlp.blogspot.com
  nüve hrzafer.com/tag/nlp