Self-Trained Discriminative Constituency Parser With Hierarchical Joint Learning Approach

Summary:

Determining the syntactic structure of a sentence is a fundamental step towards understanding what is conveyed in that sentence. The syntactic parse tree of a sentence can be used in several tasks such as information extraction, machine translation, summarization and question answering. Therefore, syntactic parsing has been one of the most studied topics in the literature. Today's top performing parsers employ statistical approaches and achieve over 90\% accuracy. While statistical approaches reach their highs in supervised settings, semi-supervised approaches like self-training of parsers is starting to emerge as a next challenge. Such parsers train on their own outputs with the goal of achieving better results by learning on their own. However, only a small number of self-trained parsers have met this goal so far. In this thesis, we tackle the problem of self-training a feature-rich discriminative constituency parser, which to our knowledge has never been studied before. We approach the self-training problem with the assumption that we can't expect the whole parse tree given by a parser to be completely correct but, rather, some parts of it are more likely to be. We hypothesize that instead of feeding the parser the whole guessed parse trees of its own, we can break them down into smaller ones, namely n-gram trees, and perform self-training on them. We thus have an n-gram parser and transfer the distinct expertise of the $n$-gram parser to the full sentence parser by using the Hierarchical Joint Learning (HJL) approach. The resulting parser is called a jointly self-trained parser. We first study joint learning in completely supervised setting and observe slight improvement of the jointly trained parser over the baseline. When the real n-gram trees are replaced with guessed ones, the resulting jointly self-trained parser performs no differently than the baseline.

Özet:

Cümlede geçen kelimelerin dilbilgisi kurallarına uygun olarak o cümleyi nasıl meydana getirdiklerini bulmak o cümleyi anlamak için en önemli adımlardan biridir. Sözdizim çözümleyicisi ile elde edeceğimiz bu bilgiyle örneğin cümle içinden istenilen bilgileri çıkartabilir veya o cümleyi başka bir dile çevirebiliriz. Bundandır ki sözdizim çözümleyicileri doğal dil işleme alanında en çok çalışılan konulardandır. Bugün en iyi çözümleyiciler denetimli istatistiksel yöntemleri kullanarak %90 başarı seviyelerini aşsalar da, kendi kendisini eğitebilen yarı-denetimli modelle çalışan çözümleyiciler ile yapılan başarılı çalışma sayısı çok azdır. Bu tür çözümleyiciler eğitim verilerini kendi çıktıları ile genişletip kendi kendilerine öğrenerek daha iyi sonuç almaya çalışırlar. Bu tezde amacımız daha önce literatürde yapılmamış birçok öznitelik kullanarak kendi kendisini eğitebilen ayırtedici sözdizim çözümleyicisi geliştirmektir. Bunu yapmak için çözümleyicinin çıktı olarak verdiği sözdizim ağacının tamamının doğru olmadığı fakat bazı parçalarının, ki biz bunlara n-gram ağaçları diyoruz, doğru olabileceğini varsayıyoruz. Buna göre hipotezimiz ise bu parçalar ile çözümleyicinin kendi kendisini eğitebilmesiyle daha iyi sonuç alabileceğimizdir. n-gram'ların çözümlemesini buna özgü n-gram çözümleyicisi ile yapacağımızdan, asıl çözümleyicinin kendi kendisini eğitmesi yerine n-gram çözümleyicisi asıl çözümleyicinin çıktısı ile eğitilecektir. Bu esnada da bu iki çözümleyicinin hiyerarşik birlikte öğrenme yöntemiyle birbirlerine öğrendiklerini aktarmaları sağlanarak asıl çözümleyicinin beraberce kendi kendisine öğrenmesi sağlanır. Sadece gerçek eğitim verileri ile yapılan deneylerde asıl çözümleyicinin başarısının n-gram çözümleyici ile eğitildiğinde arttığı, eğitim verisine asıl çözümleyicinin çıktıları eklendiğinde ise beraberce kendi kendisini eğitemediği gözlemlenmiştir.