Parser Evaluation Using Textual Entailments
Summary:
Syntactic parsing is a basic problem in natural language processing. It can be defined as assigning a structure to a sentence. Two prevalent approaches to parsing are phrase-structure parsing and dependency parsing. A related problem is parser evaluation. This thesis proposes Parser Evaluation using Textual Entailments as a dependency-based evaluation where a parse is represented as a list of simple sentences, similar to the Recognizing Textual Entailments task. Each entailment focuses on one relation. A priori training of annotators is not required. A program generates entailments from a dependency parse. Phrase-structure parses are converted to dependency parses to generate entailments. Additional entailments are generated for phrase-structure coordinations. Experiments are carried out with a function-tagger. Parsers are evaluated on the set of entailments generated from the Penn Treebank WSJ and Brown test sections. A phrase-structure parser obtained the highest score.
Özet:
Sözdizimsel ayrıştırma doğal dil işlemede temel bir problemdir. Cümleye bir yapı atamak olarak tanımlanabilir. En yaygın iki ayrıştırma, öbek yapısı ayrıştırma ve bağımsallık ayrıştırmasıdır. İlgili bir konu ayrıştırıcı değerlendirmesidir. Bu tez, ayrıştırmanın Metinsel Gerektirimleri Tanıma görevinde olduğu gibi bir dizi basit cümle ile ifade edildiği bağımsallık tabanlı bir değerlendirme olan Metinsel Gerektirimler ile Ayrıştırıcı Değerlendirmesini önermektedir. Her gerektirim bir bağlantıya odaklanmaktadır. Yorumcuların önceden eğitilmesine gerek yoktur. Bir program bağımsallık ayrıştırmasından gerektirimleri üretmektedir. Öbek yapısı ayrıştırmaları gerektirim üretmek için bağımsallık ayrıştırmasına çevrilmektedir. Öbek yapısı eşgüdümlerinden ek gerektirimler üretilmektedir. Bir işlev etiketçi ile deneyler yapılmıştır. Ayrıştırıcılar Penn Treebank WSJ ve Brown test kısımlarından üretilen gerektirim kümesi üzerinde değerlendirilmiştir. Bir öbek yapısı ayrıştırıcı en yüksek puanı almıştır.