摘要

本文介绍了一种新的解析器性能预测（PPP）模型，该模型利用机器翻译性能预测系统（MTPPS），基于文本、链接结构和括号树结构信息的外在和新颖特征，统计上独立于任何语言或解析器。这种新系统MTPPS-PPP能够预测任何语言中任何解析器的性能，有助于估计理解给定文本的语法难度、设定解析输出的期望、为特定领域选择解析器以及解析器组合系统。该系统在括号F1的PPP中取得了最先进的结果，相比仅使用文本特征取得了更好的结果，并与使用解析器和语言标签特定信息的前期研究表现相似。

原理

MTPPS-PPP系统通过分析文本的n-gram特征、链接结构和解析树结构来预测解析器的性能。文本特征使用n-gram作为信息的基本单位，链接结构特征来自无监督解析器CCL，解析树特征则基于解析树的括号结构。这些特征独立于特定解析器或语言，使得系统能够预测任何解析器在任何语言中的性能。此外，系统还使用了比较F1分数（CF1），这是每个解析器输出的平均相对括号F1分数，进一步提高了预测的准确性。

流程

MTPPS-PPP的工作流程包括以下步骤：首先，系统提取文本的n-gram特征、链接结构特征和解析树特征；然后，使用这些特征进行模型训练；最后，利用训练好的模型预测解析器的性能。例如，在WSJ23测试集上，系统预测Charniak和Johnson解析器的括号F1分数时，误差约为7.4%。此外，系统还可以在不需要解析的情况下仅使用文本进行预测，或者仅使用无监督解析器进行预测，无需任何解析器或语言依赖信息。

应用

MTPPS-PPP系统的应用前景广泛，包括但不限于：估计理解特定文本的语法难度、设定解析输出的期望、为特定领域选择最佳解析器、以及在解析器组合系统中选择最优解析器。此外，该系统还可以用于预测无监督解析器的性能，这对于资源有限或特定领域的需求尤为重要。随着技术的进一步发展，MTPPS-PPP有望在自然语言处理领域发挥更大的作用。