探索深度内容理解:实体与方面目标情感分析的先进技术

Deep Content Understanding Toward Entity and Aspect Target Sentiment Analysis on Foundation Models

摘要

本文介绍了一种名为“实体-方面情感三元组提取(EASTE)”的新型基于方面的情感分析(ABSA)任务,该任务通过将方面类别(如food#quality)细分为预定义的实体(如meal, drink)和方面(如taste, freshness),增加了任务的复杂性,但有助于揭示链式方面的真实情感。研究探索了基于变换器架构的语言模型解决EASTE任务的能力,通过使用BERT架构的统一损失方法进行令牌分类任务,以及使用Flan-T5、Flan-Ul2到Llama2、Llama3和Mixtral等模型进行文本生成任务,采用零/少样本学习和参数高效微调(如低秩适应LoRA)等对齐技术。模型性能在SamEval-2016基准数据集上进行了评估,不仅旨在在EASTE任务上实现高性能,还研究了模型大小、类型和适应技术对任务性能的影响,最终在复杂情感分析中取得了最先进的结果。

原理

EASTE任务的核心在于将传统的方面类别细分为实体和方面,并通过三元组(实体、方面、情感)的形式输出情感分析结果。这一任务通过BERT等模型的令牌分类任务来实现,其中每个令牌代表一个可能的实体、方面或情感。模型通过统一损失函数来优化,该函数计算每个令牌的实体、方面和情感的交叉熵损失,并将这些损失的平均值作为最终损失。这种统一损失方法适用于多类分类,能够有效地处理复杂的情感分析任务。

流程

论文中详细描述了EASTE任务的工作流程,包括令牌分类和文本生成两种方法。在令牌分类方法中,使用BERT模型对输入句子进行编码,并通过修改后的最后一层线性层和损失函数来预测每个令牌的实体、方面和情感。在文本生成方法中,模型通过零/少样本学习和微调技术,从输入提示中生成包含实体、方面和情感三元组的信息。例如,对于输入句子“The food arrived 20 minutes after I called, cold and soggy.”,模型输出可能是“{(NULL, SERVICE, GENERAL, negative), (food, FOOD, QUALITY, negative)}”。

应用

EASTE任务的应用前景广泛,特别是在需要精细情感分析的领域,如餐饮评价、产品评论分析等。通过准确提取和分析实体、方面和情感三元组,可以帮助企业更好地理解消费者反馈,优化产品和服务。此外,该任务的研究成果还可以应用于社交媒体监控、舆情分析等多个领域,具有重要的商业和社会价值。