Skip to content

Latest commit

 

History

History
75 lines (38 loc) · 2.64 KB

2020_科大讯飞_事件抽取挑战赛.md

File metadata and controls

75 lines (38 loc) · 2.64 KB

背景

事件抽取是将非结构化文本中的事件信息展现为结构化形式应用广泛,然而,由于现实文本中可能存在句式复杂,主被动转换,多事件主客体共享等难点,因此“事件抽取”是一项极具挑战的抽取任务。

任务

初赛任务:事件触发词及论元抽取

该任务旨在从文本中抽取标识事件发生的触发词和论元,触发词往往为动词和名词。触发词对应的事件论元,主要为主体、客体、时间、地点,其中主体为必备论元。

img

复赛任务:事件属性抽取

该任务旨在从文本中抽取表达事件发生状态的属性,包括极性、时态。极性分为:肯定、否

定、可能;时态分为:过去、现在、将来、其他。

img

数据

\1. 初赛数据说明:

6958条中文句子,及其9644条提取结果(存在一对多的情况):

1.1训练集:共5758条句子,包含句子中对应的触发词、论元等,用于竞赛模型训练。

1.2测试集:共1200条句子。

\2. 复赛数据说明:

3335条中文句子,及其3384条提取结果(存在一对多的情况):

2.1训练集:共2456条句子,包含句子中对应的触发词、论元及其角色、事件属性等,用于竞赛模型训练。

2.2测试集:共879条句子。

评价指标

初赛指标:

采用F值进行评价,论元F值为严格F值与松弛F值的平均得分。

严格F值:预测论元与标注论元必须完全匹配(类型必须正确)

论元准确率Pspan = 预测论元和标注论元匹配的个数 / 预测论元个数

论元召回率Rspan = 预测论元和标注论元匹配的个数 / 标注论元个数

论元F值 F1span = 2 Pspan Rspan /( Pspan + Rspan)

松弛F值:预测论元与标注论元存在字符级别匹配也能得到部分分数(类型必须正确)

论元准确率Pchar = 预测论元和标注论元匹配的字符数 / 预测论元字符数

论元召回率Rchar = 预测论元和标注论元匹配的字符数 / 标注论元字符数

论元F值 F1char = 2 Pchar Rchar /( Pchar + Rchar)

最终得分:F1 = (F1span + F1char) / 2

复赛评价指标:

使用F值进行评价。

属性准确率P = 预测属性和标注属性匹配的个数/ 预测属性个数

属性召回率R = 预测属性和标注属性匹配的个数 / 标注属性个数

属性F值 F1= 2 P R /( P+ R)

第一名方案

https://github.com/WuHuRestaurant/xf_event_extraction2020Top1)