多任务学习 异常判断+异常评分

  • 2021-05-21
  • 机器学习算法分析
  • 公开
简介ICML2018见闻 | 迁移学习、多任务学习领域的进展https://blog.csdn.net/dQCFKyQDXYm3F8rB0/article/details/82392730 基于多状态跳转模型的场景独立音频事件检测方法http://html.rhhz.net/ZGKXYDXXB/20190209.htm#outline_anchor_15 迁移学习和多任务学习设计 基于多任务学习的人脸属性识别方法https://kns.cnki.net/KC
ICML2018见闻 | 迁移学习、多任务学习领域的进展https://blog.csdn.net/dQCFKyQDXYm3F8rB0/article/details/82392730

基于多状态跳转模型的场景独立音频事件检测方法http://html.rhhz.net/ZGKXYDXXB/20190209.htm#outline_anchor_15

迁移学习和多任务学习设计


基于多任务学习的人脸属性识别方法https://kns.cnki.net/KCMS/detail/detail.aspx?dbcode=CJFD&dbname=CJFDLAST2020&filename=JSJC202003033&v=MDEyOTExVDNxVHJXTTFGckNVUjdxZlllZHVGQ3JuVXJyQUx6N0JiYkc0SE5ITXJJOUdaNFI4ZVgxTHV4WVM3RGg=

共享分支网络,节省开支


多任务学习是同时学习多个相关任务的机器学习算法, 使用共同学习(joint learning)取代原先常见的独立学习(independent learning)[30].其不仅能利用相关任务的相互关联性缓解语料由于规模小带来的训练欠拟合问题, 而且还能提升模型的泛化能力.近年来, 多任务学习已成为自然语言处理的一个研究热点[31-36], 如Liu等人[32]采用基于多任务学习的表示学习完成语义分类及信息检索任务; Daumé等人[35]将多任务学习模型应用于跨领域的情感分析; Prettenhofer等人[36]通过多任务学习模型进行跨语言的文本分类等.目前在事件抽取领域只有Liu等人[15]有类似的工作.他们利用FrameNet语料辅助完成ACE事件抽取任务的前半部分(事件触发词识别与事件触发词分类), 但是, 由于Liu等人没有采用机器学习算法学习两种语料的关联性, 而是基于先验知识人为地构建规则来捕捉二者的相互关系, 因而并不算严格意义上的多任务学习模型.考虑对ACE语料进行分类训练后会大幅降低训练语料规模, 并且不同类型事件之间缺乏信息交互, 因此, 本文工作借助Sun等人[37]基于CRF的多任务学习思想, 通过多任务学习方法挖掘同一大类下不同事件子类之间的相互关联关系.

综上所述, 尽管目前已有一些工作聚焦于构建中文事件抽取联合模型, 但本文的联合模型与这些工作不同.多数中文事件抽取联合抽取模型要么聚焦于构建事件触发词识别/分类的联合模型, 要么聚焦于构建事件元素识别/分类的联合模型.很少有工作构建上述4个子过程的联合模型.目前, Li等人[10]和Nguyen等人[11]构建了上述4个子过程的联合模型, 但本文工作与他们的工作有所不同.本文聚焦于解决联合模型带来的事件元素多标签问题, 并在联合模型之上构建了基于多任务学习的事件抽取联合模型.