本文共 2909 字，大约阅读时间需要 9 分钟。

转：

元学习meta learning研究在CV方向占据大部分比例，论文总结比比皆是。本文主要汇总下近些年元学习在NLP文本分类方向Text Classification的研究论文，供相关研究人员参考。

同时欢迎大家关注小样本学习方法专栏~，持续更新小样本学习领域最新研究内容以及个人思考总结。

小样本学习方法(FSL)​ www.zhihu.com

【1】Meta-learning for Few-shot Natural Language Processing: A Survey

摘要：少样本自然语言处理（NLP）指的是NLP任务只附带少量的标记样本。这是一个人工智能系统必须学会应对的现实挑战。通常我们依赖于收集更多的辅助信息或开发更有效的学习算法。然而，高容量模型中基于梯度的一般优化，如果从头开始训练，则需要在大量标记样本上执行许多参数更新步骤，以获得良好的性能。如果目标任务本身不能提供更多的信息，那么收集更多具有丰富注释的任务来帮助模型学习如何？元学习的目标是训练具有丰富注释的各种任务的模型，这样它就可以只使用几个标记样本来解决一个新任务。其核心思想是训练模型的初始参数，使模型在经过零步或几个梯度步更新后，对新任务具有最大的性能。已经有一些关于元学习的调查。然而，本文主要研究NLP领域，尤其是少镜头应用。我们试图提供更清晰的定义、进度总结和一些将元学习应用于少镜头自然语言处理的常用数据集。

【2】Diverse Few-Shot Text Classification with Multiple Metrics

摘要：我们研究自然语言领域中的少样本学习。与许多现有的基于度量或基于优化的元学习应用于任务间低方差的图像域研究相比，我们考虑了一个更现实的环境，即任务是多样的。然而，由于单一的度量不足以捕捉自然语言领域中复杂的任务变化，这给现有的基于度量的算法带来了巨大的困难。为了解决这一问题，我们提出了一种自适应的度量学习方法，该方法可以自动地从一组新出现的少量任务的元训练任务中确定最佳加权组合。对真实世界情感分析和对话意图分类数据集的大量定量评估表明，该方法在预测精度方面优于现有的少样本学习算法。

【3】Investigating Meta-Learning Algorithms for Low-Resource Natural Language Understanding Tasks

摘要：学习文本的一般表示是许多自然语言理解（NLU）任务的一个基本问题。此前，研究者提出使用语言模型预训练和多任务学习来学习鲁棒表征。然而，这些方法可以在低资源情况下获得次优性能。受最近成功的基于优化的元学习算法的启发，本文研究了模型无关元学习算法（MAML）及其在低资源NLU任务中的变体。我们在GLUE基准测试上验证了我们的方法，并表明我们提出的模型可以优于几个强大的基线。我们进一步的经验证明，学习的表征可以有效地适应新的任务。

【4】Induction Networks for Few-Shot Text Classification

• 利用动态路由算法（在capsule network Sabour等人2017年提出）改进类表示的泛化
• 利用神经张量网络（Socher等人2013年）计算查询和类向量之间的关系得分
• 这两个步骤都很重要，它们的组合效果最好

摘要：当数据不足或需要适应不不见类时，文本分类往往会遇到困难。在这样一个具有挑战性的场景中，最近的研究使用元学习来模拟少量的任务，在这个任务中，新的查询将与样本级别上的一个小支持集进行比较。然而，同一类中的不同表达式可能会受到严重干扰。因此，我们应该能够学习支持集中每个类的一般表示，然后将其与新查询进行比较。本文创新性地利用元学习中的动态路径算法，提出了一种新的归纳网络来学习这种广义类表示。这样，我们发现该模型能够更好地进行归纳和推广。我们在一个经过充分研究的情感分类数据集（英文）和真实世界对话意图分类数据集（中文）上对所提出的模型进行了评估。实验结果表明，在两个数据集上，该模型的性能明显优于现有的分类方法，证明了分类泛化在少镜头文本分类中的有效性

Amazon Review Sentiment Classification (ARSC) Open Domain Intent Classification for Dialog System (ODIC)

【5】Hierarchical Attention Prototypical Networks for Few Shot Text Classification

• 基于原型网络
• 分层注意力架构
• 对单词的单词级关注，以获得句子表征
• 实例级关注支持集中的实例，以形成原型
• Gao等人2019年提出的特征水平，以改善距离函数

摘要：我们提出了一个层次注意网络来进行文档分类。我们的模型有两个显著的特点：（i）它具有反映文档层次结构的层次结构；（ii）它在单词和句子级别有两个层次的注意机制，使得它在构建文档表示时能够区别地关注更多和较不重要的内容。在六个大规模文本分类任务上的实验结果表明，该体系结构在很大程度上优于以往的分类方法。注意层的可视化表明，该模型选择了定性的信息词和句子。

【6】Few-shot learning for short text classification

【7】Few-Shot Text and Image Classification via Analogical Transfer Learning

【8】On the Importance of Attention in Meta-Learning for Few-Shot Text Classification

【9】Few-Shot and Zero-Shot Multi-Label Learning for Structured Label Spaces.

【10】Few-Shot Text Classification with Pre-Trained Word Embeddings and a Human in the Loop

【11】Few-shot Text Classification with Distributional Signatures

【12】Improving Few-shot Text Classification via Pretrained Language Representations

【13】Few-Shot Transfer Learning for Text Classification With Lightweight Word Embedding Based Models

【14】Exploiting cloze questions for few-shot text classification and natural language inference

此文章持续更新补充，欢迎大家资料分享~~~

转：

转载地址：http://iizbz.baihongyu.com/