当前位置: X-MOL 学术arXiv.cs.CL › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
通过强化学习微调 Transformer 实现高效的无监督句子压缩
arXiv - CS - Computation and Language Pub Date : 2022-05-17 , DOI: arxiv-2205.08221
Demian Gholipour Ghalandari, Chris Hokamp, Georgiana Ifrim

句子压缩通过删除非必要内容同时保留重要事实和语法来减少文本长度。用于句子压缩的无监督目标驱动方法可用于创建自定义模型,而无需真实训练数据,同时允许用于学习和推理的目标函数具有灵活性。最近的无监督句子压缩方法使用自定义目标来指导离散搜索;然而,引导搜索在推理时代价高昂。在这项工作中,我们探索使用强化学习来训练有效的句子压缩模型,这些模型在生成预测时也很快。特别是,我们将任务转换为二进制序列标记,并使用简单的策略梯度方法微调预训练的转换器。



"点击查看英文标题和摘要"

更新日期:2022-05-18
down
wechat
bug