上下文化表示为各种 NLP 任务提供了显着改善的结果。许多工作致力于分析由 BERT 等代表性模型捕获的特征。现有工作发现，句法、语义和词义知识是用 BERT 编码的。然而，很少有工作研究基于字符的语言（如中文）的词特征。我们使用注意力权重分布统计和探测任务研究中文 BERT，发现（1）词信息被 ​​BERT 捕获；(2) 词级特征多位于中间表示层；(3) 下游任务在BERT中对词特征的使用不同，词性标注和分块对词特征的依赖最大，而自然语言推理对这些特征的依赖最少。



"点击查看英文标题和摘要"