Foundations and Trends in Information Retrieval ( IF 8.3 ) Pub Date : 2018-12-22 , DOI: 10.1561/1500000061 Bhaskar Mitra , Nick Craswell
Neural ranking models for information retrieval (IR) use shallow or deep neural networks to rank search results in response to a query. Traditional learning to rank models employ supervised machine learning (ML) techniques—including neural networks—over hand-crafted IR features. By contrast, more recently proposed neural models learn representations of language from raw text that can bridge the gap between query and document vocabulary. Unlike classical learning to rank models and non-neural approaches to IR, these new ML techniques are data-hungry, requiring large scale training data before they can be deployed. This tutorial introduces basic concepts and intuitions behind neural IR models, and places them in the context of classical non-neural approaches to IR. We begin by introducing fundamental concepts of retrieval and different neural and non-neural approaches to unsupervised learning of vector representations of text. We then review IR methods that employ these pre-trained neural vector representations without learning the IR task end-to-end. We introduce the Learning to Rank (LTR) framework next, discussing standard loss functions for ranking. We follow that with an overview of deep neural networks (DNNs), including standard architectures and implementations. Finally, we review supervised neural learning to rank models, including recent DNN architectures trained end-to-end for ranking tasks. We conclude with a discussion on potential future directions for neural IR.
中文翻译:
神经信息检索简介
用于信息检索(IR)的神经排序模型使用浅层或深层神经网络对搜索结果进行排序以响应查询。传统的学习排名模型在人工IR功能上采用监督式机器学习(ML)技术(包括神经网络)。相比之下,最近提出的神经模型从原始文本中学习语言的表示形式,这可以弥合查询和文档词汇之间的差距。不同于经典的学习方法以对IR进行模型排序和非神经方法,这些新的ML技术需要大量数据,因此在部署之前需要大规模的训练数据。本教程介绍了神经IR模型背后的基本概念和直觉,并将其置于经典的非神经IR方法的上下文中。我们首先介绍检索的基本概念以及对文本向量表示进行无监督学习的不同神经和非神经方法。然后,我们将审查采用这些预训练的神经向量表示形式的IR方法,而无需全面了解IR任务。接下来,我们介绍排名学习(LTR)框架,讨论排名的标准损失函数。在此之后,我们对深度神经网络(DNN)进行了概述,包括标准体系结构和实现。最后,我们回顾了有监督的神经学习对模型进行排名,包括对端到端训练以进行排名任务的最新DNN架构。我们以关于神经IR的潜在未来方向的讨论作为结束。然后,我们将审查采用这些预训练的神经向量表示形式的IR方法,而无需全面了解IR任务。接下来,我们介绍排名学习(LTR)框架,讨论排名的标准损失函数。在此之后,我们对深度神经网络(DNN)进行了概述,包括标准体系结构和实现。最后,我们回顾了有监督的神经学习对模型进行排名,包括对端到端训练以进行排名任务的最新DNN架构。我们以关于神经IR的潜在未来方向的讨论作为结束。然后,我们将审查采用这些预训练的神经向量表示形式的IR方法,而无需全面了解IR任务。接下来,我们介绍排名学习(LTR)框架,讨论排名的标准损失函数。在此之后,我们对深度神经网络(DNN)进行了概述,包括标准体系结构和实现。最后,我们回顾了有监督的神经学习对模型进行排名,包括对端到端训练以进行排名任务的最新DNN架构。我们以关于神经IR的潜在未来方向的讨论作为结束。最后,我们回顾了有监督的神经学习对模型进行排名,包括对端到端训练以进行排名任务的最新DNN架构。我们以关于神经IR的潜在未来方向的讨论作为结束。最后,我们回顾了有监督的神经学习对模型进行排名,包括对端到端训练以进行排名任务的最新DNN架构。我们以关于神经IR的潜在未来方向的讨论作为结束。