在最近的工作中，再次接触了bm25用来计算query和doc相关性的问题，在此记录一下bm25计算方法，备查阅。 相关性的度量搜索引擎最重要的职能，是根据用户输入的query，将文档库中最相关的内容返回给用户，因此相关性贯穿了搜索引擎的各个阶段。为此，我们需要对相关性进行定义和量化，基于 ...

Paper Info论文：《SimCLS: A Simple Framework for Contrastive Learning of Abstractive Summarization》 url: https://arxiv.org/pdf/2106.01890.pdf

在Transformer模型中没有显示地在模型结构上建模输入序列地绝对或者相对位置信息，而是通过位置编码地方式，将每个位置用一个向量来表示，然后与元素对应地词向量相加来使得模型可以感知元素地位置信息。在论文《Self-Attention with Relative Position Rep ...

工欲善其事，必先利其器

Transformer的时间和空间复杂度都是和输入句子长度的平方，这种平方的时间、空间复杂度使得Transformer难以建模很长的序列。因此Transformer发布之后，很多研究者研究如何降低Attention中的复杂度，在不影响效果的前提下，使得Attention在时间和空间复杂度上 ...

Synthesizer模型是谷歌针对Transformer中的self-attention的进一步思考。毋庸置疑，Transformer模型无论是在NLP领域还是在CV领域都取得了巨大的成功，它抛弃了CNN、RNN这类常用的特征抽取模块，采用了self-attention机制来进行特征抽取 ...

Transformer-XL是Transformer模型的变种，主要用于解决长序列的建模问题。Transformer-XL可以看作是Transformer+RNN的结合体，不同的是Transformer-XL的递归是基于一个文本片段进行的。此外，Transformer-XL还引入了相对位置 ...

该部分总结自《Spark权威指南》第五章内容，个人学习笔记和记录。 引言本章是《Spark权威指南》的第五章内容，介绍DataFrame的基本操作。本章从DataFrame的模式（Schema）、列、记录和行、DataFrame的转换一次进行介绍。整个逻辑也很清楚，先介绍了组成DataF ...

该部分总结自《Spark权威指南》第四章内容，个人学习笔记和记录。 结构化API在前面的章节中已经有介绍结构化API，spark中的结构化集合主要有DataFrame和DataSet两种。他们的抽象逻辑就像excel表格一样，由行和列组成列表数据。 模式模式（Schemas）定义Data ...