当先锋百科网

首页 1 2 3 4 5 6 7

第12章推荐算法回顾与总结

推荐算法实战课程,课程是有问答专区,如果你有问题可以在问答专区提问,我会在每天固定时间解答课程,结合问答专区能够让你更快的掌握知识。

开始本章节的内容之前我们首先来回顾一下上一章节的内容,上一章节我们对之前所讲述过的排序部分的内容进行了总结与回顾。

本章节我们对课程所讲述过的全部内容进行总结与回顾,下面一起来看一下本章节的内容大纲。

一、个性化推荐算法离线架构

个性化推荐算法离线架构,无论是在个性化召回部分还是在个性化排序部分,我们都有一套离线处理,得到我们模型的流程,我们将这套流程的抽象一下给大家解析一下。

二、个性化推荐算法在线架构

无论是在个性化召回部分还是在个性化排序不分,我们都曾经将在线部分的架构呢,给大家讲解过,这里我们一起回顾一下。

三、本课程所讲述过的算法模型的内容回顾

一、个性化推荐算法离线架构

下面一起来看一下离线架构。
在这里插入图片描述

我们原始的日志呢,包含以下四个部分。

①用户的点击与用户的展示日志。

②我们记录用户信息的日志,这里包含用户的静态信息和统计的一些动态的信息,包括用户喜欢什么样的类型的内容等等。

③item的信息

④实时流式信息(Streaming)。这里的流式是指包含用户的一些实时行为。比如说用户订阅某个频道、用户将某些物品加入到购物车等等等等。

基于以上的日志,我们首先进行样本的筛选,我们将测试样本有噪声的样本的剔除掉得到我们的样本,得到样本之后呢,我们再进行特征选择。

在个性化召回部分,可能我们只是更多的需要我们的点击与展示数据。但是在我们的个性化排序部分,可能我们还需要用户的信息(user info),项目的信息(item info)以及上下文信息等等的一些信息。

基于我们的特征选择与样本选择之后呢,我们得到了我们的训练数据集以及测试数据,接下来无论是在召回部分还是在排序部分,我们都使用的训练数据集去训练模型,使用我们的测试数据去评估我们模型的表现。如果我们模型的表现达到了我们的要求,我们就将我们得到的模型文件的导出。

这里在个性化召回部分呢,可能是导出的直接用户的推荐结果,也可能是item相似度的列表亦或是我们的深度学习的模型文件。

在排序部分我们得到的模型文件的基本都是模型的实例化本身。像逻辑回归部分呢,其实我们只需要得到不同特征对应的参数即可。

二、个性化推荐算法在线架构

1、Recall在线架构

在这里插入图片描述

说完了离线架构,下面我们来一起回顾一下在线架构的召回部分,大部分情况下我们召回部分得到的结果呢,是直接写入到KV存储当中了。用户访问我们的Server的时候呢,直接召回到自己对应的推荐结果,我们拿到推荐结果对应的id呢,从我们的Detail Server当中的获取Detail 传给我们的排序部分,但是呢在一些复杂场景情况下,我们比如训练了一些深度学习的模型,那么我们在用户访问我们的Server的时候呢,我们首先得需要拼接一下用户侧(user info)的特征,然后呢访问我们的Server得到用户的向量表示然后再进行召回。

2、Rank在线架构

说完了个性化召回的在线架构的,下面我们来一起看一下排序部分在线架构。排序部分在线架构根据我们模型的不同的分为以下几种。

在这里插入图片描述
1、如果是像逻辑回归或者是GBDT这种浅层模型。我们这里的Rank Server可以直接将模型加载到内存当中,与我们的推荐引擎的进行服务的交互。用户访问我们的Server的时候,我们首先召回得到我们的候选集列表,对于每一个候选集列表,那我们去KV当中的拼一下我们的特征,就是获得我们用户侧(user info)的特征以及项目侧(item info)的特征包括一些上下文特征等等。我们将拼接的特征的传递给让给Rank Server。Rank Server用模型来进行下预测,将预测的结果呢再传递给我们的推荐引擎。推荐引擎的依据我们每一个item预测的得分的进行一下排序,这个顺序呢就是展示给用户的顺序。

2、如果我们这里采用像WD这样的深度学习模型的话,我们这里的Rank Server需要与我们的TF Server进行交互,这里的Rank Server相当于我们这里的请求的透传,并且返回的结果呢,也透传给我们的推荐引擎。

三、本课程所讲述过的算法模型的内容回顾

回顾完了在线架构,我们来一起看一下本课程具体讲解了哪些算法与模型?

首先来看个性化召回部分,这里我们介绍了基于领域的CF、LFM、Person Rank 、Item2Vec、ContentBased。我们CF是在个性化推荐算法实战入门必修课里介绍的,入门必修课是一门免费的课程大家都可以看到。还有我们基于内容的推荐以及呢,我们这里基于深度学习的推荐Item2Vec。

我们在排序部分的介绍了浅层模型Rank LR(逻辑回归),浅层模型组合GBDT。介绍了浅层模型不同模型的组合:LR+GBDT的混合模型。最后我们介绍了深度学习模型WD。以上的每一个算法或者模型呢,我们都是从物理意义数学公式推导,代码实战等几个方面来给大家介绍的,那么好了,本章节的内容到这里就全部结束了。本章节重点回顾了我们本次课程所讲述的全部内容。到这里本次个性化推荐算法实战课程的全部内容就结束了,非常感谢大家对于本课程的认真学习。祝大家在本次课程中学习一切顺利。