用户行为如何建模研究论文

如何做用户行为路径分析

用户行为路径分析是互联网行业特有的一类数据分析方法，它主要根据每位用户在App或网站中的点击行为日志，分析用户在App或网站中各个模块的流转规律与特点，挖掘用户的访问或点击模式，进而实现一些特定的业务用途，如App核心模块的到达率提升、特定用户群体的主流路径提取与浏览特征刻画，App产品设计的优化与改版等。

本文会对用户行为路径分析方法作一些简单的探讨，更多的偏向于一些路径分析业务场景与技术手段的介绍，起到抛砖引玉的作用，欢迎致力于互联网数据分析的朋友们拍砖与批评。以后有机会可以继续介绍分享与实际业务结合较多的用户行为路径分析案例。

一、 路径分析业务场景

用户行为路径分析的一个重要终极目的便是优化与提升关键模块的转化率，使得用户可以便捷地依照产品设计的期望主流路径直达核心模块。具体在分析过程中还存在着以下的应用场景：

用户特征分析中常常使用的都是一些如性别、地域等人口统计数据或订单价、订单数等运营数据，用户访问路径数据为我们了解用户特征打开了另一扇大门。例如对于一款图片制作上传分享的应用，我们可以通过用户的App使用操作数据，来划分出乐于制作上传的创作型用户，乐于点赞评论的互动型用户，默默浏览看图的潜水型用户，以及从不上传只会下载图片的消费型用户。

路径分析对产品设计的优化与改进有着很大的帮助，可以用于监测与优化期望用户路径中各模块的转化率，也可以发现某些冷僻的功能点。一款视频创作分享型App应用中，从开始拍摄制作视频到视频的最终发布过程中，用户往往会进行一系列的剪辑操作；通过路径分析，我们可以清晰的看到哪些是用户熟知并喜爱的编辑工具，哪些操作过于冗长繁琐，这样可以帮助我们针对性地改进剪辑操作模块，优化用户体验。如果在路径分析过程中用户的创作数量与用户被点赞、评论以及分享的行为密切相关，就可以考虑增强这款App的社交性，增强用户黏性与创作欲望。

3、产品运营过程的监控

产品关键模块的转化率本身即是一项很重要的产品运营指标，通过路径分析来监测与验证相应的运营活动结果，可以方便相关人员认识了解运营活动效果。

二、 路径分析数据获取

互联网行业对数据的获取有着得天独厚的优势，路径分析所依赖的数据主要就是服务器中的日志数据。用户在使用App过程中的每一步都可以被记录下来，这时候需要关注的便是优秀的布点策略，它应当与我们所关心的业务息息相关。这里可以推荐一下诸葛io，一款基于用户洞察的精细化运营分析工具；将诸葛io的SDK集成到App或网站中，便能获得应用内的所有用户行为数据。事实上，诸葛io认为在每个App里，不是所有事件都有着同样的价值，基于对核心事件的深度分析需求，诸葛io推荐大家使用层级化的自定义事件布点方式，每一个事件由三个层次组成的：事件(Event)、属性(Key)和属性值(Value)。同时，诸葛io还为开发者们提供数据监测布点咨询服务，可以根据丰富的行业经验为客户提供个性化的事件布点咨询和技术支持。

三、 漏斗模型与路径分析的关系

以上提到的路径分析与我们较为熟知的漏斗模型有相似之处，广义上说，漏斗模型可以看作是路径分析中的一种特殊情况，是针对少数人为特定模块与事件节点的路径分析。

漏斗模型通常是对用户在网站或App中一系列关键节点的转化率的描述，这些关键节点往往是我们人为指定的。例如我们可以看到某购物App应用的购买行为在诸葛io中的漏斗转化情况。这款购物App平台上，买家从浏览到支付成功经历了4个关键节点，商品浏览、加入购物车、结算、付款成功，从步骤1到步骤4，经历了其关键节点的人群越来越少，节点的转化率呈现出一个漏斗状的情形，我们可以针对各个环节的转化效率、运营效果及过程进行监控和管理，对于转化率较低的环节进行针对性的深入分析与改进。其他的漏斗模型分析场景可以根据业务需求灵活运用，诸葛io平台中拥有十分强大的漏斗分析工具，是您充分发挥自己对于数据的想象力的平台，欢迎参看一个基于漏斗模型的分析案例《漏斗/留存新玩儿法》。

路径分析与漏斗模型存在不同之处，它通常是对每一个用户的每一个行为路径进行跟踪与记录，在此基础上分析挖掘用户路径行为特点，涉及到每一步的来源与去向、每一步的转化率。可以说，漏斗模型是事先的、人为的、主动的设定了若干个关键事件节点路径，而路径分析是探索性的去挖掘整体的行为路径，找出用户的主流路径，甚至可能发现某些事先不为人知的有趣的模式路径。从技术手段上来看，漏斗模型简单直观计算并展示出相关的转化率，路径分析会涉及到一些更为广泛的层面。

四、路径分析常见思路与方法

1、朴素的遍历统计与可视化分析探索

通过解析布点获得的用户行为路径数据，我们可以用最简单与直接的方式将每个用户的事件路径点击流数据进行统计，并用数据可视化方法将其直观地呈现出来。D3.js是当前最流行的数据可视化库之一，我们可以利用其中的Sunburst Partition来刻画用户群体的事件路径点击状况。从该图的圆心出发，层层向外推进，代表了用户从开始使用产品到离开的整个行为统计；sunburst事件路径图可以快速定位用户的主流使用路径。通过提取特定人群或特定模块之间的路径数据，并使用sunburst事件路径图进行分析，可以定位到更深层次的问题。灵活使用sunburst路径统计图，是我们在路径分析中的一大法宝。

诸葛io不仅能够便捷获取布点数据，也为客户提供了个性化的sunburst事件路径图分析，并可为客户产品制作定制化的产品分析报告。

2、基于关联分析的序列路径挖掘方法

提到关联规则分析，必然免不了数据挖掘中的经典案例“啤酒与尿布”。暂且不论“啤酒与尿布”是不是Teradata的一位经理胡编乱造吹嘘出来的“神话故事”，这个案例在一定程度上让人们理解与懂得了购物篮分析（关联分析）的流程以及背后所带来的业务价值。将超市的每个客户一次购买的所有商品看成一个购物篮，运用关联规则算法分析这些存储在数据库中的购买行为数据，即购物篮分析，发现10%的顾客同事购买了尿布与啤酒，且在所有购买了尿布的顾客中，70%的人同时购买了啤酒。于是超市决定将啤酒与尿布摆放在一起，结果明显提升了销售额。

我们在此不妨将每个用户每次使用App时操作所有事件点看成“购物篮”中的“一系列商品”，与上面提到的购物篮不同的是，这里的所有事件点击行为都是存在严格的前后事件顺序的。我们可以通过改进关联规则中的Apriori或FP-Growth算法，使其可以挖掘存在严格先后顺序的频繁用户行为路径，不失为一种重要的用户路径分析思路。我们可以仔细考量发掘出来的规则序列路径所体现的产品业务逻辑，也可以比较分析不同用户群体之间的规则序列路径。

早期的搜索引擎主要基于检索网页内容与用户查询的相似性或者通过查找搜索引擎中被索引过的页面为用户查找相关的网页，随着90年代中后期互联网网页数量的爆炸式增长，早期的策略不再有效，无法对大量的相似网页给出合理的排序搜索结果。现今的搜索引擎巨头如Google、百度都采用了基于链接分析的搜索引擎算法来作为这个问题解决方法之一。网页与网页之间通过超链接结合在一起，如同微博上的社交网络通过关注行为连接起来，社交网络中有影响力很大的知名权威大V们，互联网上也存在着重要性或权威性很高的网页。将权威性较高的网页提供到搜索引擎结果的前面，使得搜索的效果更佳。

我们将社交网络中的人看作一个个节点，将互联网中的网页看作一个个节点，甚至可以将我们的App产品中的每一个模块事件看作一个个节点，节点与节点之间通过各自的方式连接组成了一个特定的网络图，以下将基于这些网络结构的分析方法统称为社会网络分析。

社会网络分析中存在一些较为常见的分析方法可以运用到我们的路径分析中来，如节点的中心性分析，节点的影响力建模，社区发现等。通过中心性分析，我们可以去探索哪些模块事件处于中心地位，或者作为枢纽连接了两大类模块事件，或者成为大多数模块事件的最终到达目的地。通过社区发现，我们可以去探索这个社会网络中是否存在一些“小圈子”，即用户总是喜欢去操作的一小部分行为路径，而该部分路径又与其他大部分模块相对独立。

以上是小编为大家分享的关于如何做用户行为路径分析的相关内容，更多信息可以关注环球青藤分享更多干货

论文： 论文题目：《Search-based User Interest Modeling with Lifelong Sequential Behavior Data for Click-Through Rate Prediction》 地址： 这是阿里妈妈发表在2020SIGIR上面的又一篇佳作，让我们来阅读一下这篇论文吧。 在CTR/CVR预估领域中，用户历史行为对CTR/CVR预估的建模是很有指导意义的，用户的历史行为序列中潜藏着用户丰富的”兴趣点“，用户的每一次行为都是某个方面兴趣的一种反应。比如我喜欢各种口红产品、喜欢洗面奶、但是又对某个牌子不是特别感兴趣，基于这些兴趣的驱动，我可能浏览、点击过很多相关领域的内容或商品，那这些历史行为是否对我未来行为的预测有帮助呢，答案是肯定的。正是基于上述这种主观的行为模式，我们才需要对用户的历史行为进行建模，用户行为队列越长，包含的用户兴趣也就越丰富，但是同样也会带来更大的挑战，其实用户的兴趣是发散的多元的，如何从发散多元的用户兴趣中找到真正对当前任务有帮助的兴趣是十分重要的。 在介绍这篇论文之前建议先去看一下阿里的另一篇论文MIMN，也是基于用户长序列进行CTR预估的论文，但是MIMN存在着几个问题，一个是因为，当用户行为序列的长度进一步增加（例如，增加10倍或比十倍更多）时，MIMN无法精确捕获给定特定候选项的用户兴趣。另一个是因为，MIMN不能很好的解决延时和存储这两个瓶颈上的棘手问题，也就是说部署到线上到时候如何才能做到延时跟其他轻量模型相近。 在淘宝中，用户的浏览序列长度可能达到上千甚至上万个，怎么高效且有效的利用这种长序列信息呢？阿里妈妈提出了SIM模型来进一步从用户丰富的长期历史行为队列中挖掘用户有价值的兴趣点，并且提供一种长行为序列线上服务化的可行性方案，接下来就来看看这篇论文吧。 模型总览： SIM分为两个阶段，这两个阶段都有自己的核心部分，文章中将长序列用户行为特征的建模分为了两个模块，即Genral Search Unit（GSU）和Exact Search Unit（ESU），这两部分就是两个阶段的核心模块了。先简单的介绍下这两个模块的作用吧。GSU如图所示，简单理解就是从几百上千的用户长序列中挑选出TopK个跟候选Item最相似的K个Item，类比与推荐系统中的召回模块，先降低长序列物品的长度，在进行后续任务。另一个是ESU，这个模块的作用是对刚刚GSU抽取出来对K个物品进行序列建模，得到一个能代表用户长序列兴趣对向量，并利用这个向量进行后面对排序。 GSU的主要任务是从长度为T的序列中抽取出K个跟候选item相似的item，GSU有两种方式来选取TopK个物品，分别是hard-search 和soft-search。前面也提到了GSU类比于推荐系统中的召回阶段，而在多路召回中，一般也有基于Embedding的召回和基于策略规则的召回，其中hard-search就是基于规则的召回，soft-search就是基于Embedding的召回，下面来详细讲一下这两种方法。 这种方法比较直观而且实施起来比较简单，就是我们从候选行为序列中按照给定规则筛选出与当前目标任务相关的候选集，举个例子，我在淘宝上历史浏览过很不同种类的商品（比如电子产品、口红、男鞋等等），当候选广告是iphone12时，hard-search方法会从我历史行为队列中筛选出电子产品相关的行为进行建模，用于PCTR预估，而口红、男鞋大概率就不会对这次预估产生影响，通过上面这个例子大家应该能明白这种基于规则和策略的思路。论文中指出hard-search方法使用的是商品类别作为筛选的标准。 这种方法是基于Embedding的抽取方式，从上面的模型图的左侧可以看到整个soft-search的结构。这个部分也是一个子模型，模型的输入是候选Item和长序列，目标是CTR预估，用这种方式来学习候选Item和长序列Item的embedding信息。有了Embedding后，就可以将候选广告embedding和历史行为中的embedding算一个内积相似度，利用近似最近邻检索方法（论文中用的是ALSH）来得到topK相关的候选行为序列。 在这个子model中，DNN的输入是候选item  和Ur的concat，其中Ur：注意，如果用户行为增长到一定程度，则不可能将整个用户行为直接输入模型。 在这种情况下，可以从长序列用户行为中随机采样子序列集，这些行为仍需遵循原始序列的相同分布。 这种方法的缺点就是计算开销比较大，不如基于规则的hard-search方便，优点就是效果应该会更好一些。但是论文中也提到了两种方法在效果上的差异不是特别的大，所以最后基于性能和效果的折中，采用了hard-search这种比较简单的方式。 从模型整体上来看，这部分主要是利用从GSU抽取出来的K个Item得到一个能代表用户长期兴趣的向量，并配合其他特征送的DNN里面做整体的CTR预估任务。 论文中对这K个来自GSU对item是用self-attention进行序列建模的： 其中 为： concat中第一个是原始的embedding，第二个是关于时间的embedding。 根据self-attention的方式，我们又得到了一个向量h(K)。 这里，第二个子model也进行了ctr预估，特征是模型图上面画出来 input，还有个dien，dien前面的文章以及介绍过了，就不再赘述。 最后的loss是： 其中α和β是控制损耗权重的超参数。 在我们的实验中，如果GSU使用软搜索模型，则将α和β都设置为1。具有硬搜索模型的GSU是非参数的，并且α设置为0。 广告推荐系统对线上的计算耗时要求还是比较严格的，因为要保证用户最基本的用户体验。随着用户行为序列的进一步增长，采用传统的方式直接对长序列用户行为进行计算耗时和内存占用会增长的特别快，所以需要有针对性的对线上系统进行一定的升级和改造。文章提到在hard-search和soft-search的选择中，是基于大量的离线实验结果最终决定采用hard-search这种方便快捷有效的方式，同时信息损失也在可以接受的范围内。 一般的线上部署的系统架构图是这样： 为了让SIM能更好的给用户带来低延时的体验，阿里构建了SIM的Online Seving结构： 可以看到对于用户的行为序列，论文采用的是对每个用户采用的是两层索引的结构：key-key-value，第一个key是user_id，第二个key是category ids，value是用户行为序列中属于对应类别的item。用这种方式可以很快的通过这个索引树找到属于统一category的物品。线上A/B Test实验效果： 用户的历史行为对于整个CTR/CVR预估任务越来越重要了，如果不考虑时间和存储，那么把所有的序列输入到模型中作为长期兴趣关键点是可以精确的定位出用户的长期兴趣的，但是由于性能的原因就不得不考虑用特殊的方法对这个长序列进行一次筛选，筛选的K个物品都是跟候选Item相似的物品，能做到裁剪的效果还不会带来CTR预估的损失。在进行筛选过程中还分为了两种方法，但是为了部署到线上，就要考虑性能最好的hard-search方式进行TopK筛选任务，这种方式跟Embedding筛选的效果是差不多的，但是速度比Embedding快，所以采用这种方式。 未来应该还会有更多针对序列推荐的论文，单纯的对长序列阶段还带来一定的兴趣偏差，所以如何有效挖掘用户更丰富行为特征背后的商业价值是需要好好思考的。

基于用户行为分析建立用户偏好模型我们经常将个性化推荐的思想简单地抽象为：通过用户的行为推测出用户的兴趣，从而给用户推荐满足他们兴趣的物品。那我们其实就是要通过用户行为分析建立一个用户偏好(偏好即兴趣)模型，模型中包含各个用户的一个或更多个偏好。插叙一段像「用户行为」，「用户兴趣」这样的词，大多数人都有一个默认的感知，甚至对于这种词的理解可能已固化为常识，所以我很少见到有文章使用这些词时解释它们。我感觉涉及到算法模型时，对这些词的不加限定的宽泛认知就容易影响对算法模型的深入理解，会导致感知模糊却不自知。因为不同人对这些词的基本理解可能一致，但是拓展理解各不相同。本文会作出限定解释，且本文所谈用户行为都是指网络(可以是电信网络，互联网)上的行为。概念解释实体域当我们想基于用户行为分析来建立用户偏好模型时，我们必须把用户行为和兴趣主题限定在一个实体域上。个性化推荐落实在具体的推荐中都是在某个实体域的推荐。比如对于阅读网站，实体域包括所有的图书，我们可以称之为图书域。其他还有，个性化音乐推荐，个性化电影推荐，个性化资讯推荐等。用户行为用户在门户网站点击资讯，评论资讯，在社交网站发布状态，评论状态，在电商网站浏览商品，购买商品，点评商品，以及在其他类型网站的种种行为都可是用户行为。本文所指的用户行为都是指用户在某实体域上的行为。比如用户在图书域产生的行为有阅读，购买，评分，评论等。兴趣主题用户的兴趣维度，同样是限定在某实体域的兴趣，通常可以以标签的形式来表示。比如，对于图书阅读，兴趣主题可以是「悬疑」，「科技」，「情感」等等分类标签。值得一提的是，兴趣主题，只是从用户行为中抽象出来的兴趣维度，并无统一标准。比如qq阅读和豆瓣阅读的图书分类标签大不一样。而兴趣维度的粒度也不固定，就像门户网站有「新闻」，「体育」，「娱乐」等一级分类，而新闻下有「国内」，「社会」，「国际」二级分类，娱乐下有「明星」，「星座」，「八卦」二级分类。我们选取什么粒度的兴趣空间取决于我们对用户偏好模型的要求。兴趣空间在同一层次上兴趣维度的集合，比如豆瓣阅读中，可以用「新上架」，「热门」，「特价」，「免费」来构成一个兴趣空间(当然，如果使用这个兴趣空间来表征用户的兴趣，就太粗了，这里只是假设)，也可以用「小说」，「幻想」，「计算机」，「科技」，「历史」·····「美食」构成一个兴趣空间。这是两种不同的分类维度。如果将「新上架」也加入到后者集合里，就显然有些莫名其妙。值得一提是，这也并非不可能，这取决于一个如何看待这个集合的问题，如果不把它看作基于内容的分类，而是图书标签库，那么也是可行的，甚至利于建立更好地模型。本文后面我有提到。用户行为数据项亮在他的《推荐系统实践》的2.1节有详细介绍。通常在经过对行为日志的汇总处理后生成的比较容易理解的数据就是一份描述用户行为的会话日志。这种日志记录了用户的各种行为，比如在图书阅读app中这些行为主要包括点击，试读，购买，阅读(在本地app中，阅读行为有可能追踪不到)，评分，评论。建立用户偏好模型基于用户行为分析建立用户偏好模型的核心工作就是：将用户的行为转换为用户的偏好。我们采用矩阵运算的思维方式，以图书阅读为例说明。下图表示用户(user)集合：下图表示图书(item)集合：那么用户的行为矩阵可以表达为：行表示用户，列表示图书，我们暂只考虑图书的购买行为，1表示用户看过该图书，0表示用户没有看过该图书。如何将上述用户行为矩阵转化为用户兴趣矩阵(即行代表用户，列代表兴趣维度)，一种显著的方法是我们先确定图书与兴趣维度的对应关系矩阵。而这个的前提是我们确定了使用何种兴趣空间。一种常见的方式是专家给出一些样本的分类结果，也就是一般意义的训练数据，然后通过分类算法，得到分类模型，然后应用到其余数据的分类问题当中，解决其余大量数据的分类问题。这种分类的特点是一本图书只被标记为一种类别，假如有3个类别，那么图书-兴趣矩阵为：那么用户行为矩阵转换为用户兴趣矩阵的运算公式即可表示为下图，行表示用户，列表示兴趣，算出的矩阵再经过归一化后，每个值就代表某个用户在某个兴趣的偏好权重。选择这样的兴趣空间的局限显而易见：一本图书只能属于一个兴趣维度。实际情况中，一本图书通常不只属于某个分类，并且当图书的数据巨大时，寄希望于编辑分类可能会越来越难以维持，所以通常是由用户主动给图书添加标签，或者机器基于内容，提取关键词。但是这种形式得到的标签集会存在同义，生僻，维度过多等情况，需要经过标签清洗的重要工作。前面已经看到兴趣空间的选择真的是非常重要，直接影响所得到用户的兴趣矩阵。所以同样的方法都得到了用户偏好，但是好不好用，就跟这部分工作有关了。用户行为加权上面展示的用户行为矩阵示例是一个非常简单的，直接可以从数据库里提取的例子。而实际中在数据能够支撑的情况下，我们不可能只考虑一种行为。为了获得更合理的行为矩阵，我们就需要进行行为加权。比如，A1表示用户点击的行为矩阵，A2表示购买的行为矩阵，A3表示评分的行为矩阵，那么加权矩阵就是：至于各矩阵的权重跟我们建立用户偏好模型的目的有关，如果我们更希望找准用户的品味偏好，那么权重可能是：a1 < a2 < a3;如果我们更希望用户购买，那么权重可能是：a1 < a3 < a2。其他用户行为分析方法上面介绍的方法也算是一种主流的方法。但是从上面介绍的「兴趣主题」，「兴趣空间」也可以看出作出好的分类并不容易，分类粒度，分类维度等都不好控制，用户打标签也需要复杂的标签清洗工作。在图书，电影这样的实体域，我们还可以通过类别给用户推荐喜欢的物品，而在个性化资讯推荐领域(这里仅举个例子，资讯推荐应该有其特殊之处)，我们不见得能通过类别推荐用户喜欢的资讯，甚至用户本身也不在意类别。我们并不需要显式地构建物品-兴趣对应关系矩阵，也可以将用户和所喜欢类别的物品关联起来。这就涉及到隐含语义分析技术。这个部分会日后在此文补充。小总结以上可以看出基于用户行为分析的用户偏好建模的常规方法非常简单明了。事实上也的确如此，在使用这些方法或者思想编写程序计算都不是什么难事。而实际上，我们遇到的问题却并非是方法本身，而是数据本身。数据方面的两大问题是稀疏和长尾分布。通常有行为数据用户很少，而用户的行为对象也集中在不多的物品上。方法易学，而数据问题只能在实战中才能深刻体会，才会发现主要的精力和难点都在解决数据的稀疏和长尾上。希望日后能结合实际问题写写解决数据问题的文章。此外，上面虽然是用矩阵运算的思想讲述，但我在实际项目中发现其运算的本质其实是对用户行为的统计。所以在实战中，不一定要先建矩阵，再做计算，直接在数据库里使用sql计算非常方便。