用户行为研究方法论文

国外和国内用户和实体行为分析市场容量研究报告小张的旅行记2022-11-23 07:26+订阅全球用户和实体行为分析市场规模2021年达亿元（人民币）。报告中给出主要区域（北美、欧洲、以及亚太等主要地区）在全球用户和实体行为分析市场中的份额占比。其中，2021年中国占全球用户和实体行为分析市场的。贝哲斯咨询预测，至2027年全球用户和实体行为分析市场规模将以的CAGR达到亿元。用户和实体行为分析（UEBA）被认为是利用先进的分析方法，如机器学习来对实体行为（如设备、服务器、用户、应用程序等）进行基线分析，并根据这些基线来区分安全违规行为。用户和实体行为分析市场报告通过分析全球及中国市场运行形势（政法环境、经济环境、社会环境和技术环境），结合行业整体概况、上下游行业、产品种类以及应用领域细分市场发展，总结了用户和实体行为分析行业过去几年市场发展趋势与当前行业发展态势，并重点对行业未来发展趋势做出了预测。报告出版商: 湖南贝哲斯信息咨询有限公司报告通过分析全球及中国用户和实体行为分析行业市场所处的宏观环境，结合市场历年发展趋势规律与行业现状，对全球及中国用户和实体行为分析行业的发展前景及市场规模进行了预测，其中包含对全球（北美、欧洲、亚太）用户和实体行为分析行业市场发展趋势和市场规模的预测，也包含对中国用户和实体行为分析行业市场发展趋势、关键技术发展趋势、以及市场规模的预测。主要竞争企业列表：Rapid7 (US)Securonix (US)Splunk Inc. (US)Bottomline TechnologiesInc. (.)ExabeamInc. (US)Bay Dynamics (US)Dtex Systems (US)Varonis SystemsInc. (US)Gurucul (US)Niara Inc. (US)Sqrrl DataInc. (US)Microsoft Corporation (US)Observe IT (Israel)按产品分类：服务解决方案按应用领域分类：零售能源和公用事业信息技术和电信医疗保健政府金融服务和保险业其他就区域而言，报告将全球用户和实体行为分析市场细分为北美、欧洲、亚太及中国（东北、华北、华东、华南、华中、西北、西南）地区。报告分析了这些区域市场发展概况和发展现状，并提供了当前与未来市场价值以及各区域市场发展优劣势分析。目录各章节摘要：第一章：该章节简介了用户和实体行为分析行业的定义及特点、上下游行业、影响用户和实体行为分析行业发展的驱动因素及限制因素；第二章：该章节分析了全球及中国行业宏观环境，运用PEST分析模型对全球及中国市场发展环境进行逐一阐释；第三、四章：全球与中国用户和实体行为分析行业发展概况（发展阶段、市场规模及份额、竞争格局、市场集中度）分析；第五、六章：该两章节阐释了全球（北美、欧洲、亚太）及中国（东北、华北、华东、华南、华中、西北、西南）等细分地区的用户和实体行为分析行业发展概况和现状；第七、八章：该两章节对用户和实体行为分析行业的产品类型及细分应用市场份额及规模进行了罗列分析；第九、十章：该两章节详列了中国用户和实体行为分析行业的主要企业（基本情况、主要产品和服务介绍、经营概况分析及优劣势），并分析了行业的竞争策略；第十一、十二章：全球（全球、北美、欧洲、亚太）及中国用户和实体行为分析行业的发展趋势及市场规模预测；第十三章：用户和实体行为分析行业投资价值评估与行业成长性分析、投资回报周期分析、投资风险分析以及热点分析。目录第一章 用户和实体行为分析行业基本概述 用户和实体行为分析行业定义及特点 用户和实体行为分析简介 用户和实体行为分析行业特点 用户和实体行为分析行业产业链分析 用户和实体行为分析行业上游行业介绍 用户和实体行为分析行业下游行业解析 用户和实体行为分析行业产品种类细分 用户和实体行为分析行业应用领域细分 用户和实体行为分析行业发展驱动因素 用户和实体行为分析行业发展限制因素第二章 全球及中国用户和实体行为分析行业市场运行形势分析 中国用户和实体行为分析行业政治法律环境分析 行业主要政策及法律法规 行业相关发展规划 用户和实体行为分析行业经济环境分析 全球宏观经济形势分析 中国宏观经济形势分析 产业宏观经济环境分析 用户和实体行为分析行业在国民经济中的地位与作用 用户和实体行为分析行业社会环境分析 用户和实体行为分析行业技术环境分析第三章 全球用户和实体行为分析行业发展概况分析 全球用户和实体行为分析行业发展现状 全球用户和实体行为分析行业发展阶段 全球用户和实体行为分析行业市场规模 全球各地区用户和实体行为分析行业市场份额 全球用户和实体行为分析行业竞争格局 全球用户和实体行为分析行业市场集中度分析 新冠疫情对全球用户和实体行为分析行业的影响第四章 中国用户和实体行为分析行业发展概况分析 中国用户和实体行为分析行业发展现状 中国用户和实体行为分析行业发展阶段 中国用户和实体行为分析行业市场规模 中国用户和实体行为分析行业在全球竞争格局中所处地位 “十四五”规划关于用户和实体行为分析行业的政策引导 中国各地区用户和实体行为分析行业市场份额 中国用户和实体行为分析行业竞争格局 中国用户和实体行为分析行业市场集中度分析 中国用户和实体行为分析行业发展机遇及挑战 新冠疫情对中国用户和实体行为分析行业的影响 “碳中和”政策对中国用户和实体行为分析行业的影响第五章 全球各地区用户和实体行为分析行业发展概况分析 北美地区用户和实体行为分析行业发展概况 北美地区用户和实体行为分析行业发展现状 北美地区用户和实体行为分析行业主要政策 欧洲地区用户和实体行为分析行业发展概况 欧洲地区用户和实体行为分析行业发展现状 欧洲地区用户和实体行为分析行业主要政策 亚太地区用户和实体行为分析行业发展概况 亚太地区用户和实体行为分析行业发展现状 亚太地区用户和实体行为分析行业主要政策第六章 中国各地区用户和实体行为分析行业发展概况分析 东北地区用户和实体行为分析行业发展概况 东北地区用户和实体行为分析行业发展现状 东北地区用户和实体行为分析行业发展优劣势分析 华北地区用户和实体行为分析行业发展概况 华北地区用户和实体行为分析行业发展现状 华北地区用户和实体行为分析行业发展优劣势分析 华东地区用户和实体行为分析行业发展概况 华东地区用户和实体行为分析行业发展现状 华东地区用户和实体行为分析行业发展优劣势分析 华南地区用户和实体行为分析行业发展概况 华南地区用户和实体行为分析行业发展现状 华南地区用户和实体行为分析行业发展优劣势分析 华中地区用户和实体行为分析行业发展概况 华中地区用户和实体行为分析行业发展现状 华中地区用户和实体行为分析行业发展优劣势分析 西北地区用户和实体行为分析行业发展概况 西北地区用户和实体行为分析行业发展现状 西北地区用户和实体行为分析行业发展优劣势分析 西南地区用户和实体行为分析行业发展概况 西南地区用户和实体行为分析行业发展现状 西南地区用户和实体行为分析行业发展优劣势分析 中国各地区用户和实体行为分析行业发展程度分析 中国用户和实体行为分析行业发展主要省市第七章 中国用户和实体行为分析行业产品细分 中国用户和实体行为分析行业产品种类及市场规模 中国服务市场规模 中国解决方案市场规模 中国用户和实体行为分析行业各产品种类市场份额年中国各产品种类市场份额年中国各产品种类市场份额 中国用户和实体行为分析行业产品价格变动趋势 影响中国用户和实体行为分析行业产品价格波动的因素 成本 供需情况 关联产品 其他 中国用户和实体行为分析行业各类型产品优劣势分析第八章 中国用户和实体行为分析行业应用市场分析 用户和实体行为分析行业应用领域市场规模 用户和实体行为分析在零售应用领域市场规模 用户和实体行为分析在能源和公用事业应用领域市场规模 用户和实体行为分析在信息技术和电信应用领域市场规模 用户和实体行为分析在医疗保健应用领域市场规模 用户和实体行为分析在政府应用领域市场规模 用户和实体行为分析在金融服务和保险业应用领域市场规模 用户和实体行为分析在其他应用领域市场规模 用户和实体行为分析行业应用领域市场份额年中国用户和实体行为分析在不同应用领域市场份额年中国用户和实体行为分析在不同应用领域市场份额 中国用户和实体行为分析行业进出口分析 不同应用领域对用户和实体行为分析产品的关注点分析 各下游应用行业发展对用户和实体行为分析行业的影响第九章 全球和中国用户和实体行为分析行业主要企业概况分析 Dtex Systems (US) Dtex Systems (US)基本情况（包含财务数据,销售额,毛利率等） Dtex Systems (US)主要产品和服务介绍 Dtex Systems (US)经营情况分析 Dtex Systems (US)优劣势分析 Gurucul (US) Gurucul (US)基本情况（包含财务数据,销售额,毛利率等） Gurucul (US)主要产品和服务介绍 Gurucul (US)经营情况分析 Gurucul (US)优劣势分析 Bay Dynamics (US) Bay Dynamics (US)基本情况（包含财务数据,销售额,毛利率等） Bay Dynamics (US)主要产品和服务介绍 Bay Dynamics (US)经营情况分析 Bay Dynamics (US)优劣势分析 Securonix (US) Securonix (US)基本情况（包含财务数据,销售额,毛利率等） Securonix (US)主要产品和服务介绍 Securonix (US)经营情况分析 Securonix (US)优劣势分析 Rapid7 (US) Rapid7 (US)基本情况（包含财务数据,销售额,毛利率等） Rapid7 (US)主要产品和服务介绍 Rapid7 (US)经营情况分析 Rapid7 (US)优劣势分析 Bottomline Technologies, Inc (US) Bottomline Technologies, Inc (US)基本情况（包含财务数据,销售额,毛利率等） Bottomline Technologies, Inc (US)主要产品和服务介绍 Bottomline Technologies, Inc (US)经营情况分析 Bottomline Technologies, Inc (US)优劣势分析 Sqrrl Data, Inc (US) Sqrrl Data, Inc (US)基本情况（包含财务数据,销售额,毛利率等） Sqrrl Data, Inc (US)主要产品和服务介绍 Sqrrl Data, Inc (US)经营情况分析 Sqrrl Data, Inc (US)优劣势分析 Niara Inc (US) Niara Inc (US)基本情况（包含财务数据,销售额,毛利率等） Niara Inc (US)主要产品和服务介绍 Niara Inc (US)经营情况分析 Niara Inc (US)优劣势分析 Observe IT (Israel) Observe IT (Israel)基本情况（包含财务数据,销售额,毛利率等） Observe IT (Israel)主要产品和服务介绍 Observe IT (Israel)经营情况分析 Observe IT (Israel)优劣势分析 Exabeam, Inc (US) Exabeam, Inc (US)基本情况（包含财务数据,销售额,毛利率等） Exabeam, Inc (US)主要产品和服务介绍 Exabeam, Inc (US)经营情况分析 Exabeam, Inc (US)优劣势分析 Varonis Systems, Inc (US) Varonis Systems, Inc (US)基本情况（包含财务数据,销售额,毛利率等） Varonis Systems, Inc (US)主要产品和服务介绍 Varonis Systems, Inc (US)经营情况分析 Varonis Systems, Inc (US)优劣势分析 Microsoft Corporation (US) Microsoft Corporation (US)基本情况（包含财务数据,销售额,毛利率等） Microsoft Corporation (US)主要产品和服务介绍 Microsoft Corporation (US)经营情况分析 Microsoft Corporation (US)优劣势分析 Splunk Inc (US) Splunk Inc (US)基本情况（包含财务数据,销售额,毛利率等） Splunk Inc (US)主要产品和服务介绍 Splunk Inc (US)经营情况分析 Splunk Inc (US)优劣势分析第十章 用户和实体行为分析行业竞争策略分析 用户和实体行为分析行业现有企业间竞争 用户和实体行为分析行业潜在进入者分析 用户和实体行为分析行业替代品威胁分析 用户和实体行为分析行业供应商及客户议价能力第十一章 全球用户和实体行为分析行业市场规模预测 全球用户和实体行为分析行业发展趋势 全球用户和实体行为分析行业市场规模预测 北美用户和实体行为分析行业市场规模预测 欧洲用户和实体行为分析行业市场规模预测 亚太用户和实体行为分析行业市场规模预测第十二章 中国用户和实体行为分析行业发展前景及趋势 中国用户和实体行为分析行业市场发展趋势 中国用户和实体行为分析行业关键技术发展趋势 中国用户和实体行为分析行业市场规模预测第十三章 用户和实体行为分析行业价值评估 用户和实体行为分析行业成长性分析 用户和实体行为分析行业回报周期分析 用户和实体行为分析行业风险分析 用户和实体行为分析行业热点分析用户和实体行为分析市场调研报告目标用户涵盖：用户和实体行为分析企业（制造、贸易、分销及供应商等）、用户和实体行为分析科研院校及行业协会、用户和实体行为分析产品经理、行业管理人员、市场咨询服务机构等。用户和实体行为分析市场报告从市场宏观环境、发展趋势、竞争态势、潜在机遇与风险等方面进行调研分析，通过有价值的市场洞察帮助目标用户提升企业核心竞争力。湖南贝哲斯信息咨询有限公司是一家业内专业的现代化咨询公司，从事市场调研服务、商业报告、技术咨询等三大主要业务范畴。我们的宗旨是为合作伙伴源源不断地带来短期及长期的显著效益，通过强大的部委渠道支持、丰富的行业数据资源、创新的研究方法等，精益求精地完成每一次合作。贝哲斯已为上千家包括初创企业、机构、银行、研究所、行业协会、咨询公司和各类投资公司在内的单位提供了专业的市场研究报告、投资咨询及竞争情报服务，项目获取好评同时，也建立了长期的合作伙伴关系。

论文： 论文题目：《Search-based User Interest Modeling with Lifelong Sequential Behavior Data for Click-Through Rate Prediction》 地址： 这是阿里妈妈发表在2020SIGIR上面的又一篇佳作，让我们来阅读一下这篇论文吧。 在CTR/CVR预估领域中，用户历史行为对CTR/CVR预估的建模是很有指导意义的，用户的历史行为序列中潜藏着用户丰富的”兴趣点“，用户的每一次行为都是某个方面兴趣的一种反应。比如我喜欢各种口红产品、喜欢洗面奶、但是又对某个牌子不是特别感兴趣，基于这些兴趣的驱动，我可能浏览、点击过很多相关领域的内容或商品，那这些历史行为是否对我未来行为的预测有帮助呢，答案是肯定的。正是基于上述这种主观的行为模式，我们才需要对用户的历史行为进行建模，用户行为队列越长，包含的用户兴趣也就越丰富，但是同样也会带来更大的挑战，其实用户的兴趣是发散的多元的，如何从发散多元的用户兴趣中找到真正对当前任务有帮助的兴趣是十分重要的。 在介绍这篇论文之前建议先去看一下阿里的另一篇论文MIMN，也是基于用户长序列进行CTR预估的论文，但是MIMN存在着几个问题，一个是因为，当用户行为序列的长度进一步增加（例如，增加10倍或比十倍更多）时，MIMN无法精确捕获给定特定候选项的用户兴趣。另一个是因为，MIMN不能很好的解决延时和存储这两个瓶颈上的棘手问题，也就是说部署到线上到时候如何才能做到延时跟其他轻量模型相近。 在淘宝中，用户的浏览序列长度可能达到上千甚至上万个，怎么高效且有效的利用这种长序列信息呢？阿里妈妈提出了SIM模型来进一步从用户丰富的长期历史行为队列中挖掘用户有价值的兴趣点，并且提供一种长行为序列线上服务化的可行性方案，接下来就来看看这篇论文吧。 模型总览： SIM分为两个阶段，这两个阶段都有自己的核心部分，文章中将长序列用户行为特征的建模分为了两个模块，即Genral Search Unit（GSU）和Exact Search Unit（ESU），这两部分就是两个阶段的核心模块了。先简单的介绍下这两个模块的作用吧。GSU如图所示，简单理解就是从几百上千的用户长序列中挑选出TopK个跟候选Item最相似的K个Item，类比与推荐系统中的召回模块，先降低长序列物品的长度，在进行后续任务。另一个是ESU，这个模块的作用是对刚刚GSU抽取出来对K个物品进行序列建模，得到一个能代表用户长序列兴趣对向量，并利用这个向量进行后面对排序。 GSU的主要任务是从长度为T的序列中抽取出K个跟候选item相似的item，GSU有两种方式来选取TopK个物品，分别是hard-search 和soft-search。前面也提到了GSU类比于推荐系统中的召回阶段，而在多路召回中，一般也有基于Embedding的召回和基于策略规则的召回，其中hard-search就是基于规则的召回，soft-search就是基于Embedding的召回，下面来详细讲一下这两种方法。 这种方法比较直观而且实施起来比较简单，就是我们从候选行为序列中按照给定规则筛选出与当前目标任务相关的候选集，举个例子，我在淘宝上历史浏览过很不同种类的商品（比如电子产品、口红、男鞋等等），当候选广告是iphone12时，hard-search方法会从我历史行为队列中筛选出电子产品相关的行为进行建模，用于PCTR预估，而口红、男鞋大概率就不会对这次预估产生影响，通过上面这个例子大家应该能明白这种基于规则和策略的思路。论文中指出hard-search方法使用的是商品类别作为筛选的标准。 这种方法是基于Embedding的抽取方式，从上面的模型图的左侧可以看到整个soft-search的结构。这个部分也是一个子模型，模型的输入是候选Item和长序列，目标是CTR预估，用这种方式来学习候选Item和长序列Item的embedding信息。有了Embedding后，就可以将候选广告embedding和历史行为中的embedding算一个内积相似度，利用近似最近邻检索方法（论文中用的是ALSH）来得到topK相关的候选行为序列。 在这个子model中，DNN的输入是候选item  和Ur的concat，其中Ur：注意，如果用户行为增长到一定程度，则不可能将整个用户行为直接输入模型。 在这种情况下，可以从长序列用户行为中随机采样子序列集，这些行为仍需遵循原始序列的相同分布。 这种方法的缺点就是计算开销比较大，不如基于规则的hard-search方便，优点就是效果应该会更好一些。但是论文中也提到了两种方法在效果上的差异不是特别的大，所以最后基于性能和效果的折中，采用了hard-search这种比较简单的方式。 从模型整体上来看，这部分主要是利用从GSU抽取出来的K个Item得到一个能代表用户长期兴趣的向量，并配合其他特征送的DNN里面做整体的CTR预估任务。 论文中对这K个来自GSU对item是用self-attention进行序列建模的： 其中 为： concat中第一个是原始的embedding，第二个是关于时间的embedding。 根据self-attention的方式，我们又得到了一个向量h(K)。 这里，第二个子model也进行了ctr预估，特征是模型图上面画出来 input，还有个dien，dien前面的文章以及介绍过了，就不再赘述。 最后的loss是： 其中α和β是控制损耗权重的超参数。 在我们的实验中，如果GSU使用软搜索模型，则将α和β都设置为1。具有硬搜索模型的GSU是非参数的，并且α设置为0。 广告推荐系统对线上的计算耗时要求还是比较严格的，因为要保证用户最基本的用户体验。随着用户行为序列的进一步增长，采用传统的方式直接对长序列用户行为进行计算耗时和内存占用会增长的特别快，所以需要有针对性的对线上系统进行一定的升级和改造。文章提到在hard-search和soft-search的选择中，是基于大量的离线实验结果最终决定采用hard-search这种方便快捷有效的方式，同时信息损失也在可以接受的范围内。 一般的线上部署的系统架构图是这样： 为了让SIM能更好的给用户带来低延时的体验，阿里构建了SIM的Online Seving结构： 可以看到对于用户的行为序列，论文采用的是对每个用户采用的是两层索引的结构：key-key-value，第一个key是user_id，第二个key是category ids，value是用户行为序列中属于对应类别的item。用这种方式可以很快的通过这个索引树找到属于统一category的物品。线上A/B Test实验效果： 用户的历史行为对于整个CTR/CVR预估任务越来越重要了，如果不考虑时间和存储，那么把所有的序列输入到模型中作为长期兴趣关键点是可以精确的定位出用户的长期兴趣的，但是由于性能的原因就不得不考虑用特殊的方法对这个长序列进行一次筛选，筛选的K个物品都是跟候选Item相似的物品，能做到裁剪的效果还不会带来CTR预估的损失。在进行筛选过程中还分为了两种方法，但是为了部署到线上，就要考虑性能最好的hard-search方式进行TopK筛选任务，这种方式跟Embedding筛选的效果是差不多的，但是速度比Embedding快，所以采用这种方式。 未来应该还会有更多针对序列推荐的论文，单纯的对长序列阶段还带来一定的兴趣偏差，所以如何有效挖掘用户更丰富行为特征背后的商业价值是需要好好思考的。