1. 智能压力传感器系统设计 2. 智能定时器 3. 液位控制系统设计 4. 液晶控制模块的制作 5. 嵌入式激光打标机运动控制卡软件系统设计 6. 嵌入式激光打标机运动控制卡硬件系统设计 7. 基于单片机控制的数字气压计的设计与实现 8. 基于MSC1211的温度智能温度传感器 9. 机器视觉系统 10. 防盗与恒温系统的设计与制作 11. 防盗报警器 12. AT89S52单片机实验系统的开发与应用 13. 在单片机系统中实现SCR(可控硅)过零控制 14. 微电阻测量系统 15. 基于单片机的电子式转速里程表的设计 16. 基于GSM短信模块的家庭防盗报警系统 17. 公交车汉字显示系统 18. 基于单片机的智能火灾报警系统 19. WIN32环境下对PC机通用串行口通信的研究及实现 20. FIR数字滤波器的MATLAB设计与实现方法研究 21. 无刷直流电机数字控制系统的研究与设计 22. 直线电机方式的地铁模拟地铁系统制作 23. 稳压电源的设计与制作 24. 线性直流稳压电源的设计 25. 基于CPLD的步进电机控制器 26. 全自动汽车模型的设计制作 27. 单片机数字电压表的设计 28. 数字电压表的设计 29. 计算机比值控制系统研究与设计 30. 模拟量转换成为数字量的红外传输系统 31. 液位控制系统研究与设计 32. 基于89C2051 IC卡读/写器的设计 33. 基于单片机的居室安全报警系统设计 34. 模拟量转换成为数字量红外数据发射与接收系统 35. 有源功率因数校正及有源滤波技术的研究 36. 全自动立体停车场模拟系统的制作 37. 基于I2C总线气体检测系统的设计 38. 模拟量处理为数字量红外语音传输接收系统的设计 39. 精密VF转换器与MCS-51单片机的接口技术 40. 电话远程监控系统的研究与制作 41. 基于UCC3802的开关电源设计 42. 串级控制系统设计 43. 分立式生活环境表的研究与制作(多功能电子万年历) 44. 高效智能汽车调节器 45. 变速恒频风力发电控制系统的设计 46. 全自动汽车模型的制作 47. 信号源的设计与制作 48. 智能红外遥控暖风机设计 49. 基于单片控制的交流调速设计 50. 基于单片机的多点无线温度监控系统 51. 蔬菜公司恒温库微机监控系统 52. 数字触发提升机控制系统 53. 农业大棚温湿度自动检测 54. 无人监守点滴自动监控系统的设计 55. 积分式数字电压表设计 56. 智能豆浆机的设计 57. 采用单片机技术的脉冲频率测量设计 58. 基于DSP的FIR滤波器设计 59. 基于单片机实现汽车报警电路的设计 60. 多功能数字钟设计与制作 61. 超声波倒车雷达系统硬件设计 62. 基于AT89C51单片机的步进电机控制系统 63. 模拟电梯的制作 64. 基于单片机程控精密直流稳压电源的设计 65. 转速、电流双闭环直流调速系统设计 66. 噪音检测报警系统的设计与研究 67. 转速闭环(V-M)直流调速系统设计 68. 基于单片机的多功能函数信号发生器设计 69. 基于单片机的超声波液位测量系统的设计 70. 仓储用多点温湿度测量系统 71. 基于单片机的频率计设计 72. 基于DIMM嵌入式模块在智能设备开发中的应用 73. 基于DS18B20的多点温度巡回检测系统的设计 74. 计数及数码显示电路的设计制作 75. 矿井提升机装置的设计 76. 中频电源的设计 77. 数字PWM直流调速系统的设计 78. 开关电源的设计 79. 基于ARM的嵌入式温度控制系统的设计 80. 锅炉控制系统的研究与设计 81. 智能机器人的研究与设计 ——\u001F自动循轨和语音控制的实现 82. 基于CPLD的出租车计价器设计——软件设计 83. 声纳式高度计系统设计和研究 84. 集约型无绳多元心脉传感器研究与设计 85. CJ20-63交流接触器的工艺与工装 86. 六路抢答器设计 87. V-M双闭环不可逆直流调速系统设计 88. 机床润滑系统的设计 89. 塑壳式低压断路器设计 90. 直流接触器设计 91. SMT工艺流程及各流程分析介绍 92. 大棚温湿度自动控制系统 93. 基于单片机的短信收发系统设计 ――硬件设计 94. 三层电梯的单片机控制电路 95. 交通灯89C51控制电路设计 96. 基于D类放大器的可调开关电源的设计 97. 直流电动机的脉冲调速 98. 红外快速检测人体温度装置的设计与研制 99. 基于8051单片机的数字钟 100. 48V25A直流高频开关电源设计 101. 动力电池充电系统设计 102. 多电量采集系统的设计与实现 103. PWM及单片机在按摩机中的应用 104. IC卡预付费煤气表的设计 105. 基于单片机的电子音乐门铃的设计 106. 基于单片机的温湿度测量系统设计 107. 基于单片机的简易GPS定位信息显示系统设计 108. 基于单片机的简单数字采集系统设计 109. 大型抢答器设计 110. 新型出租车计价器控制电路的设计 111. 500kV麻黄线电磁环境影响计算分析 112. 单片机太阳能热水器测控仪的设计 113. LED点阵显示屏-软件设计 114. 双容液位串级控制系统的设计与研究 115. 三电平Buck直流变换器主电路的研究 116. 基于PROTEUS软件的实验板仿真 117. 基于16位单片机的串口数据采集 118. 电机学课程CAI课件开发 119. 单片机教学实验板——软件设计 120. PN结(二极管)温度传感器性能的实验研究 121. 微电脑时间控制器的软件设计 122. 基于单片机AT89S52的超声波测距仪的研制 123. 硼在TLP扩散连接中的作用机理研究 124. 多功能智能化温度测量仪设计 125. 电网系统对接地电阻的智能测量 126. 基于数字采样法的工频电参数测量系统的设计 127. 动平衡检测系统的设计 128. 非正弦条件下电参测量的研究 129. 频率测量新原理的研究 130. 基于LABVIEW的人体心率变异分析测量 131. 学校多功能厅音响系统的设计与实现 132. 利用数字电路实现电子密码锁 133. 矩形微带天线的设计 134. 简易逻辑仪的分析 135. 无线表决系统的设计 136. 110kV变电站及其配电系统的设计 137. 10KV变电所及低压配电系统设计 138. 35KV变电所及低压配电系统设计 139. 6KV配电系统及车间变电所设计 140. 交流接触器自动化生产流水线设计 141. 63A三极交流接触器设计 142. 100A交流接触器设计 143. CJ20—40交流接触器工艺及工装设计 144. JSS型数字式时间继电器设计 145. 半导体脱扣器的设计 146. 12A交流接触器设计 147. CJ20-100交流接触器装配线设计 148. 真空断路器的设计 149. 总线式智能PID控制仪 150. 自动售报机的设计 151. 小型户用风力发电机控制器设计 152. 断路器的设计 153. 基于MATLAB的水轮发电机调速系统仿真 154. 数控缠绕机树脂含量自控系统的设计 155. 软胶囊的单片机温度控制(硬件设计) 156. 空调温度控制单元的设计 157. 基于人工神经网络对谐波鉴幅 158. 基于单片机的鱼用投饵机自动控制系统的设计 159. 基于MATLAB的调压调速控制系统的仿真研究 160. 锅炉汽包水位控制系统 161. 基于单片机的无刷直流电机控制系统设计 162. 煤矿供电系统的保护设计——硬件电路的设计 163. 煤矿供电系统的保护设计——软件设计 164. 大容量电机的温度保护——软件设计 165. 大容量电机的温度保护 ——硬件电路的设计 166. 模块化机器人控制器设计 167. 电子式热分配表的设计开发 168. 中央冷却水温控制系统 169. 基于单片机的玻璃管加热控制系统设计 170. 基于AT89C51单片机的号音自动播放器设计 171. 基于单片机的普通铣床数控化设计 172. 基于AT89C51单片机的电源切换控制器的设计 173. 基于51单片机的液晶显示器设计 174. 手机电池性能检测 175. 自动门控制系统设计 176. 汽车侧滑测量系统的设计 177. 超声波测距仪的设计及其在倒车技术上的应用 178. 篮球比赛计时器设计 179. 基于单片机控制的红外防盗报警器的设计 180. 智能多路数据采集系统设计 181. 继电器保护毕业设计 182. 电力系统电压频率紧急控制装置研究 183. 用单片机控制的多功能门铃 184. 全氢煤气罩式炉的温度控制系统的研究与改造 185. 基于ATmega16单片机的高炉透气性监测仪表的设计 186. 基于MSP430的智能网络热量表 187. 火电厂石灰石湿法烟气脱硫的控制 188. 家用豆浆机全自动控制装置 189. 新型起倒靶控制系统的设计与实现 190. 软开关技术在变频器中的应用 191. 中频感应加热电源的设计 192. 智能小区无线防盗系统的设计 193. 智能脉搏记录仪系统 194. 直流开关稳压电源设计 195. 用单片机实现电话远程控制家用电器 196. 无线话筒制作 197. 温度检测与控制系统 198. 数字钟的设计 199. 汽车尾灯电路设计 200. 篮球比赛计时器的硬件设计 201. 公交车报站系统的设计 202. 频率合成器设计 203. 基于RS485总线的远程双向数据通信系统的设计 204. 宾馆客房环境检测系统 205. 智能充电器的设计与制作 206. 基于单片机的电阻炉温度控制系统设计 207. 单片机控制的PWM直流电机调速系统的设计 208. 遗传PID控制算法的研究 209. 模糊PID控制器的研究及应用 210. 楼宇自动化系统的设计与调试 211. 基于AT89C51单片机控制的双闭环直流调速系统设计212. 基于89C52的多通道采集卡的设计 213. 单片机自动找币机械手控制系统设计 214. 单片机控制PWM直流可逆调速系统设计 215. 单片机电阻炉温度控制系统设计 216. 步进电机实现的多轴运动控制系统 217. IC卡读写系统的单片机实现 218. 基于单片机的户式中央空调器温度测控系统设计 219. 基于单片机的乳粉包装称重控制系统设计 220. 18B20多路温度采集接口模块 221. 基于单片机防盗报警系统的设计 222. 基于MAX134与单片机的数字万用表设计 223. 数字式锁相环频率合成器的设计 224. 集中式干式变压器生产工艺控制器 225. 小型数字频率计的设计 226. 可编程稳压电源 227. 数字式超声波水位控制器的设计 228. 基于单片机的室温控制系统设计 229. 基于单片机的车载数字仪表的设计 230. 单片机的水温控制系统 231. 数字式人体脉搏仪的设计 232. I2C总线数据传输应用研究(硬件部分) 233. STV7697在显示驱动电路系统中的应用(软件设计)234. LED字符显示驱动电路(软件部分) 235. 智能恒压充电器设计 236. 基于单片机的定量物料自动配比系统 237. 现代发动机自诊断系统探讨 238. 基于单片机的液位检测 239. 基于单片机的水位控制系统设计 240. FFT在TMS320C54XDSP处理器上的实现 241. 基于模拟乘法器的音频数字功率设计 242. 正弦稳态电路功率的分析 243. 基于Multisim三相电路的仿真分析 244. 他励直流电动机串电阻分级启动虚拟实验 245. 并励直流电动机串电阻三级虚拟实验 246. 基于80C196MC交流调速实验系统软件的设计与开发 247. 基于VDMOS调速实验系统主电路模板的设计与开发 248. 基于Matlab的双闭环PWM直流调速虚拟实验系统 249. 基于IGBT-IPM的调速实验系统驱动模板的设计与开发 250. 基于87C196MC交流调速系统主电路软件的设计与开发 251. HEF4752为核心的交流调速系统控制电路模板的设计与开发 252. 基于87C196MC交流调速实验系统软件的设计与开发 253. 87C196MC单片机最小系统单路模板的设计与开发 254. MOSFET管型设计开关型稳压电源 255. 电子密码锁控制电路设计 256. 基于单片机的数字式温度计设计 257. 智能仪表用开关电源的设计 258. 遥控窗帘电路的设计 259. 双闭环直流晶闸管调速系统设计 260. 三路输出180W开关电源的设计 261. 多点温度数据采集系统的设计 262. 列车测速报警系统 263. PIC单片机在空调中的应用 264. 基于单片机的温度采集系统设计 265. 基于单片机89C52的啤酒发酵温控系统 266. 基于MCS-51单片机温控系统设计的电阻炉 267. 基于单片机的步进电机控制系统 268. 新颖低压万能断路器 269. 万年历可编程电子钟控电铃 270. 数字化波形发生器的设计 271. 高压脉冲开关电源 272. 基于MCS-96单片机的双向加力式电子天平 273. 语音控制小汽车控制系统设计 274. 智能型客车超载检测系统的设计 275. 热轧带钢卷取温度反馈控制器的设计 276. 直流机组电动机设计 277. 龙门刨床驱动系统的设计 278. 基于单片机的大棚温、湿度的检测系统 279. 微波自动门 280. 基于DS18B20温度传感器的数字温度计设计 281. 节能型电冰箱研究 282. 交流异步电动机变频调速设计 283. 基于单片机控制的PWM调速系统 284. 基于单片机的数字温度计的电路设计 285. 基于Atmel89系列芯片串行编程器设计 286. 基于单片机的实时时钟 287. 基于MCS-51通用开发平台设计 288. 基于MP3格式的单片机音乐播放系统 289. 基于单片机的IC卡智能水表控制系统设计 290. 基于MATLAB的FIR数字滤波器设计 291. 单片机水温控制系统 292. 110kV区域降压变电所电气系统的设计 293. ATMEIL AT89系列通用单片机编程器的设计 294. 基于单片机的金属探测器设计 295. 双闭环三相异步电动机串级调速系统 296. 基于单片机技术的自动停车器的设计 297. 单片机电器遥控器的设计 298. 自动剪板机单片机控制系统设计 299. 蓄电池性能测试仪设计 300. 电气控制线路的设计原则 301. 无线比例电机转速遥控器的设计 302. 简易数字电子称设计 303. 红外线立体声耳机设计 304. 单片机与PC串行通信设计 305. 100路数字抢答器设计 306. D类功率放大器设计 307. 铅酸蓄电池自动充电器 308. 数字温度测控仪的设计 309. 下棋定时钟设计 310. 温度测控仪设计 311. 数字频率计 312. 数字集成功率放大器整体电路设计 313. 数字电容表的设计 314. 数字冲击电流计设计 315. 数字超声波倒车测距仪设计 316. 路灯控制器 317. 扩音机的设计 318. 交直流自动量程数字电压表 319. 交通灯控制系统设计 320. 简易调频对讲机的设计 321. 峰值功率计的设计 322. 多路温度采集系统设计 323. 多点数字温度巡测仪设计 324. 电机遥控系统设计 325. 由TDA2030A构成的BTL功率放大器的设计 326. 超声波测距器设计 327. 4-15V直流电源设计 328. 家用对讲机的设计 329. 流速及转速电路的设计 330. 基于单片机的家电远程控制系统设计 331. 万年历的设计 332. 单片机与计算机USB接口通信 333. LCD数字式温度湿度测量计 334. 逆变电源设计 335. 基于单片机的电火箱调温器 336. 表面贴片技术SMT的广泛应用及前景 337. 中型电弧炉单片机控制系统设计 338. 中频淬火电气控制系统设计 339. 新型洗浴器设计 340. 新型电磁开水炉设计 341. 基于电流型逆变器的中频冶炼电气设计 342. 6KW电磁采暖炉电气设计 343. 64点温度监测与控制系统 344. 电力市场竞价软件设计 345. DS18B20温度检测控制 346. 步进电动机驱动器设计 347. 多通道数据采集记录系统 348. 单片机控制直流电动机调速系统 349. IGBT逆变电源的研究与设计 350. 软开关直流逆变电源研究与设计 351. 单片机电量测量与分析系统 352. 温湿度智能测控系统 353. 现场总线控制系统设计 354. 加热炉自动控制系统 355. 电容法构成的液位检测及控制装置 356. 基于CD4017电平显示器 357. 无线智能报警系统 358. 可编程的LED(16×64)点阵显示屏 359. 多路智力抢答器设计 360. 8×8LED点阵设计 361. 电子风压表设计 362. 智能定时闹钟设计 363. 数字音乐盒设计 364. 数字温度计设计 365. 数字定时闹钟设计 366. 数字电压表设计 367. 计算器模拟系统设计 368. 定时闹钟设计 369. 电子万年历设计 370. 电子闹钟设计 371. 单片机病房呼叫系统设计 372. 家庭智能紧急呼救系统的设计 373. 自动车库门的设计 374. 异步电动机功率因数控制系统的研究 375. 普通模拟示波器加装多功能智能装置的设计 376. 步进电机运行控制器的设计 377. 80C196MC控制的交流变频调速系统设计 378. 汽车防盗系统 379. 简易远程心电监护系统 380. 智能型充电器的电源和显示的设计 381. 电气设备的选择与校验 382. 论供电系统中短路电流及其计算 383. 论工厂的电气照明 384. 论无线通信技术热点及发展趋势 385. 浅论10KV供电系统的继电保护的设计方案 386. 试论供电系统中的导体和电器的选择 387. 大棚仓库温湿度自动控制系统 388. 自行车车速报警系统 389. 智能饮水机控制系统 390. 基于单片机的数字电压表设计 391. 多用定时器的电路设计与制作 392. 智能编码电控锁设计 393. 串联稳压电源的设计 394. 红外恒温控制器的设计与制作 395. 自行车里程,速度计的设计 396. 等精度频率计的设计 397. 浮点数运算FPGA实现 398. 人体健康监测系统设计 399. 基于单片机的音乐喷泉控制系统设计 400. 基于LabVIEW的虚拟频谱分析仪的研究与设计 401. 感应式门铃的设计与制作 402. 电子秤设计与制作 403. 电动车三段式充电器 404. SB140肖特基二极管制造与检测 405. SMT技术 406. 基于单片机的温度测量系统的设计 407. 龙门刨床的可逆直流调速系统的设计 408. 公交车站自动报站器的设计 409. 单片机波形记录器的设计 410. 音频信号分析仪 411. 基于单片机的机械通风控制器设计
基于视频的人流量监测系统设计与实现 图像水印识别微信小程序设计与实现 基于重力传感器的飞机大战游戏开发 手机平台加减乘除口算训练游戏开发 基于Android平台的个人移动地图软件开发 面向多种数据源的爬虫系统的设计与实现 基于Zabbix的服务器监控系统的设计与实现 基于新浪微博的分布式爬虫以及对数据的可视化处理 基于分布式的新闻热点网络爬虫系统与设计 舆情分析可视化系统的设计与实现 基于大数据的用户画像的新闻APP设计 基于Android平台的语言翻译程序设计与实现 基于SSH的水电信息管理系统的设计与实现 基于SSM的学科竞赛管理系统
我给你一个题目,如果你写出来了,我保你论文得优秀。因为当年我就是选这个题目得的优秀。刚才我在网上搜了一下,网上还是没有与这个系统相关的论文。 《高考最低录取分数线查询系统》基本思想很简单,现在的高考分数线查询是很繁琐的,需要先把分数查出来,然后根据录取指南再找你的分数能被录取的学校,高考过的都知道,高考报考指南是一本多么厚的书。所以,这个系统的思想就是:你用所有高校近十年的录取分数线建立一个数据库,然后开发一个系统,当你输入查询命令的时候(查询命令可以用1,2,3这三个数来代替,用flog实现;输入1,查询的是符合你所输入的分数以下的所有高校信息;输入2,查询的是符合你所输入分数段之间的所有高校信息;输入3,查询大于你所给的分数线的高校信息。)当然,你可以再加上一些附加的功能。大致思想就这些。 郑州今迈网络部竭诚为你解答,希望我的答案能帮到你!
论文: 论文题目:《Multi-Interest Network with Dynamic Routing for Recommendation at Tmall》 论文地址: 前面讲的论文大部分都是关于排序的算法,mind作为天猫商城召回阶段的算法,还是很值得阅读的。 主流的推荐系统一般都分为matching(召回)和rangking(排序)两个阶段,不管在哪个阶段,都要学习和表示用户的兴趣向量。因此,最关键的能力是为任一阶段建模并得到能代表用户兴趣的向量。现有的大多数基于深度学习的模型都将一个用户表示为一个向量,如YoutubeDNN那篇论文,不足以捕获用户兴趣的不断变化的特点。基于以上原因,天猫提出了Mind方法,通过不同的视角来解决这个问题,并且用不同的向量来表示从用户不同方面的兴趣。 天猫商城也是分为了召回和排序两个阶段,召回阶段的主要目标就是从亿级别的商品库中筛选出千级别的候选物品给排序阶段使用。在天猫场景下,用户每天都要与成百上千的商品发生交互,用户的兴趣表现得多种多样。如下图所示,不同的用户之间兴趣不相同,同时同一个用户也会表现出多样的兴趣: 现在主流的召回阶段用到的召回算法要么是基于协同过滤的算法,要么是基于embedding召回的方法,但是这两个方法都有缺陷。协同过滤算法有着稀疏性和计算存储瓶颈方面的缺点,embedding的向量召回方法也有着几个缺点,一个是单一的向量无法准确表达出用户多种多样的兴趣,除非把这个向量长度变得特别大,还有一个就是,只有一个embedding会造成一定的头部效应,召回的结果往往是比较热门领域的商品(头部问题),对于较为小众领域的商品,召回能力不足,也就是更容易造成马太效应。 正如我们在第一段话中阐述的那样,如果单个兴趣向量没法做到将所有的用户兴趣点覆盖,那么就多搞几个向量,几个向量同时来表示用户的兴趣点不就行了吗?事实证明这么做确实是可以的,而且天猫也通过这种方法大大提高了召回的效果。 简单的先来看一下这个模型的架构,还是浓浓的阿里味,不管是item还是user在生成属于自己的向量的时候都会加上side information,这也是跟din,dien中一样传承下来的东西。整个模型关键的部分就在于这个Multi-Interest Extractor Layer层,后面我们就重点来讲一下这个层。 召回阶段的目标是对于每个用户u∈U的请求,从亿级的商品池I中,选择成百上千的符合用户兴趣的商品候选集。每条样本可以表示成三元组(Iu,Pu,Fi),其中Iu是用户u历史交互过的商品集合,Pu是用户画像信息,比如年龄和性别,Fi是目标商品的特征,如商品ID、商品品类ID。 那么MIND的核心任务是将用户相关的特征转换成一系列的用户兴趣向量: 接下来就是item的embedding了: 说白了f函数就是个embedding+pooling层。 我们有了用户的兴趣向量 和物品向量e后,就可以通过如下的score公式计算得到topN的商品候选集: 这个score的计算过程过其实是对这K个向量分别计算出一个分数然后取最大对那个。有了每个用户的兴趣向量后,我们就能对所有对item求一个分数,这样直接取topN就可以得到N个候选物品了。 这一层跟我们之前介绍的论文din,dien中的操作是类似的。在user embedding中,输入部分包括user_id,还包括gender,city等用户画像信息,分别做完embedding后直接concat起来就得到用户的embedding。跟user侧不同的item embedding则是采用pooling操作来得到item embedding,将商品ID、品牌ID、店铺ID分别做embedding后再用avg pooling。 这部分就是整个mind最关键的地方了,下面会进行详细讲解。 我们认为,通过一个表示向量表示用户兴趣可能是捕获用户的多种兴趣的瓶颈,因为我们必须将与用户的多种兴趣相关的所有信息压缩到一个表示向量中。 因此,关于用户的不同兴趣的所有信息混合在一起,从而导致在匹配阶段的项目检索不准确。所以,mind采用了多个兴趣向量来表示用户的不同兴趣。 通过这种方式,可以在召回阶段分别考虑用户的不同兴趣,从而可以针对兴趣的各个方面进行更准确的检索。 Multi-Interest Extractor Layer,借鉴的是Hiton提出的胶囊网络。有关胶囊网络,下面的图可以帮助你快速理解(源于知乎: ): 可以看到,胶囊网络和传统的神经网络较为类似。传统神经网络输入一堆标量,首先对这堆标量进行加权求和,然后通过非线性的激活函数得到一个标量输出。而对胶囊网络来说,这里输入的是一堆向量,这里的计算是一个迭代的过程,每次对输入的向量,先进行仿射变换,然后进行加权求和,最后用非线性的squash操作得到输出向量,可以看到胶囊网络的的输入跟输出还是跟传统DNN不一样的。 但是,针对图像数据提出的原始路由算法不能直接应用于处理用户行为数据。 因此,我们提出了“行为到兴趣(B2I)”动态路由,用于将用户的行为自适应地汇总到兴趣表示向量中,这与原始路由算法在三个方面有所不同。 1.共享双向线性映射矩阵 在胶囊网络中,每一个输入向量和输出向量之间都有一个单独的双向映射矩阵,但是MIND中,仿射矩阵只有一个,所有向量之间共享同一个仿射矩阵。 主要原因:一方面,用户行为的长度是可变的,天猫用户的行为范围是几十到几百,因此固定双线性映射矩阵的使用是可推广的,同时也减少了大量的参数。 另一方面,我们希望兴趣胶囊位于相同的向量空间中,但是不同的双线性映射矩阵会将兴趣胶囊映射到不同的向量空间中。因此,映射的逻辑变成了: 其中ei是用户行为中的item i的embedding,uj是兴趣胶囊j的向量。 2. 随机初始化胶囊网络的权值 在原始的胶囊网络中,映射矩阵是初始化为0的,但是这样会导致几个问题。将路由对数初始化为零将导致相同的初始兴趣胶囊。从而,随后的迭代将陷入一种情况,在这种情况下,不同的关注点胶囊始终保持相同。这跟我们的意图是不一致的,我们希望生成不同的用户兴趣向量。因此,我们在初始化的时候,让胶囊网络中权重的初始化由全部设置为0变为基于正太分布的初始化。 这里随机初始化的是bij而不是S,也就是胶囊映射逻辑矩阵,S是双向映射矩阵,不要搞混了。 3. 动态的用户兴趣数量 由于不同用户拥有的兴趣胶囊数量可能不同,因此我们引入了启发式规则,用于针对不同用户自适应地调整K的值。 具体来说,用户u的K值由下式计算: 动态的调整会让那些兴趣点较少的用户节省一部分计算和存储资源。 整个Multi-Interest Extractor Layer的计算过程如下: 看到这里我有个疑惑,在于算法的第7点,我们的 是用正太分布初始化的矩阵 跟双向仿射变化后的向量相加的结果,这一点我在论文中并没有得到很好的理解,也就是说,本来 是全零的,现在是用标准正态分布初始化后在去跟双向映射完的向量叠加吗? 还有一个疑问就是,针对每一个j,我们利用所有的behavior的i计算得到一个向量uj,其实感觉应该就是在bij的计算上是不同的,只有bij的计算不同才会产生不同的wij,这样的话也就是说每一轮的bij都是有上一轮的结果来生成的意思? 关于这两点我还是没能搞清楚,以我现在已有的知识来看,每次生成uj后都会利用整个uj去生成下一个bij,跟dcn里面的cross network有点类似,但是说不上来是为什么这么做,可能是这样计算保持来序列计算的特性。 从图中我们也可以清楚的看出来,通过Multi-Interest Extractor Layer,我们得到了多个用户向量表示。接下来,每个向量与用户画像embedding进行拼接,经过两层全连接层(激活函数为Relu)得到多个用户兴趣向量表示。每个兴趣向量表征用户某一方面的兴趣。 我们在前面获得了多个用户的兴趣向量,那么该如何知道这些兴趣向量中哪些是重要的,哪些是可以忽视的呢?这时候attention就派上了用场,正如我们在din中对用户历史行为中的每个item计算weight一样,我们在这个地方也构建一个一个attention网络,用来计算不同兴趣点的weight。 看一下上面的attention网络在结合一下整个mind的模型结构不难得出,这个attention网络的q是候选item的embedding,k,v都是用户的兴趣向量。 attention的计算公式为: 其中,除了计算vu跟ei的内积意外,mind还对这个内积进行了指数运算,这个p值起到了一个平滑对作用,到p接近0的时候,所有的weight是相近的,意味着每个兴趣点都会被关注到。到p大于1的时候,有些weight就会变得很大,而有些就会变得很小,相当于加强了跟candidate item强相关的兴趣点的权值,削弱了弱相关兴趣点的权值,此时更类似于一种hard attention,即直接选择attention score最大的那个向量。实验也证明了,hard attention的方法收敛得更快。 通过label attention网络,我们得到了代表用户u的兴趣向量 ,有了这个向量,我们就可以计算用户u点击item i的概率了,计算方式如下: 目标函数为: 这个L不是损失函数,可以理解为极大似然函数,我们的目标就是让这个东西最大。 当然,在一个具有亿级别item的网站中,我们是不会采用原始的softmax操作的,跟在skip gram中的sample softmax类似,mind也采用了sample softmax的做法,大大减少了运算量。 而在serving阶段,只需要计算用户的多个兴趣向量,然后每个兴趣向量通过最近邻方法(如局部敏感哈希LSH)来得到最相似的候选商品集合。我们只需要输入用户的历史序列和画像信息,就可以得到用户的兴趣向量,所以当用户产生了一个新的交互行为,MIND也是可以实时响应得到用户新的兴趣向量。这里相当于把label attention舍弃掉了,直接用剩下的部分来得到用户的兴趣向量。 serving阶段跟training阶段对于用户的兴趣向量的处理是不一样的,在serving阶段,由于我们有多个兴趣向量,所以score的计算方式就变成了取最大的那个: mind选择了跟他比较相近的YoutubeDNN进行对比,对比结果如下: 此外,论文还提到了DIN,在获得用户的不同兴趣方面,MIND和DIN具有相似的目标。 但是,这两种方法在实现目标的方式和适用性方面有所不同。 为了处理多样化的兴趣,DIN在item级别应用了注意力机制,而MIND使用动态路由生成兴趣,并在兴趣级别考虑了多样性。 此外,DIN着重于排名阶段,因为它处理成千或者万级别的item,但是MIND取消了推断用户表示和衡量user-item兼容性的过程,从而使其在匹配阶段适用于数十亿个项目。
152 浏览 4 回答
156 浏览 2 回答
199 浏览 3 回答
180 浏览 5 回答
339 浏览 4 回答
125 浏览 3 回答
157 浏览 5 回答
295 浏览 3 回答
128 浏览 5 回答
200 浏览 4 回答
84 浏览 6 回答
274 浏览 3 回答
303 浏览 4 回答
170 浏览 3 回答
341 浏览 6 回答