商汤科技目标检测最新论文

今天，AI已经成为了一个所有人耳熟能详的名词了，各种各样的AI公司层出不穷，行业中最耀眼永远只是塔尖上的少数……

旷视 科技 、依图 科技 、云从 科技 和商汤 科技 就属于这一类少数派，这四家企业也被称为“AI四小龙”。

最近商汤 科技 开始IPO，我们就从它谈起，来看看AI这项业务到底行不行。

商汤 科技 属于含着金钥匙长大的邻家小孩，学习能力出众，自然也特别受到金主爸爸的疼爱，从来都不缺钱，喊一声，就有资本送钱来了。

商汤 科技 成立之初就在全球首次突破了人眼识别能力，自研算法在人脸数据库中的识别准确率高达，3个月后，商汤把这一数字提高到了。

根据天眼查的数据显示，商汤 科技 从成立到现在，共获得了12轮融资，融资总额超过52亿美元，投资人遍布国内外。

其中不乏阿里、苏宁这样的国内互联网巨头，还有招商证券、中金证券、东方证券这样的国资券商，还有高通创投、软银这样的国外顶级创投机构，厉害的是，这里面还出现了万达的身影。

简单来说，商汤 科技 既被国内看好，同时也被国外看好，即被互联网行业看好，还能被传统行业的房地产商看好，大有未来 科技 之光的架势。

当然，它也确实用一系列的实力证明了自己。

2016年，商汤 科技 研发的自动驾驶平台刷新了行人及车辆识别领域的世界纪录，2020年，商汤 科技 又完成了首个专业用人工智能芯片STPU流片，2021年，商汤又建造了世界上最大的计算机视觉模型，参数超过了300亿个。

我们过去的文章里经常说，研发是一个 科技 企业的立身之本，商汤 科技 确实是做到了。

招股书上显示，从2018年到2020年，商汤 科技 的研发费用占比分别是46%、63%、71%，他一家公司就囊括了40位教授、250多名博士，以及3593名科学家和工程师。

但是，在光芒的背后，是一谈到赚钱就掉链子，这也确实挺尴尬的。

在充足资金与研发人员的投入之下，商汤 科技 在全球的各类竞赛中拿到了70多个冠军，发表了超过600篇顶级学术论文，拥有8000多个专利申请。

但是，根据商汤 科技 的招股书显示，从2018年到2021年上半年，商汤 科技 的营收分别是亿、亿、亿、亿。

看着还不错，但同期他们分别亏损了亿、亿、亿和亿，三个财年加上今年上半年总共亏损达到了亿。

融资来的52亿美元基本上快亏得差不多了。

一边是技术的绽放与资本的热捧，另一边是长期陷入利润不佳的窘境，商汤 科技 的问题到底出在哪里了呢？

我们从技术，市场供需这两个纬度来看。

第一、再好的技术落地都需要时间。

我们在过去的文章里谈过关于产研结合的问题。

科技 的发展，企业的壮大是需要让更多的研究和专利能落地商用的。

虽然商汤 科技 在顶级期刊上发表了诸多论文，而且专利数量也相当庞大，但作为一家企业来说，研究的目的是为了能让技术落地，并且推向市场，被市场所接受，而不是单纯的秀论文数量。

而且，在技术深度方面，商汤 科技 拥有自己的独占技术其实并不多。

它的很多技术和专利是根据公开论文，开源代码的基础上实现的应用，虽然读懂这些公开论文的门槛很高，但对于人才济济的 科技 大厂来说，这不是什么太深的护城河。

比如在活体识别这个领域，玩家不仅只有商汤，云从这样的AI 科技 ，百度、腾讯也拥有深厚的技术积淀。

百度钱包用的就是自家的技术，腾讯的微众银行用的也是自家的技术。

前边提到的人脸识别准确率，百度在2015年达到了，刷新了商汤的纪录。

面对BAT这样的老牌大厂，商汤的技术护城河仍然是一个问题。

第二、市场供需还未爆发，业务领域细分且垂直。

不了解AI的人仿佛都觉得AI是个筐，啥都能往里装，万物皆可AI。

客观来说，AI是未来没错，但它并不是对现有产业的颠覆，更多的是一种赋能，高效的赋能。

比如用AI赋能垃圾分类，用智能化监管代替人工监管；比如AI赋能药物研发，谷歌就专门推出了可识别蛋白质结晶的AI系统，用于药物开发。

本质上，AI的价值是提高传统产业的生产效率，解放生产力。

AI这个赛道非常的广阔，实际上的业务十分细分、垂直。

目前被应用最多的是计算机视觉识别。

2020年中国的计算机视觉识别市场规模也不足150亿，这个规模的产业，无论是深度还是广度上都远远不能和手机、 汽车 这些万亿产业相比。

小池塘也很难养出大鱼来。

另一方面，国内AI产业化高度依赖于政府项目，比如智慧城市、智慧生活、智慧商业几大板块。

商汤 科技 的业务中，87%的业务都是来自于智慧商业和智慧城市两大板块。

但这也牵扯到了另一个问题，AI四小龙并没有独立获取项目的能力，项目真正的来源都在一些央企总包方手里。

智慧城市听上去很美好，可城市的智能化改造是一项大工程，项目周期至少需要3年，涉及的流程繁多，商汤等AI新兴势力所做的事只是诸多环节之一。

由于AI产业的碎片化特征，这就导致不同的用户需求不同，无法用同一个标准去面对所有人，这自然就很难形成规模化。

项目之间的差异，使得上一个项目的方案在这个项目无法适用，亏损就成为了常态。

从市场竞争的层面上看。

华为、腾讯、百度这些平台型巨头都在切入AI领域，甚至传统的半导体企业，比如德州仪器、英特尔、英伟达都在半道研发自己的AI解决方案。

举个简单的例子，在AI被广泛应用的安防行业当中，安防行业的原生巨头海康威视也在研发自己的AI解决方案，而且相对于商汤 科技 来说，海康威视本身就是终端生产商，更具有拿项目的优势。

仅以营收比较，2020年，商汤的营收亿，而海康威视的营收635亿，换句话来说，商汤的规模只有海康威视的5%不到，海康威视对商汤具有碾压优势。

上面所说的这些问题，不仅仅是针对一家商汤 科技 ，而是整个AI产业的企业都需要面对的问题。

其实，我们仔细对比一下AI四小龙，会发现这几家的处境都出奇的相似。

从过往的财报来看，AI四小龙都是亏损比营收多，营收越多，亏损越大。

这四家企业的崛起，都和中国安防摄像头的升级息息相关，简单地说就是吃到了政府升级安防项目的红利。

面对越来越多的亏损，投资人很着急，四小龙也很着急，所以在最近一年多时间里，四小龙都在集体冲击IPO。

作为 科技 企业，四小龙大书特书的都是自己的研发投入，旷视 科技 、云从 科技 和依图 科技 ，研发占比都超过了50%，商汤 科技 的研发占比更是高达70%。

在这些漂亮数字的背后，还得回到怎么样找到盈利模式这个本质的问题上来。

我们可以把视线转向另外一家AI企业，号称AI芯片第一股的寒武纪。

当年风光无限，成功登陆科创板的寒武纪，最高市值高达1191亿。

但后来，整个股价一路走跌，市值只剩下406亿，跌去6成之多。

寒武纪也是长期在研发上高投入，在AI芯片产业同样面对来自华为、百度这些巨头的夹击，自身造血能力不够，导致市场不看好。

对于一个 科技 企业来说，它跟平台型企业不一样。

京东持续亏损了12年，但它的商业模式很清晰，京东用12年的亏损回答了市场一个问题， 淘宝天猫跟我竞争，我凭什么能活下去？

答案是京东用巨资砸出来的基础物流设施，这是京东底层的护城河。

不解决根本的盈利和路线问题，即使上市融到了更多的资金，企业也只是拖延时间而已。

当前AI四小龙们还没有一条明确、长远的盈利模式。

不管是从技术上，还是未来的发展路径上，并没有一个可以信服的指引给到市场，自然也很难得市场认可。

在过去的文章中，我经常说技术是 科技 企业的立身之本，但我们也要时常问问自己，这些技术是不是我们的客户真正需要的？假如腾讯和阿里也要做这项业务，凭什么我能活下去？

回顾一下前辈们，台积电的技术很牛逼，全球第一，但这项技术的根基是在台积电创新的晶圆代工模式。

明白客户需要什么，比追求产品技术的先进性，可能更为重要，利润思维，一定不能舍去。

当然，AI未来一定是一门大产业，现在它仍然具有一定的超前性。

市场还没有快速发展到那一步，还需要更多的积累。

我们的AI企业还需要时间，需要尽快找到自己的商业模式和领域，助力和赋能更多的相关企业实现产业的升级。

但是，这个前提是路要扎扎实实地走，别贪快，贪快就容易摔倒。

—

责任编辑 | 罗英凡

原文： Scalable Object Detection using Deep Neural Networks——学术范 最近，深度卷积神经网络在许多图像识别基准上取得了最先进的性能，包括ImageNet大规模视觉识别挑战(ILSVRC-2012)。在定位子任务中获胜的模型是一个网络，它预测了图像中每个对象类别的单个边界框和置信度得分。这样的模型捕获了围绕对象的整幅图像上下文，但如果不天真地复制每个实例的输出数量，就无法处理图像中同一对象的多个实例。在这篇论文中提出了一个显著性启发的神经网络检测模型，它预测了一组与类无关的边界框，每个框有一个分数，对应于它包含任何感兴趣的对象的可能性。该模型自然地为每个类处理数量可变的实例，并允许在网络的最高级别上进行跨类泛化。 目标检测是计算机视觉的基本任务之一。一个解决这个问题的通用范例是训练在子图像上操作的对象检测器，并在所有的场所和尺度上以详尽的方式应用这些检测器。这一范例被成功地应用于经过区别训练的可变形零件模型(DPM)中，以实现检测任务的最新结果。对所有可能位置和尺度的穷举搜索带来了计算上的挑战。随着类数量的增加，这个挑战变得更加困难，因为大多数方法都训练每个类单独的检测器。为了解决这个问题，人们提出了多种方法，从检测器级联到使用分割提出少量的对象假设。 关于对象检测的文献非常多，在本节中，我们将重点讨论利用类不可知思想和解决可伸缩性的方法。 许多提出的检测方法都是基于基于部件的模型，最近由于有区别学习和精心设计的特征，已经取得了令人印象深刻的性能。然而,这些方法依赖于在多个尺度上详尽地应用零件模板，这是非常昂贵的。此外，它们在类的数量上是可伸缩的，这对像ImageNet这样的现代数据集来说是一个挑战。 为了解决前一个问题，Lampert等人使用分支绑定策略来避免计算所有可能的对象位置。为了解决后一个问题，Song et al.使用了一个低维部件基，在所有对象类中共享。基于哈希算法的零件检测也取得了良好的结果。 另一种不同的工作，与我们的工作更接近，是基于对象可以本地化的想法，而不必知道它们的类。其中一些方法建立在自底向上无阶级分割[9]的基础上。通过这种方式得到的片段可以使用自上而下的反馈进行评分。基于同样的动机，Alexe等人使用一种廉价的分类器对对象假设是否为对象进行评分，并以这种方式减少了后续检测步骤的位置数量。这些方法可以被认为是多层模型，分割作为第一层，分割分类作为后续层。尽管它们编码了已证明的感知原理，但我们将表明，有更深入的模型，充分学习可以导致更好的结果。 最后，我们利用了DeepLearning的最新进展，最引人注目的是Krizhevsky等人的工作。我们将他们的边界盒回归检测方法扩展到以可扩展的方式处理多个对象的情况。然而，基于dnn的回归已经被Szegedy等人应用到对象掩模中。最后一种方法实现了最先进的检测性能，但由于单个掩模回归的成本，不能扩展到多个类。 我们的目标是通过预测一组表示潜在对象的边界盒来实现一种与类无关的可扩展对象检测。更准确地说，我们使用了深度神经网络(DNN)，它输出固定数量的包围盒。此外，它为每个盒子输出一个分数，表示这个盒子包含一个对象的网络信任度。 为了形式化上述思想，我们将i-thobject框及其相关的置信度编码为最后一网层的节点值: Bounding box: 我们将每个框的左上角和右下角坐标编码为四个节点值，可以写成vectorli∈R4。这些坐标是归一化的w. r. t.图像尺寸，以实现图像绝对尺寸的不变性。每个归一化坐标是由最后一层的线性变换产生的。 Confidence: 置信度:包含一个对象的盒子的置信度得分被编码为单个节点valueci∈[0,1]。这个值是通过最后一个隐藏层的线性变换产生的，后面跟着一个sigmoid。 我们可以组合边界盒位置sli,i∈{1，…K}为一个线性层。同样，我们可以将所有置信区间ci,i∈{1，…K}作为一个s型层的输出。这两个输出层都连接到最后一个隐藏层 在推理时，我们的算法生成kbound盒。在我们的实验中，我们使用ek = 100和K= 200。如果需要，我们可以使用置信分数和非最大抑制在推理时获得较少数量的高置信框。这些盒子应该代表对象。因此，它们可以通过后续的分类器进行分类，实现目标检测。由于盒子的数量非常少，我们可以提供强大的分类器。在我们的实验中，我们使用另一个dnn进行分类。 我们训练一个DNN来预测每个训练图像的边界框及其置信度得分，以便得分最高的框与图像的groundtruth对象框很好地匹配。假设对于一个特定的训练例子，对象被标记为boundingboxesgj,j∈{1，…，M}。在实践中，pre- dictionary的数量远远大于groundtruthboxm的数量。因此，我们试图只优化与地面真实最匹配的预测框子集。我们优化他们的位置，以提高他们的匹配度，最大化他们的信心。与此同时，我们将剩余预测的置信度最小化，这被认为不能很好地定位真实对象。为了达到上述目的，我们为每个训练实例制定一个分配问题。Wexij∈{0,1}表示赋值:xij= 1，如果第i个预测被赋值给第j个真对象。这项任务的目标可以表示为 其中，我们使用标准化边界框坐标之间的el2距离来量化边界框之间的不同。此外，我们希望根据分配x优化盒子的可信度。最大化指定预测的置信度可以表示为  最终的损失目标结合了匹配损失和信心损失 受式1的约束。α平衡了不同损失条款的贡献。 对于每个训练例子，我们通过解决一个最佳的赋值x*的预测到真实的盒子 约束执行赋值解决方案。这是二部匹配的一种变体，是一种多项式复杂度匹配。在我们的应用程序中，匹配是非常便宜的——每幅图像中标记的对象的数量少于一打，而且在大多数情况下只有很少的对象被标记。然后，通过反向传播优化网络参数。例如，反向传播算法的一阶导数计算w、r、t、l和c 尽管上述定义的损失在原则上是足够的，但三次修改使其有可能更快地达到更好的准确性。第一个修改是对地面真实位置进行聚类，并找到这样的聚类/质心，我们可以使用这些聚类/质心作为每个预测位置的先验。因此，鼓励学习算法为每个预测位置学习一个残差到一个先验。 第二个修改涉及到在匹配过程中使用这些先验:不是将N个groundtruth位置与K个预测进行匹配，而是在K个先验和groundtruth之间找到最佳匹配。一旦匹配完成，就会像之前一样计算目标的置信度。此外，位置预测损失也不变:对于任何一对匹配的(目标，预测)位置，其损失定义为groundtruth和对应于匹配先验的坐标之间的差值。我们把使用先验匹配称为先验匹配，并假设它促进了预测的多样化。  需要注意的是，尽管我们以一种与类无关的方式定义了我们的方法，但我们可以将它应用于预测特定类的对象盒。要做到这一点，我们只需要在类的边框上训练我们的模型。此外，我们可以预测每个类的kbox。不幸的是，这个模型的参数数量会随着类的数量线性增长。此外，在一个典型的设置中，给定类的对象数量相对较少，这些参数中的大多数会看到很少有相应梯度贡献的训练示例。因此，我们认为我们的两步过程——首先本地化，然后识别——是一个更好的选择，因为它允许使用少量参数利用同一图像中多个对象类型的数据 我们使用的本地化和分类模型的网络架构与[10]使用的网络架构相同。我们使用Adagrad来控制学习速率衰减，128的小批量，以及使用多个相同的网络副本进行并行分布式训练，从而实现更快的收敛。如前所述，我们在定位损失中使用先验——这些是使用训练集上的均值来计算的。我们还使用α = 来平衡局部化和置信度损失。定位器可以输出用于推断的种植区以外的坐标。坐标被映射和截断到最后的图像区域。另外，使用非最大抑制对盒进行修剪，Jaccard相似度阈值为。然后，我们的第二个模型将每个边界框分类为感兴趣的对象或“背景”。为了训练我们的定位器网络，我们从训练集中生成了大约3000万幅图像，并对训练集中的每幅图像应用以下步骤。最后，样品被打乱。为了训练我们的本地化网络，我们通过对训练集中的每一幅图像应用以下步骤，从训练集中生成了大约3000万幅图像。对于每幅图像，我们生成相同数量的平方样本，使样本总数大约为1000万。对于每幅图像，样本被桶状填充，这样，对于0 - 5%、5 - 15%、15 - 50%、50 - 100%范围内的每个比例，都有相同数量的样本，其中被包围框覆盖的比例在给定范围内。训练集和我们大多数超参数的选择是基于过去使用非公开数据集的经验。在下面的实验中，我们没有探索任何非标准数据生成或正则化选项。在所有的实验中，所有的超参数都是通过对训练集。 Pascal Visual Object Classes (VOC)挑战是最常用的对象检测算法基准。它主要由复杂的场景图像组成，其中包含了20种不同的对象类别的边界框。在我们的评估中，我们关注的是2007版VOC，为此发布了一个测试集。我们通过培训VOC 2012展示了结果，其中包含了大约。11000张图片。我们训练了一个100框的定位器和一个基于深度网络的分类器。 我们在一个由1000万作物组成的数据集上训练分类器，该数据集重叠的对象至少为 jaccard重叠相似度。这些作物被标记为20个VOC对象类中的一个。•2000万负作物与任何物体盒最多有个Jaccard相似度。这些作物被贴上特殊的“背景”类标签。体系结构和超参数的选择遵循。 在第一轮中，定位器模型应用于图像中最大-最小中心方形作物。作物的大小调整到网络输入大小is220×220。单次通过这个网络，我们就可以得到上百个候选日期框。在对重叠阈值为的非最大抑制后，保留评分最高的前10个检测项，并通过21路分类器模型分别通过网络进行分类。最终的检测分数是给定盒子的定位分数乘以分类器在作物周围的最大方形区域上评估的分数的乘积。这些分数通过评估，并用于计算精确查全曲线。 首先，我们分析了本地化器在隔离状态下的性能。我们给出了被检测对象的数量，正如Pascal检测标准所定义的那样，与生成的包围框的数量相对比。在图1中，我们展示了使用VOC2012进行训练所获得的结果。此外，我们通过使用图像的最大中心面积(max-center square crop)作为输入以及使用两个尺度(second scale)来给出结果:最大中心面积(max-center crop)的第二个尺度(select3×3windows的大小为图像大小的60%)正如我们所看到的，当使用10个边界框的预算时，我们可以用第一个模型本地化的对象，用第二个模型本地化48%的对象。这显示出比其他报告的结果更好的性能，例如对象度算法达到42%[1]。此外，这个图表显示了在不同分辨率下观察图像的重要性。虽然我们的算法通过使用最大中心作物获得了大量的对象，但当使用更高分辨率的图像作物时，我们获得了额外的提升。进一步，我们用21-way分类器对生成的包围盒进行分类，如上所述。表1列出了VOC 2007的平均精度(APs)。达到的平均AP是，与先进水平相当。注意，我们的运行时间复杂度非常低——我们只使用top10框。示例检测和全精度召回曲线分别如图2和图3所示。值得注意的是，可视化检测是通过仅使用最大中心方形图像裁剪，即使用全图像获得的。然而，我们设法获得了相对较小的对象，例如第二行和第二列的船，以及第三行和第三列的羊。 在本工作中，我们提出了一种新的方法来定位图像中的对象，该方法可以预测多个边界框的时间。该方法使用深度卷积神经网络作为基本特征提取和学习模型。它制定了一个能够利用可变数量的groundtruth位置的多箱定位成本。在“一个类一个箱”方法的情况下，对1000个盒子进行非max-suppression，使用与给定图像中感兴趣的DeepMulti-Box方法相同的准则，并学习在未见图像中预测这些位置。 我们在VOC2007和ILSVRC-2012这两个具有挑战性的基准上给出了结果，在这两个基准上，所提出的方法具有竞争力。此外，该方法能够很好地预测后续分类器将探测到的位置。我们的结果表明，deepmultibox的方法是可扩展的，甚至可以在两个数据集之间泛化，就能够预测感兴趣的定位，甚至对于它没有训练的类别。此外，它能够捕获同一类物体的多种情况，这是旨在更好地理解图像的算法的一个重要特征。 在未来，我们希望能够将定位和识别路径折叠到一个单一的网络中，这样我们就能够在一个通过网络的一次性前馈中提取位置和类标签信息。即使在其当前状态下，双通道过程(本地化网络之后是分类网络)也会产生5-10个网络评估，每个评估的速度大约为1个CPU-sec(现代机器)。重要的是，这个数字并不与要识别的类的数量成线性关系，这使得所提出的方法与类似dpm的方法非常有竞争力。