发布时间：
原文： Scalable Object Detection using Deep Neural Networks——学术范 最近，深度卷积神经网络在许多图像识别基准上取得了最先进的性能，包括ImageNet大规模视觉识别挑战(ILSVRC-2012)。在定位子任务中获胜的模型是一个网络，它预测了图像中每个对象类别的单个边界框和置信度得分。这样的模型捕获了围绕对象的整幅图像上下文，但如果不天真地复制每个实例的输出数量，就无法处理图像中同一对象的多个实例。在这篇论文中提出了一个显著性启发的神经网络检测模型，它预测了一组与类无关的边界框，每个框有一个分数，对应于它包含任何感兴趣的对象的可能性。该模型自然地为每个类处理数量可变的实例，并允许在网络的最高级别上进行跨类泛化。 目标检测是计算机视觉的基本任务之一。一个解决这个问题的通用范例是训练在子图像上操作的对象检测器，并在所有的场所和尺度上以详尽的方式应用这些检测器。这一范例被成功地应用于经过区别训练的可变形零件模型(DPM)中，以实现检测任务的最新结果。对所有可能位置和尺度的穷举搜索带来了计算上的挑战。随着类数量的增加，这个挑战变得更加困难，因为大多数方法都训练每个类单独的检测器。为了解决这个问题，人们提出了多种方法，从检测器级联到使用分割提出少量的对象假设。 关于对象检测的文献非常多，在本节中，我们将重点讨论利用类不可知思想和解决可伸缩性的方法。 许多提出的检测方法都是基于基于部件的模型，最近由于有区别学习和精心设计的特征，已经取得了令人印象深刻的性能。然而,这些方法依赖于在多个尺度上详尽地应用零件模板，这是非常昂贵的。此外，它们在类的数量上是可伸缩的，这对像ImageNet这样的现代数据集来说是一个挑战。 为了解决前一个问题，Lampert等人使用分支绑定策略来避免计算所有可能的对象位置。为了解决后一个问题，Song et al.使用了一个低维部件基，在所有对象类中共享。基于哈希算法的零件检测也取得了良好的结果。 另一种不同的工作，与我们的工作更接近，是基于对象可以本地化的想法，而不必知道它们的类。其中一些方法建立在自底向上无阶级分割[9]的基础上。通过这种方式得到的片段可以使用自上而下的反馈进行评分。基于同样的动机，Alexe等人使用一种廉价的分类器对对象假设是否为对象进行评分，并以这种方式减少了后续检测步骤的位置数量。这些方法可以被认为是多层模型，分割作为第一层，分割分类作为后续层。尽管它们编码了已证明的感知原理，但我们将表明，有更深入的模型，充分学习可以导致更好的结果。 最后，我们利用了DeepLearning的最新进展，最引人注目的是Krizhevsky等人的工作。我们将他们的边界盒回归检测方法扩展到以可扩展的方式处理多个对象的情况。然而，基于dnn的回归已经被Szegedy等人应用到对象掩模中。最后一种方法实现了最先进的检测性能，但由于单个掩模回归的成本，不能扩展到多个类。 我们的目标是通过预测一组表示潜在对象的边界盒来实现一种与类无关的可扩展对象检测。更准确地说，我们使用了深度神经网络(DNN)，它输出固定数量的包围盒。此外，它为每个盒子输出一个分数，表示这个盒子包含一个对象的网络信任度。 为了形式化上述思想，我们将i-thobject框及其相关的置信度编码为最后一网层的节点值: Bounding box: 我们将每个框的左上角和右下角坐标编码为四个节点值，可以写成vectorli∈R4。这些坐标是归一化的w. r. t.图像尺寸，以实现图像绝对尺寸的不变性。每个归一化坐标是由最后一层的线性变换产生的。 Confidence: 置信度:包含一个对象的盒子的置信度得分被编码为单个节点valueci∈[0,1]。这个值是通过最后一个隐藏层的线性变换产生的，后面跟着一个sigmoid。 我们可以组合边界盒位置sli,i∈{1，…K}为一个线性层。同样，我们可以将所有置信区间ci,i∈{1，…K}作为一个s型层的输出。这两个输出层都连接到最后一个隐藏层 在推理时，我们的算法生成kbound盒。在我们的实验中，我们使用ek = 100和K= 200。如果需要，我们可以使用置信分数和非最大抑制在推理时获得较少数量的高置信框。这些盒子应该代表对象。因此，它们可以通过后续的分类器进行分类，实现目标检测。由于盒子的数量非常少，我们可以提供强大的分类器。在我们的实验中，我们使用另一个dnn进行分类。 我们训练一个DNN来预测每个训练图像的边界框及其置信度得分，以便得分最高的框与图像的groundtruth对象框很好地匹配。假设对于一个特定的训练例子，对象被标记为boundingboxesgj,j∈{1，…，M}。在实践中，pre- dictionary的数量远远大于groundtruthboxm的数量。因此，我们试图只优化与地面真实最匹配的预测框子集。我们优化他们的位置，以提高他们的匹配度，最大化他们的信心。与此同时，我们将剩余预测的置信度最小化，这被认为不能很好地定位真实对象。为了达到上述目的，我们为每个训练实例制定一个分配问题。Wexij∈{0,1}表示赋值:xij= 1，如果第i个预测被赋值给第j个真对象。这项任务的目标可以表示为 其中，我们使用标准化边界框坐标之间的el2距离来量化边界框之间的不同。此外，我们希望根据分配x优化盒子的可信度。最大化指定预测的置信度可以表示为 最终的损失目标结合了匹配损失和信心损失 受式1的约束。α平衡了不同损失条款的贡献。 对于每个训练例子，我们通过解决一个最佳的赋值x*的预测到真实的盒子 约束执行赋值解决方案。这是二部匹配的一种变体，是一种多项式复杂度匹配。在我们的应用程序中，匹配是非常便宜的——每幅图像中标记的对象的数量少于一打，而且在大多数情况下只有很少的对象被标记。然后，通过反向传播优化网络参数。例如，反向传播算法的一阶导数计算w、r、t、l和c 尽管上述定义的损失在原则上是足够的，但三次修改使其有可能更快地达到更好的准确性。第一个修改是对地面真实位置进行聚类，并找到这样的聚类/质心，我们可以使用这些聚类/质心作为每个预测位置的先验。因此，鼓励学习算法为每个预测位置学习一个残差到一个先验。 第二个修改涉及到在匹配过程中使用这些先验:不是将N个groundtruth位置与K个预测进行匹配，而是在K个先验和groundtruth之间找到最佳匹配。一旦匹配完成，就会像之前一样计算目标的置信度。此外，位置预测损失也不变:对于任何一对匹配的(目标，预测)位置，其损失定义为groundtruth和对应于匹配先验的坐标之间的差值。我们把使用先验匹配称为先验匹配，并假设它促进了预测的多样化。 需要注意的是，尽管我们以一种与类无关的方式定义了我们的方法，但我们可以将它应用于预测特定类的对象盒。要做到这一点，我们只需要在类的边框上训练我们的模型。此外，我们可以预测每个类的kbox。不幸的是，这个模型的参数数量会随着类的数量线性增长。此外，在一个典型的设置中，给定类的对象数量相对较少，这些参数中的大多数会看到很少有相应梯度贡献的训练示例。因此，我们认为我们的两步过程——首先本地化，然后识别——是一个更好的选择，因为它允许使用少量参数利用同一图像中多个对象类型的数据 我们使用的本地化和分类模型的网络架构与[10]使用的网络架构相同。我们使用Adagrad来控制学习速率衰减，128的小批量，以及使用多个相同的网络副本进行并行分布式训练，从而实现更快的收敛。如前所述，我们在定位损失中使用先验——这些是使用训练集上的均值来计算的。我们还使用α = 0.3来平衡局部化和置信度损失。定位器可以输出用于推断的种植区以外的坐标。坐标被映射和截断到最后的图像区域。另外，使用非最大抑制对盒进行修剪，Jaccard相似度阈值为0.5。然后，我们的第二个模型将每个边界框分类为感兴趣的对象或“背景”。为了训练我们的定位器网络，我们从训练集中生成了大约3000万幅图像，并对训练集中的每幅图像应用以下步骤。最后，样品被打乱。为了训练我们的本地化网络，我们通过对训练集中的每一幅图像应用以下步骤，从训练集中生成了大约3000万幅图像。对于每幅图像，我们生成相同数量的平方样本，使样本总数大约为1000万。对于每幅图像，样本被桶状填充，这样，对于0 - 5%、5 - 15%、15 - 50%、50 - 100%范围内的每个比例，都有相同数量的样本，其中被包围框覆盖的比例在给定范围内。训练集和我们大多数超参数的选择是基于过去使用非公开数据集的经验。在下面的实验中，我们没有探索任何非标准数据生成或正则化选项。在所有的实验中，所有的超参数都是通过对训练集。 Pascal Visual Object Classes (VOC)挑战是最常用的对象检测算法基准。它主要由复杂的场景图像组成，其中包含了20种不同的对象类别的边界框。在我们的评估中，我们关注的是2007版VOC，为此发布了一个测试集。我们通过培训VOC 2012展示了结果，其中包含了大约。11000张图片。我们训练了一个100框的定位器和一个基于深度网络的分类器。 我们在一个由1000万作物组成的数据集上训练分类器，该数据集重叠的对象至少为0.5 jaccard重叠相似度。这些作物被标记为20个VOC对象类中的一个。•2000万负作物与任何物体盒最多有0.2个Jaccard相似度。这些作物被贴上特殊的“背景”类标签。体系结构和超参数的选择遵循。 在第一轮中，定位器模型应用于图像中最大-最小中心方形作物。作物的大小调整到网络输入大小is220×220。单次通过这个网络，我们就可以得到上百个候选日期框。在对重叠阈值为0.5的非最大抑制后，保留评分最高的前10个检测项，并通过21路分类器模型分别通过网络进行分类。最终的检测分数是给定盒子的定位分数乘以分类器在作物周围的最大方形区域上评估的分数的乘积。这些分数通过评估，并用于计算精确查全曲线。 首先，我们分析了本地化器在隔离状态下的性能。我们给出了被检测对象的数量，正如Pascal检测标准所定义的那样，与生成的包围框的数量相对比。在图1中，我们展示了使用VOC2012进行训练所获得的结果。此外，我们通过使用图像的最大中心面积(max-center square crop)作为输入以及使用两个尺度(second scale)来给出结果:最大中心面积(max-center crop)的第二个尺度(select3×3windows的大小为图像大小的60%)正如我们所看到的，当使用10个边界框的预算时，我们可以用第一个模型本地化45.3%的对象，用第二个模型本地化48%的对象。这显示出比其他报告的结果更好的性能，例如对象度算法达到42%[1]。此外，这个图表显示了在不同分辨率下观察图像的重要性。虽然我们的算法通过使用最大中心作物获得了大量的对象，但当使用更高分辨率的图像作物时，我们获得了额外的提升。进一步，我们用21-way分类器对生成的包围盒进行分类，如上所述。表1列出了VOC 2007的平均精度(APs)。达到的平均AP是0.29，与先进水平相当。注意，我们的运行时间复杂度非常低——我们只使用top10框。示例检测和全精度召回曲线分别如图2和图3所示。值得注意的是，可视化检测是通过仅使用最大中心方形图像裁剪，即使用全图像获得的。然而，我们设法获得了相对较小的对象，例如第二行和第二列的船，以及第三行和第三列的羊。 在本工作中，我们提出了一种新的方法来定位图像中的对象，该方法可以预测多个边界框的时间。该方法使用深度卷积神经网络作为基本特征提取和学习模型。它制定了一个能够利用可变数量的groundtruth位置的多箱定位成本。在“一个类一个箱”方法的情况下，对1000个盒子进行非max-suppression，使用与给定图像中感兴趣的DeepMulti-Box方法相同的准则，并学习在未见图像中预测这些位置。 我们在VOC2007和ILSVRC-2012这两个具有挑战性的基准上给出了结果，在这两个基准上，所提出的方法具有竞争力。此外，该方法能够很好地预测后续分类器将探测到的位置。我们的结果表明，deepmultibox的方法是可扩展的，甚至可以在两个数据集之间泛化，就能够预测感兴趣的定位，甚至对于它没有训练的类别。此外，它能够捕获同一类物体的多种情况，这是旨在更好地理解图像的算法的一个重要特征。 在未来，我们希望能够将定位和识别路径折叠到一个单一的网络中，这样我们就能够在一个通过网络的一次性前馈中提取位置和类标签信息。即使在其当前状态下，双通道过程(本地化网络之后是分类网络)也会产生5-10个网络评估，每个评估的速度大约为1个CPU-sec(现代机器)。重要的是，这个数字并不与要识别的类的数量成线性关系，这使得所提出的方法与类似dpm的方法非常有竞争力。
深度学习目前已经应用到了各个领域，应用场景大体分为三类：物体识别，目标检测，自然语言处理。 目标检测可以理解为是物体识别和物体定位的综合 ，不仅仅要识别出物体属于哪个分类，更重要的是得到物体在图片中的具体位置。 2014年R-CNN算法被提出，基本奠定了two-stage方式在目标检测领域的应用。它的算法结构如下图 算法步骤如下： R-CNN较传统的目标检测算法获得了50%的性能提升，在使用VGG-16模型作为物体识别模型情况下，在voc2007数据集上可以取得66%的准确率，已经算还不错的一个成绩了。其最大的问题是速度很慢，内存占用量很大，主要原因有两个 针对R-CNN的部分问题，2015年微软提出了Fast R-CNN算法，它主要优化了两个问题。 R-CNN和fast R-CNN均存在一个问题，那就是 由选择性搜索来生成候选框，这个算法很慢 。而且R-CNN中生成的2000个左右的候选框全部需要经过一次卷积神经网络，也就是需要经过2000次左右的CNN网络，这个是十分耗时的（fast R-CNN已经做了改进，只需要对整图经过一次CNN网络）。这也是导致这两个算法检测速度较慢的最主要原因。 faster R-CNN 针对这个问题， 提出了RPN网络来进行候选框的获取，从而摆脱了选择性搜索算法，也只需要一次卷积层操作，从而大大提高了识别速度 。这个算法十分复杂，我们会详细分析。它的基本结构如下图 主要分为四个步骤： 使用VGG-16卷积模型的网络结构： 卷积层采用的VGG-16模型，先将PxQ的原始图片，缩放裁剪为MxN的图片，然后经过13个conv-relu层，其中会穿插4个max-pooling层。所有的卷积的kernel都是3x3的，padding为1，stride为1。pooling层kernel为2x2, padding为0，stride为2。 MxN的图片，经过卷积层后，变为了(M/16) x (N/16)的feature map了。 faster R-CNN抛弃了R-CNN中的选择性搜索（selective search）方法，使用RPN层来生成候选框，能极大的提升候选框的生成速度。RPN层先经过3x3的卷积运算，然后分为两路。一路用来判断候选框是前景还是背景，它先reshape成一维向量，然后softmax来判断是前景还是背景，然后reshape恢复为二维feature map。另一路用来确定候选框的位置，通过bounding box regression实现，后面再详细讲。两路计算结束后，挑选出前景候选框（因为物体在前景中），并利用计算得到的候选框位置，得到我们感兴趣的特征子图proposal。 卷积层提取原始图像信息，得到了256个feature map，经过RPN层的3x3卷积后，仍然为256个feature map。但是每个点融合了周围3x3的空间信息。对每个feature map上的一个点，生成k个anchor（k默认为9）。anchor分为前景和背景两类（我们先不去管它具体是飞机还是汽车，只用区分它是前景还是背景即可）。anchor有[x,y,w,h]四个坐标偏移量，x,y表示中心点坐标，w和h表示宽度和高度。这样，对于feature map上的每个点，就得到了k个大小形状各不相同的选区region。 对于生成的anchors，我们首先要判断它是前景还是背景。由于感兴趣的物体位于前景中，故经过这一步之后，我们就可以舍弃背景anchors了。大部分的anchors都是属于背景，故这一步可以筛选掉很多无用的anchor，从而减少全连接层的计算量。 对于经过了3x3的卷积后得到的256个feature map，先经过1x1的卷积，变换为18个feature map。然后reshape为一维向量，经过softmax判断是前景还是背景。此处reshape的唯一作用就是让数据可以进行softmax计算。然后输出识别得到的前景anchors。 另一路用来确定候选框的位置，也就是anchors的[x,y,w,h]坐标值。如下图所示，红色代表我们当前的选区，绿色代表真实的选区。虽然我们当前的选取能够大概框选出飞机，但离绿色的真实位置和形状还是有很大差别，故需要对生成的anchors进行调整。这个过程我们称为bounding box regression。 假设红色框的坐标为[x,y,w,h], 绿色框，也就是目标框的坐标为[Gx, Gy,Gw,Gh], 我们要建立一个变换，使得[x,y,w,h]能够变为[Gx, Gy,Gw,Gh]。最简单的思路是，先做平移，使得中心点接近，然后进行缩放，使得w和h接近。如下：我们要学习的就是dx dy dw dh这四个变换。由于是线性变换，我们可以用线性回归来建模。设定loss和优化方法后，就可以利用深度学习进行训练，并得到模型了。对于空间位置loss，我们一般采用均方差算法，而不是交叉熵（交叉熵使用在分类预测中）。优化方法可以采用自适应梯度下降算法Adam。 得到了前景anchors，并确定了他们的位置和形状后，我们就可以输出前景的特征子图proposal了。步骤如下： 1，得到前景anchors和他们的[x y w h]坐标。 2，按照anchors为前景的不同概率，从大到小排序，选取前pre_nms_topN个anchors，比如前6000个 3，剔除非常小的anchors。 4，通过NMS非极大值抑制，从anchors中找出置信度较高的。这个主要是为了解决选取交叠问题。首先计算每一个选区面积，然后根据他们在softmax中的score（也就是是否为前景的概率）进行排序，将score最大的选区放入队列中。接下来，计算其余选区与当前最大score选区的IOU（IOU为两box交集面积除以两box并集面积，它衡量了两个box之间重叠程度）。去除IOU大于设定阈值的选区。这样就解决了选区重叠问题。 5，选取前post_nms_topN个结果作为最终选区proposal进行输出，比如300个。 经过这一步之后，物体定位应该就基本结束了，剩下的就是物体识别了。 和fast R-CNN中类似，这一层主要解决之前得到的proposal大小形状各不相同，导致没法做全连接。全连接计算只能对确定的shape进行运算，故必须使proposal大小形状变为相同。通过裁剪和缩放的手段，可以解决这个问题，但会带来信息丢失和图片形变问题。我们使用ROI pooling可以有效的解决这个问题。 ROI pooling中，如果目标输出为MxN，则在水平和竖直方向上，将输入proposal划分为MxN份，每一份取最大值，从而得到MxN的输出特征图。 ROI Pooling层后的特征图，通过全连接层与softmax，就可以计算属于哪个具体类别，比如人，狗，飞机，并可以得到cls_prob概率向量。同时再次利用bounding box regression精细调整proposal位置，得到bbox_pred，用于回归更加精确的目标检测框。 这样就完成了faster R-CNN的整个过程了。算法还是相当复杂的，对于每个细节需要反复理解。faster R-CNN使用resNet101模型作为卷积层，在voc2012数据集上可以达到83.8%的准确率，超过yolo ssd和yoloV2。其最大的问题是速度偏慢，每秒只能处理5帧，达不到实时性要求。 针对于two-stage目标检测算法普遍存在的运算速度慢的缺点， yolo创造性的提出了one-stage。也就是将物体分类和物体定位在一个步骤中完成。 yolo直接在输出层回归bounding box的位置和bounding box所属类别，从而实现one-stage。通过这种方式， yolo可实现45帧每秒的运算速度，完全能满足实时性要求 （达到24帧每秒，人眼就认为是连续的）。它的网络结构如下图： 主要分为三个部分：卷积层，目标检测层，NMS筛选层。 采用Google inceptionV1网络，对应到上图中的第一个阶段，共20层。这一层主要是进行特征提取，从而提高模型泛化能力。但作者对inceptionV1进行了改造，他没有使用inception module结构，而是用一个1x1的卷积，并联一个3x3的卷积来替代。（可以认为只使用了inception module中的一个分支，应该是为了简化网络结构） 先经过4个卷积层和2个全连接层，最后生成7x7x30的输出。先经过4个卷积层的目的是为了提高模型泛化能力。yolo将一副448x448的原图分割成了7x7个网格，每个网格要预测两个bounding box的坐标(x,y,w,h)和box内包含物体的置信度confidence，以及物体属于20类别中每一类的概率（yolo的训练数据为voc2012，它是一个20分类的数据集）。所以一个网格对应的参数为（4x2+2+20) = 30。如下图 其中前一项表示有无人工标记的物体落入了网格内，如果有则为1，否则为0。第二项代表bounding box和真实标记的box之间的重合度。它等于两个box面积交集，除以面积并集。值越大则box越接近真实位置。 分类信息： yolo的目标训练集为voc2012，它是一个20分类的目标检测数据集 。常用目标检测数据集如下表： | Name | # Images (trainval) | # Classes | Last updated | | --------------- | ------------------- | --------- | ------------ | | ImageNet | 450k | 200 | 2015 | | COCO | 120K | 90 | 2014 | | Pascal VOC | 12k | 20 | 2012 | | Oxford-IIIT Pet | 7K | 37 | 2012 | | KITTI Vision | 7K | 3 | | 每个网格还需要预测它属于20分类中每一个类别的概率。分类信息是针对每个网格的，而不是bounding box。故只需要20个，而不是40个。而confidence则是针对bounding box的，它只表示box内是否有物体，而不需要预测物体是20分类中的哪一个，故只需要2个参数。虽然分类信息和confidence都是概率，但表达含义完全不同。 筛选层是为了在多个结果中（多个bounding box）筛选出最合适的几个，这个方法和faster R-CNN 中基本相同。都是先过滤掉score低于阈值的box，对剩下的box进行NMS非极大值抑制，去除掉重叠度比较高的box（NMS具体算法可以回顾上面faster R-CNN小节）。这样就得到了最终的最合适的几个box和他们的类别。 yolo的损失函数包含三部分，位置误差，confidence误差，分类误差。具体公式如下： 误差均采用了均方差算法，其实我认为，位置误差应该采用均方差算法，而分类误差应该采用交叉熵。由于物体位置只有4个参数，而类别有20个参数，他们的累加和不同。如果赋予相同的权重，显然不合理。故yolo中位置误差权重为5，类别误差权重为1。由于我们不是特别关心不包含物体的bounding box，故赋予不包含物体的box的置信度confidence误差的权重为0.5，包含物体的权重则为1。 Faster R-CNN准确率mAP较高，漏检率recall较低，但速度较慢。而yolo则相反，速度快，但准确率和漏检率不尽人意。SSD综合了他们的优缺点，对输入300x300的图像，在voc2007数据集上test，能够达到58 帧每秒( Titan X 的 GPU )，72.1%的mAP。 SSD网络结构如下图： 和yolo一样，也分为三部分：卷积层，目标检测层和NMS筛选层 SSD论文采用了VGG16的基础网络，其实这也是几乎所有目标检测神经网络的惯用方法。先用一个CNN网络来提取特征，然后再进行后续的目标定位和目标分类识别。 这一层由5个卷积层和一个平均池化层组成。去掉了最后的全连接层。SSD认为目标检测中的物体，只与周围信息相关，它的感受野不是全局的，故没必要也不应该做全连接。SSD的特点如下。 每一个卷积层，都会输出不同大小感受野的feature map。在这些不同尺度的feature map上，进行目标位置和类别的训练和预测，从而达到 多尺度检测 的目的，可以克服yolo对于宽高比不常见的物体，识别准确率较低的问题。而yolo中，只在最后一个卷积层上做目标位置和类别的训练和预测。这是SSD相对于yolo能提高准确率的一个关键所在。 如上所示，在每个卷积层上都会进行目标检测和分类，最后由NMS进行筛选，输出最终的结果。多尺度feature map上做目标检测，就相当于多了很多宽高比例的bounding box，可以大大提高泛化能力。 和faster R-CNN相似，SSD也提出了anchor的概念。卷积输出的feature map，每个点对应为原图的一个区域的中心点。以这个点为中心，构造出6个宽高比例不同，大小不同的anchor（SSD中称为default box）。每个anchor对应4个位置参数(x,y,w,h)和21个类别概率（voc训练集为20分类问题，在加上anchor是否为背景，共21分类）。如下图所示： 另外，在训练阶段，SSD将正负样本比例定位1：3。训练集给定了输入图像以及每个物体的真实区域（ground true box），将default box和真实box最接近的选为正样本。然后在剩下的default box中选择任意一个与真实box IOU大于0.5的，作为正样本。而其他的则作为负样本。由于绝大部分的box为负样本，会导致正负失衡，故根据每个box类别概率排序，使正负比例保持在1：3。SSD认为这个策略提高了4%的准确率 另外，SSD采用了数据增强。生成与目标物体真实box间IOU为0.1 0.3 0.5 0.7 0.9的patch，随机选取这些patch参与训练，并对他们进行随机水平翻转等操作。SSD认为这个策略提高了8.8%的准确率。 和yolo的筛选层基本一致，同样先过滤掉类别概率低于阈值的default box，再采用NMS非极大值抑制，筛掉重叠度较高的。只不过SSD综合了各个不同feature map上的目标检测输出的default box。 SSD基本已经可以满足我们手机端上实时物体检测需求了，TensorFlow在Android上的目标检测官方模型ssd_mobilenet_v1_android_export.pb，就是通过SSD算法实现的。它的基础卷积网络采用的是mobileNet，适合在终端上部署和运行。 针对yolo准确率不高，容易漏检，对长宽比不常见物体效果差等问题，结合SSD的特点，提出了yoloV2。它主要还是采用了yolo的网络结构，在其基础上做了一些优化和改进，如下 网络采用DarkNet-19：19层，里面包含了大量3x3卷积，同时借鉴inceptionV1，加入1x1卷积核全局平均池化层。结构如下 yolo和yoloV2只能识别20类物体，为了优化这个问题，提出了yolo9000，可以识别9000类物体。它在yoloV2基础上，进行了imageNet和coco的联合训练。这种方式充分利用imageNet可以识别1000类物体和coco可以进行目标位置检测的优点。当使用imageNet训练时，只更新物体分类相关的参数。而使用coco时，则更新全部所有参数。 YOLOv3可以说出来直接吊打一切图像检测算法。比同期的DSSD(反卷积SSD), FPN（feature pyramid networks）准确率更高或相仿，速度是其1/3.。 YOLOv3的改动主要有如下几点：不过如果要求更精准的预测边框，采用COCO AP做评估标准的话，YOLO3在精确率上的表现就弱了一些。如下图所示。 当前目标检测模型算法也是层出不穷。在two-stage领域， 2017年Facebook提出了mask R-CNN 。CMU也提出了A-Fast-RCNN 算法，将对抗学习引入到目标检测领域。Face++也提出了Light-Head R-CNN，主要探讨了 R-CNN 如何在物体检测中平衡精确度和速度。 one-stage领域也是百花齐放，2017年首尔大学提出 R-SSD 算法，主要解决小尺寸物体检测效果差的问题。清华大学提出了 RON 算法，结合 two stage 名的方法和 one stage 方法的优势，更加关注多尺度对象定位和负空间样本挖掘问题。 目标检测领域的深度学习算法，需要进行目标定位和物体识别，算法相对来说还是很复杂的。当前各种新算法也是层不出穷，但模型之间有很强的延续性，大部分模型算法都是借鉴了前人的思想，站在巨人的肩膀上。我们需要知道经典模型的特点，这些tricks是为了解决什么问题，以及为什么解决了这些问题。这样才能举一反三，万变不离其宗。综合下来，目标检测领域主要的难点如下： 一文读懂目标检测AI算法：R-CNN，faster R-CNN，yolo，SSD，yoloV2 从YOLOv1到v3的进化之路 SSD-Tensorflow超详细解析【一】：加载模型对图片进行测试 YOLO https://pjreddie.com/darknet/yolo/ https://github.com/pjreddie/darknet C#项目参考： 项目实践贴个图。
在大数据环境下，计算机信息处理技术也面临新的挑战，要求计算机信息处理技术必须不断的更新发展，以能够对当前的计算机信息处理需求满足。下面是我给大家推荐的计算机与大数据的相关论文，希望大家喜欢!计算机与大数据的相关论文篇一 浅谈“大数据”时代的计算机信息处理技术 [摘 要]在大数据环境下，计算机信息处理技术也面临新的挑战，要求计算机信息处理技术必须不断的更新发展，以能够对当前的计算机信息处理需求满足。本文重点分析大数据时代的计算机信息处理技术。 [关键词]大数据时代;计算机;信息处理技术 在科学技术迅速发展的当前，大数据时代已经到来，大数据时代已经占领了整个环境，它对计算机的信息处理技术产生了很大的影响。计算机在短短的几年内，从稀少到普及，使人们的生活有了翻天覆地的变化，计算机的快速发展和应用使人们走进了大数据时代，这就要求对计算机信息处理技术应用时，则也就需要在之前基础上对技术实施创新，优化结构处理，从而让计算机数据更符合当前时代发展。 一、大数据时代信息及其传播特点 自从“大数据”时代的到来，人们的信息接收量有明显加大，在信息传播中也出现传播速度快、数据量大以及多样化等特点。其中数据量大是目前信息最显著的特点，随着时间的不断变化计算机信息处理量也有显著加大，只能够用海量还对当前信息数量之大形容;传播速度快也是当前信息的主要特点，计算机在信息传播中传播途径相当广泛，传播速度也相当惊人，1s内可以完成整个信息传播任务，具有较高传播效率。在传播信息过程中，还需要实施一定的信息处理，在此过程中则需要应用相应的信息处理工具，实现对信息的专门处理，随着目前信息处理任务的不断加强，信息处理工具也有不断的进行创新[1];信息多样化，则也就是目前数据具有多种类型，在庞大的数据库中，信息以不同的类型存在着，其中包括有文字、图片、视频等等。这些信息类型的格式也在不断发生着变化，从而进一步提高了计算机信息处理难度。目前计算机的处理能力、打印能力等各项能力均有显著提升，尤其是当前软件技术的迅速发展，进一步提高了计算机应用便利性。微电子技术的发展促进了微型计算机的应用发展，进一步强化了计算机应用管理条件。 大数据信息不但具有较大容量，同时相对于传统数据来讲进一步增强了信息间关联性，同时关联结构也越来越复杂，导致在进行信息处理中需要面临新的难度。在 网络技术 发展中重点集中在传输结构发展上，在这种情况下计算机必须要首先实现网络传输结构的开放性设定，从而打破之前计算机信息处理中，硬件所具有的限制作用。因为在当前计算机网络发展中还存在一定的不足，在完成云计算机网络构建之后，才能够在信息处理过程中，真正的实现收放自如[2]。 二、大数据时代的计算机信息处理技术 (一)数据收集和传播技术 现在人们通过电脑也就可以接收到不同的信息类型，但是在进行信息发布之前，工作人员必须要根据需要采用信息处理技术实施相应的信息处理。计算机采用信息处理技术实施信息处理，此过程具有一定复杂性，首先需要进行数据收集，在将相关有效信息收集之后首先对这些信息实施初步分析，完成信息的初级操作处理，总体上来说信息处理主要包括：分类、分析以及整理。只有将这三步操作全部都完成之后，才能够把这些信息完整的在计算机网络上进行传播，让用户依照自己的实际需求筛选满足自己需求的信息，借助于计算机传播特点将信息数据的阅读价值有效的实现。 (二)信息存储技术 在目前计算机网络中出现了很多视频和虚拟网页等内容，随着人们信息接收量的不断加大，对信息储存空间也有较大需求，这也就是对计算机信息存储技术提供了一个新的要求。在数据存储过程中，已经出现一系列存储空间无法满足当前存储要求，因此必须要对当前计算机存储技术实施创新发展。一般来讲计算机数据存储空间可以对当前用户关于不同信息的存储需求满足，但是也有一部分用户对于计算机存储具有较高要求，在这种情况下也就必须要提高计算机数据存储性能[3]，从而为计算机存储效率提供有效保障。因此可以在大数据存储特点上完成计算机信息新存储方式，不但可以有效的满足用户信息存储需求，同时还可以有效的保障普通储存空间不会出现被大数据消耗问题。 (三)信息安全技术 大量数据信息在计算机技术发展过程中的出现，导致有一部分信息内容已经出现和之前信息形式的偏移，构建出一些新的计算机信息关联结构，同时具有非常强大的数据关联性，从而也就导致在计算机信息处理中出现了新的问题，一旦在信息处理过程中某个信息出现问题，也就会导致与之关联紧密的数据出现问题。在实施相应的计算机信息管理的时候，也不像之前一样直接在单一数据信息之上建立，必须要实现整个数据库中所有将数据的统一安全管理。从一些角度分析，这种模式可以对计算机信息处理技术水平有显著提升，并且也为计算机信息处理技术发展指明了方向，但是因为在计算机硬件中存在一定的性能不足，也就导致在大数据信息安全管理中具有一定难度。想要为数据安全提供有效保障，就必须要注重数据安全技术管理技术的发展。加强当前信息安全体系建设，另外也必须要对计算机信息管理人员专业水平进行培养，提高管理人员专业素质和专业能力，从而更好的满足当前网络信息管理体系发展需求，同时也要加强关于安全技术的全面深入研究工作[4]。目前在大数据时代下计算机信息安全管理技术发展还不够成熟，对于大量的信息还不能够实施全面的安全性检测，因此在未来计算机信息技术研究中安全管理属于重点方向。但是因为目前还没有构建完善的计算机安全信息管理体系，因此首先应该强化关于计算机重点信息的安全管理，这些信息一旦发生泄漏，就有可能会导致出现非常严重的损失。目前来看，这种 方法 具有一定可行性。 (四)信息加工、传输技术 在实施计算机信息数据处理和传输过程中，首先需要完成数据采集，同时还要实时监控数据信息源，在数据库中将采集来的各种信息数据进行存储，所有数据信息的第一步均是完成采集。其次才能够对这些采集来的信息进行加工处理，通常来说也就是各种分类及加工。最后把已经处理好的信息，通过数据传送系统完整的传输到客户端，为用户阅读提供便利。 结语： 在大数据时代下，计算机信息处理技术也存在一定的发展难度，从目前专业方面来看，还存在一些问题无法解决，但是这些难题均蕴含着信息技术发展的重要机遇。在当前计算机硬件中，想要完成计算机更新也存在一定的难度，但是目前计算机未来的发展方向依旧是云计算网络，把网络数据和计算机硬件数据两者分开，也就有助于实现云计算机网络的有效转化。随着科学技术的不断发展相信在未来的某一天定能够进入到计算机信息处理的高速发展阶段。 参考文献 [1] 冯潇婧.“大数据”时代背景下计算机信息处理技术的分析[J].计算机光盘软件与应用，2014，(05)：105+107. [2] 詹少强.基于“大数据”时代剖析计算机信息处理技术[J].网络安全技术与应用，2014，(08)：49-50. [3] 曹婷.在信息网络下计算机信息处理技术的安全性[J].民营科技，2014， (12)：89CNKI [4] 申鹏.“大数据”时代的计算机信息处理技术初探[J].计算机光盘软件与应用，2014，(21)：109-110 计算机与大数据的相关论文篇二 试谈计算机软件技术在大数据时代的应用 摘要：大数据的爆炸式增长在大容量、多样性和高增速方面，全面考验着现代企业的数据处理和分析能力;同时，也为企业带来了获取更丰富、更深入和更准确地洞察市场行为的大量机会。对企业而言，能够从大数据中获得全新价值的消息是令人振奋的。然而，如何从大数据中发掘出“真金白银”则是一个现实的挑战。这就要求采用一套全新的、对企业决策具有深远影响的解决方案。 关键词：计算机 大数据时代 容量 准确 价值 影响 方案 1 概述 自从计算机出现以后，传统的计算工作已经逐步被淘汰出去，为了在新的竞争与挑战中取得胜利，许多网络公司开始致力于数据存储与数据库的研究，为互联网用户提供各种服务。随着云时代的来临，大数据已经开始被人们广泛关注。一般来讲，大数据指的是这样的一种现象：互联网在不断运营过程中逐步壮大，产生的数据越来越多，甚至已经达到了10亿T。大数据时代的到来给计算机信息处理技术带来了更多的机遇和挑战，随着科技的发展，计算机信息处理技术一定会越来越完善，为我们提供更大的方便。 大数据是IT行业在云计算和物联网之后的又一次技术变革，在企业的管理、国家的治理和人们的生活方式等领域都造成了巨大的影响。大数据将网民与消费的界限和企业之间的界限变得模糊，在这里，数据才是最核心的资产，对于企业的运营模式、组织结构以及 文化 塑造中起着很大的作用。所有的企业在大数据时代都将面对战略、组织、文化、公共关系和人才培养等许多方面的挑战，但是也会迎来很大的机遇，因为只是作为一种共享的公共网络资源，其层次化和商业化不但会为其自身发展带来新的契机，而且良好的服务品质更会让其充分具有独创性和专用性的鲜明特点。所以，知识层次化和商业化势必会开启知识创造的崭新时代。可见，这是一个竞争与机遇并存的时代。 2 大数据时代的数据整合应用 自从2013年，大数据应用带来令人瞩目的成绩，不仅国内外的产业界与科技界，还有各国政府部门都在积极布局、制定战略规划。更多的机构和企业都准备好了迎接大数据时代的到来，大数据的内涵应是数据的资产化和服务化，而挖掘数据的内在价值是研究大数据技术的最终目标。在应用数据快速增长的背景下，为了降低成本获得更好的能效，越来越趋向专用化的系统架构和数据处理技术逐渐摆脱传统的通用技术体系。如何解决“通用”和“专用”体系和技术的取舍，以及如何解决数据资产化和价值挖掘问题。 企业数据的应用内容涵盖数据获取与清理、传输、存储、计算、挖掘、展现、开发平台与应用市场等方面，覆盖了数据生产的全生命周期。除了Hadoop版本2.0系统YARN，以及Spark等新型系统架构介绍外，还将探讨研究流式计算(Storm，Samza，Puma，S4等)、实时计算(Dremel，Impala，Drill)、图计算(Pregel，Hama，Graphlab)、NoSQL、NewSQL和BigSQL等的最新进展。在大数据时代，借力计算机智能(MI)技术，通过更透明、更可用的数据，企业可以释放更多蕴含在数据中的价值。实时、有效的一线质量数据可以更好地帮助企业提高产品品质、降低生产成本。企业领导者也可根据真实可靠的数据制订正确战略经营决策，让企业真正实现高度的计算机智能决策办公，下面我们从通信和商业运营两个方面进行阐述。 2.1 通信行业：XO Communications通过使用IBM SPSS预测分析软件，减少了将近一半的客户流失率。XO现在可以预测客户的行为，发现行为趋势，并找出存在缺陷的环节，从而帮助公司及时采取 措施 ，保留客户。此外，IBM新的Netezza网络分析加速器，将通过提供单个端到端网络、服务、客户分析视图的可扩展平台，帮助通信企业制定更科学、合理决策。电信业者透过数以千万计的客户资料，能分析出多种使用者行为和趋势，卖给需要的企业，这是全新的资料经济。中国移动通过大数据分析，对 企业运营 的全业务进行针对性的监控、预警、跟踪。系统在第一时间自动捕捉市场变化，再以最快捷的方式推送给指定负责人，使他在最短时间内获知市场行情。 2.2 商业运营：辛辛那提动物园使用了Cognos，为iPad提供了单一视图查看管理即时访问的游客和商务信息的服务。借此，动物园可以获得新的收入来源和提高营收，并根据这些信息及时调整营销政策。数据收集和分析工具能够帮助银行设立最佳网点，确定最好的网点位置，帮助这个银行更好地运作业务，推动业务的成长。 3 企业信息解决方案在大数据时代的应用 企业信息管理软件广泛应用于解决欺诈侦测、雇员流动、客户获取与维持、网络销售、市场细分、风险分析、亲和性分析、客户满意度、破产预测和投资组合分析等多样化问题。根据大数据时代的企业挖掘的特征，提出了数据挖掘的SEMMA方法论――在SAS/EM环境中，数据挖掘过程被划分为Sample、Explore、Modify、Model、Assess这五个阶段，简记为SEMMA： 3.1 Sample 抽取一些代表性的样本数据集(通常为训练集、验证集和测试集)。样本容量的选择标准为：包含足够的重要信息，同时也要便于分析操作。该步骤涉及的处理工具为：数据导入、合并、粘贴、过滤以及统计抽样方法。 3.2 Explore 通过考察关联性、趋势性以及异常值的方式来探索数据，增进对于数据的认识。该步骤涉及的工具为：统计 报告 、视图探索、变量选择以及变量聚类等方法。 3.3 Modify 以模型选择为目标，通过创建、选择以及转换变量的方式来修改数据集。该步骤涉及工具为：变量转换、缺失处理、重新编码以及数据分箱等。 3.4 Model 为了获得可靠的预测结果，我们需要借助于分析工具来训练统计模型或者机器学习模型。该步骤涉及技术为：线性及逻辑回归、决策树、神经网络、偏最小二乘法、LARS及LASSO、K近邻法以及其他用户(包括非SAS用户)的模型算法。 3.5 Assess 评估数据挖掘结果的有效性和可靠性。涉及技术为：比较模型及计算新的拟合统计量、临界分析、决策支持、报告生成、评分代码管理等。数据挖掘者可能不会使用全部SEMMA分析步骤。然而，在获得满意结果之前，可能需要多次重复其中部分或者全部步骤。 在完成SEMMA步骤后，可将从优选模型中获取的评分公式应用于(可能不含目标变量的)新数据。将优选公式应用于新数据，这是大多数数据挖掘问题的目标。此外，先进的可视化工具使得用户能在多维直方图中快速、轻松地查阅大量数据并以图形化方式比较模拟结果。SAS/EM包括了一些非同寻常的工具，比如：能用来产生数据挖掘流程图的完整评分代码(SAS、C以及Java代码)的工具，以及交换式进行新数据评分计算和考察执行结果的工具。 如果您将优选模型注册进入SAS元数据服务器，便可以让SAS/EG和SAS/DI Studio的用户分享您的模型，从而将优选模型的评分代码整合进入 工作报告 和生产流程之中。SAS模型管理系统，通过提供了开发、测试和生产系列环境的项目管理结构，进一步补充了数据挖掘过程，实现了与SAS/EM的无缝联接。 在SAS/EM环境中，您可以从SEMMA工具栏上拖放节点进入工作区的工艺流程图中，这种流程图驱动着整个数据挖掘过程。SAS/EM的图形用户界面(GUI)是按照这样的思路来设计的：一方面，掌握少量统计知识的商务分析者可以浏览数据挖掘过程的技术方法;另一方面，具备数量分析技术的专家可以用微调方式深入探索每一个分析节点。 4 结束语 在近十年时间里，数据采集、存储和数据分析技术飞速发展，大大降低了数据储存和处理的成本，一个大数据时代逐渐展现在我们的面前。大数据革新性地将海量数据处理变为可能，并且大幅降低了成本，使得越来越多跨专业学科的人投入到大数据的开发应用中来。 参考文献： [1]薛志文.浅析计算机网络技术及其发展趋势[J].信息与电脑，2009. [2]张帆，朱国仲.计算机网络技术发展综述[J].光盘技术，2007. [3]孙雅珍.计算机网络技术及其应用[J].东北水利水电，1994. [4]史萍.计算机网络技术的发展及展望[J].五邑大学学报，1999. [5]桑新民.步入信息时代的学习理论与实践[M].中央广播大学出版社，2000. [6]张浩，郭灿.数据可视化技术应用趋势与分类研究[J].软件导刊. [7]王丹.数字城市与城市地理信息产业化――机遇与挑战[J].遥感信息，2000(02). [8]杨凤霞.浅析 Excel 2000对数据的安全管理[J].湖北商业高等专科学校学报，2001(01). 计算机与大数据的相关论文篇三 浅谈利用大数据推进计算机审计的策略 [摘要]社会发展以及时代更新，在该种环境背景下大数据风潮席卷全球，尤其是在进入新时期之后数据方面处理技术更加成熟，各领域行业对此也给予了较高的关注，针对当前计算机审计(英文简称CAT)而言要想加速其发展脚步并将其质量拔高就需要结合大数据，依托于大数据实现长足发展，本文基于此就大数据于CAT影响进行着手分析，之后探讨依托于大数据良好推进CAT，以期为后续关于CAT方面研究提供理论上参考依据。 [关键词]大数据 计算机审计 影响 前言：相较于网络时代而言大数据风潮一方面提供了共享化以及开放化、深层次性资源，另一方面也促使信息管理具备精准性以及高效性，走进新时期CAT应该融合于大数据风潮中，相应CAT人员也需要积极应对大数据带了的机遇和挑战，正面CAT工作，进而促使CAT紧跟时代脚步。 一、初探大数据于CAT影响 1.1影响之机遇 大数据于CAT影响体现在为CAT带来了较大发展机遇，具体来讲，信息技术的更新以及其质量的提升促使数据方面处理技术受到了众多领域行业的喜爱，当前在数据技术推广普及阶段中呈现三大变化趋势：其一是大众工作生活中涉及的数据开始由以往的样本数据实际转化为全数据。其二是全数据产生促使不同数据间具备复杂内部关系，而该种复杂关系从很大程度上也推动工作效率以及数据精准性日渐提升，尤其是数据间转化关系等更为清晰明了。其三是大众在当前处理数据环节中更加关注数据之间关系研究，相较于以往仅仅关注数据因果有了较大进步。基于上述三大变化趋势，也深刻的代表着大众对于数据处理的态度改变，尤其是在当下海量数据生成背景下，人工审计具备较强滞后性，只有依托于大数据并发挥其优势才能真正满足大众需求，而这也是大数据对CAT带来的重要发展机遇，更是促进CAT在新时期得以稳定发展重要手段。 1.2影响之挑战 大数据于CAT影响还体现在为CAT带来一定挑战，具体来讲，审计评估实际工作质量优劣依托于其中数据质量，数据具备的高质量则集中在可靠真实以及内容详细和相应信息准确三方面，而在CAT实际工作环节中常常由于外界环境以及人为因素导致数据质量较低，如数据方面人为随意修改删除等等，而这些均是大数据环境背景下需要严格把控的重点工作内容。 二、探析依托于大数据良好推进CAT措施 2.1数据质量的有效保障 依托于大数据良好推进CAT措施集中在数据质量有效保障上，对数据质量予以有效保障需要从两方面入手，其一是把控电子数据有效存储，简单来讲就是信息存储，对电子信息进行定期检查，监督数据实际传输，对信息系统予以有效确认以及评估和相应的测试等等，进而将不合理数据及时发现并找出信息系统不可靠不准确地方;其二是把控电子数据采集，通常电子数据具备多样化采集方式，如将审计单位相应数据库直接连接采集库进而实现数据采集，该种直接采集需要备份初始传输数据，避免数据采集之后相关人员随意修改，更加可以与审计单位进行数据采集真实性 承诺书 签订等等，最终通过电子数据方面采集以及存储两大内容把控促使数据质量更高，从而推动CAT发展。 2.2公共数据平台的建立 依托于大数据良好推进CAT措施还集中在公共数据平台的建立，建立公共化分析平台一方面能够将所有采集的相关数据予以集中化管理存储，更能够予以多角度全方面有效分析;另一方面也能够推动CAT作业相关标准予以良好执行。如果将分析模型看作是CAT作业标准以及相应的核心技术，则公共分析平台则是标准执行和相应技术实现关键载体。依托于公共数据平台不仅能够将基础的CAT工作实现便捷化以及统一化，而且深层次的实质研究有利于CAT数据处理的高速性以及高效性，最终为推动CAT发展起到重要影响作用。 2.3审计人员的强化培训 依托于大数据良好推进CAT措施除了集中在上述两方面之外，还集中在审计人员的强化培训上，具体来讲，培训重点关注审计工作于计算机上的具 体操 作以及操作重点难点，可以构建统一培训平台，在该培训平台中予以多元化资料的分享，聘请高技能丰富 经验 人士予以平台授课，提供专业技能知识沟通互动等等机会，最终通过强化培训提升审计人员综合素质，更加推动CAT未来发展。 三、结论 综上分析可知，当前大数据环境背景下CAT需要将日常工作予以不断调整，依托于大数据促使审计人员得以素质提升，并利用公共数据平台建立和相应的数据质量保障促使CAT工作更加高效，而本文对依托于大数据良好推进CAT进行研究旨在为未来CAT优化发展献出自己的一份研究力量。 猜你喜欢： 1. 人工智能与大数据论文 2. 大数据和人工智能论文 3. 计算机大数据论文参考 4. 计算机有关大数据的应用论文 5. 有关大数据应用的论文
题目：Efficient algorithms for mining outliers from large data sets 期刊/会议：ACM SIGMOD 年份：2000 引用次数：1866 大数据异常检测。 以前的异常检测方法大多是基于统计方法，但是数据的分布往往是未知的，与假设不符。本文认可了一种异常点的定义方式，并用基于距离的方式查找异常点。 首先采用聚类的方式将数据聚成若干类，计算每个簇中样本点的k近邻距离的上下界，将距离过小的簇删除掉，以减少计算量。 首先定义异常点，首先对所有样本点计算k近邻距离，k近邻距离最大的前n个点认为是异常点。
收录学位论文的数据库有：中国知网博士学位论文全文数据库、中国知网硕士学位论文全文数据库、万方中国学位论文全文数据库等。
1、中国知网博士学位论文全文数据库。
该数据库是国内内容最全、质量最高、出版周期最短、数据最规范、最实用的博士学位论文全文数据库。内容覆盖基础科学、工程技术、农业、医学、哲学、人文、社会科学等各个领域。目前，收录1984年以来全国426家培养单位的博士学位论文290565篇。
2、中国知网硕士学位论文全文数据库。
该数据库重点收录985、211高校、中国科学院、社会科学院等重点院校高校的优秀硕士论文、重要特色学科如通信、军事学、中医药等专业的优秀硕士论文。出版内容覆盖基础科学、工程技术、农业、哲学、医学、哲学、人文、社会科学等各个领域。目前，收录来自699家培养单位的优秀硕士学位论文2671056篇。
3、万方中国学位论文全文数据库
该数据库收录的学位论文始于1980年，年增30万篇，并逐年回溯，与国内900余所高校、科研院所合作，占研究生学位授予单位85%以上，涵盖理、工、农、医、人文社科、交通运输、航空航天、环境科学等各学科。
4、华艺台湾学术文献数据库。
华艺为台湾最大的学术数据库公司，华艺-台湾学术文献数据库包含《台湾科学期刊数据库》及《台湾科学学位论文数据库》。《台湾科学学位论文全文数据库》为全台最大科学学位论文库，收录31所重点大学约50000篇全文（台湾大学为独家收录）。支持简繁体中文检索，PDF直接下载。是了解台湾学术研究资源最重要的电子全文数据库。
5、CADAL数字图书馆
收录内容：CADAL数字图书馆是全文型数据库，收录了CADAL共建单位的学位论文全文16万余篇，包括1900多篇民国学位论文和16万5千多篇当代学位论文。当代论文全文更新至2006年。检索功能：提供名称检索、作者检索、馆藏单位检索。提供学位论文按出版时间浏览。
6、ProQuest学位论文全文数据库
收录内容：ProQuest学位论文全文数据库是国外学位论文中国集团全文检索平台。收录了1743年至今的来自欧美、加拿大等60多个国家4000多所高校的优秀博士、硕士论文，涵盖文、理、工、农、医等高质量的学术研究领域。
该数据库的论文是由国内高校或机构图书馆经合作购买而形成的论文全文数据库。目前，中国集团全文检索平台可以共享访问的全文论文已超过80万篇。
检索功能：提供标题检索、摘要检索、作者检索、导师检索、学校检索、学科检索等检索功能。提供主题分类浏览和学校分类浏览导航功能。
7、ProQuest博硕士论文文摘索引数据库PQDT
收录内容：ProQuest博硕士论文文摘索引数据库是文摘型数据库。它收录主要来自欧美国家4000多所高校的500多万篇学位论文，是目前世界上最大和最广泛使用的学位论文数据库。该数据库每周更新，平均每年新增约20万篇条目，多数论文可以预览前24页原文。如只需检索学位论文，请选择数据库首页上方“学位论文”栏目。
一般来说鲜明的要求写人的论文都已经给出题目，大部分是命题或者半命题，当然也存在让你拟题的可能。题目是文章的窗口，拟一个好题目，可以使文章增色不少，怎样拟好写人论文的题目呢？1、通常我们以写的人为题，这样可以一目了然让人了解你是在写人，在题目中，也可以加入一些修饰语，把这个人的主要特征写入，如《可爱的老爸》；或者把我对一个人的情感写入《难忘的他》
01 中国知网 中国知网是国家和清华大学等为主导的论文资源共享平台。中国知网可以说是国内论文数据库中，资料最全，涵盖范围最广的一个网站。需要写论文的朋友们可以到这个网站去寻找你要的论文资料。 02 万方学术搜索网 万方学术搜索网是由中国科技信息研究所和万方数据共同联合创建的论文资源共享平台。在这个网站上有很多关于学术如何跟生产相结合的论文，有这方面需求的学生朋友们可以去这个平台看一看。 03 维普咨询 维普咨询可以说是国内最早的一个论文数据库网站之一。它里面的论文资源也是非常丰富的。该网站收入了比较全的自然科学类论文和三农类的论文材料，有写这方面论文的学生朋友们，可以考虑一下去维普咨询看一看。 04 龙源期刊网 龙源期刊网中的论文资源也是比较丰富的，只是该网站下载相关的论文信息是要收费的。我不建议花钱去找论文资源。 05 中国生物医学文献数据库和中文生物医学期刊数据库 如果你是从事医药行业或者是研究生物的学子，可以到中国生物医学文献数据库和中文生物医学期刊数据库，去寻找写论文的资源。 06 学校图书馆的相关网站 任何一座大学的图书馆中的电脑上都有一些比较好的论文资源，如果在上述网站中没有找到合适的论文资源，可以到你所在的学校的图书馆电脑上中去找一下有没合适的论文资源。
国内主要有5大期刊数据库一、中国知网提供的《中国学术期刊(光盘版)》也称中国期刊全文数据库由清华同方股份有限公司出版。收录1994年以来国内6 600种期刊,包括了学术期刊于非学术期刊,涵盖理工、农业、医药卫生、文史哲、政治军事与法律、教育与社会科学综合、电子技术与信息科学、经济与管理。收录的学术期刊同时作为“中国学术期刊综合评价数据库统计源期刊”。但是收录的期刊不很全面,一些重要期刊未能收录。二、中国生物医学文献数据库(CBMDISC)由数据库是中国医学科学院信息研究所开发研制,收录了自1978年以来1 600余种中国生物医学期刊。范围涉及基础医学、临床医学、预防医学、药学、中医学及中药学等生物医学的各个领域。三、中文生物医学期刊数据库(CMCC)由中国人民解放军医学图书馆数据库研究部研制开发。收录了1994年以来国内正式出版发行的生物医学期刊和一些自办发行的生物医学刊物1 000余种的文献题录和文摘。涉及的主要学科领域有:基础医学、临床医学、预防医学、药学、医学生物学、中医学、中药学、医院管理及医学信息等生物医学的各个领域。并具有成果查新功能医学全在线四、万方数据资源系统(China Info)由中国科技信息研究所,万方数据股份有限公司研制。该数据库收录的期刊学科范围广,包括了学术期刊于非学术期刊,提供约2 000种的电子期刊的全文检索。被收录的学术期刊都获得了“中国核心期刊(遴选)数据库来源期刊”的收录证书。个别期刊甚至将“遴选”改成“精选”,或者干脆去掉。很多作者因此误以为这就是核心期刊。五、维普数据库也称中文科技期刊数据库,维普科技期刊数据库,由中国科学技术信息研究所重庆分所出版。收录了1989年以来我国自然科学、工程技术、农业科学、医药卫生、经济管理、教育科学和图书情报等学科9 000余种期刊,包括了学术与非学术期刊。收录期刊数量很大,但不足之处是部分国家新闻出版总署公布的非法期刊也被收录了。一般的,学术期刊都能进入至少1个国内期刊数据库。期刊据数据库[3]不是期刊的评价体系,对科研处的期刊性质评价也就缺乏足够的意义,故不宜作为期刊性质评价的依据。1、万方数据万方数据提供中国大陆科技期刊检索，是万方数据股份有限公司建立的专业学术知识服务网站。隶属于万方数据资源系统，对外服务数据由万方数据资源系统统一部署提供。2、全国报刊索引收录全国包括港台地区的期刊8000种左右，月报道量在1.8万条以上，年报道量在44万条左右，书本式用户有3500多家，现又出版光盘数据库。反映了中国政治、经济、军事、科学、文化、文学艺术、历史地理、科技等方面的发展情况，提供了国内外最新学术进展信息。该索引是我国收录报刊种类最多，内容涉及范围最广，持续出版时间最长，与新文献保持同步发展的权威性检索刊物，也是查找建国以来报刊论文资料最重要的检索工具。正文采用分类编排，先后采用过《中国人民大学图书分类法》和自编的《报刊资料分类表》，1980年起，仿《中国图书馆图书分类法》分21类编排，1992年全面改用《中国图书资料分类法》（第三版）编排，2000年开始用《中国图书馆分类法》（第四版）标引，计算机编排。在著录上，《全国报刊索引》从1991年起采用国家标准——《检索期刊条目著录规则》进行著录，包括题名、著译者姓名、报刊名、版本、卷期标识、起止页码、附注等项。同时，“哲社版”采用电脑编排，增加了“著者索引”、“题中人名分析索引”、“引用报刊一览表”，方便了读者的使用。3、超星数字图书馆为目前世界最大的中文在线数字图书馆，提供大量的电子图书资源提供阅读，其中包括文学、经济、计算机等五十余大类，数十万册电子图书，300 万篇论文，全文总量 4亿余页，数据总量30000GB，大量免费电子图书，并且每天仍在不断的增加与更新。覆盖范围：涉及哲学、宗教、社科总论、经典理论、民族学、经济学、自然科学总论、计算机等各个学科门类。本馆已订购67万余册。 收录年限：1977年至今。4、维普资讯维普资讯是科学技术部西南信息中心下属的一家大型的专业化数据公司,是中文期刊数据库建设事业的奠基人,公司全称重庆维普资讯有限公司。目前已经成为中国最大的综合文献数据库。从1989年开始，一直致力于对海量的报刊数据进行科学严谨的研究、分析，采集、加工等深层次开发和推广应用。5、中宏数据库中宏数据库由国家发改委所属的中国宏观经济学会、中宏基金、中国宏观经济信息网、中宏经济研究中心联合研创。是由18类大库、74类中库组成，涵盖了九十年代以来宏观经济、区域经济、产业经济、金融保险、投资消费、世界经济、政策法规、统计数字、研究报告等方面的详尽内容，是目前国内门类最全，分类最细，容量最大的经济类数据库。
国内主要有5大期刊数据库
一、中国知网提供的《中国学术期刊(光盘版)》
也称中国期刊全文数据库由清华同方股份有限公司出版。
收录1994年以来国内6 600种期刊,包括了学术期刊于非学术期刊,涵盖理工、农业、医药卫生、文史哲、政治军事与法律、教育与社会科学综合、电子技术与信息科学、经济与管理。
收录的学术期刊同时作为“中国学术期刊综合评价数据库统计源期刊”。
但是收录的期刊不很全面,一些重要期刊未能收录。
二、中国生物医学文献数据库(CBMDISC)
由数据库是中国医学科学院信息研究所开发研制,收录了自1978年以来1 600余种中国生物医学期刊。
范围涉及基础医学、临床医学、预防医学、药学、中医学及中药学等生物医学的各个领域。
三、中文生物医学期刊数据库(CMCC)
由中国人民 *** 医学图书馆数据库研究部研制开发。
收录了1994年以来国内正式出版发行的生物医学期刊和一些自办发行的生物医学刊物1 000余种的文献题录和文摘。
涉及的主要学科领域有:基础医学、临床医学、预防医学、药学、医学生物学、中医学、中药学、医院管理及医学信息等生物医学的各个领域。
并具有成果查新功能医学全在线
四、万方数据资源系统(China Info)
由中国科技信息研究所,万方数据股份有限公司研制。
该数据库收录的期刊学科范围广,包括了学术期刊于非学术期刊,提供约2 000种的电子期刊的全文检索。
被收录的学术期刊都获得了“中国核心期刊(遴选)数据库来源期刊”的收录证书。
个别期刊甚至将“遴选”改成“精选”,或者干脆去掉。
很多作者因此误以为这就是核心期刊。
五、维普数据库
也称中文科技期刊数据库,维普科技期刊数据库,由中国科学技术信息研究所重庆分所出版。
收录了1989年以来我国自然科学、工程技术、农业科学、医药卫生、经济管理、教育科学和图书情报等学科9 000余种期刊,包括了学术与非学术期刊。
收录期刊数量很大,但不足之处是部分国家新闻出版总署公布的非法期刊也被收录了。
一般的,学术期刊都能进入至少1个国内期刊数据库。
期刊据数据库[3]不是期刊的评价体系,对科研处的期刊性质评价也就缺乏足够的意义,故不宜作为期刊性质评价的依据。
1、万方数据
万方数据提供中国大陆科技期刊检索，是万方数据股份有限公司建立的专业学术知识服务网站。
隶属于万方数据资源系统，对外服务数据由万方数据资源系统统一部署提供。
2、全国报刊索引
收录全国包括港台地区的期刊8000种左右，月报道量在1.8万条以上，年报道量在44万条左右，书本式用户有3500多家，现又出版光盘数据库。
反映了中国政治、经济、军事、科学、文化、文学艺术、历史地理、科技等方面的发展情况，提供了国内外最新学术进展信息。
该索引是我国收录报刊种类最多，内容涉及范围最广，持续出版时间最长，与新文献保持同步发展的权威性检索刊物，也是查找建国以来报刊论文资料最重要的检索工具。
正文采用分类编排，先后采用过《中国人民大学图书分类法》和自编的《报刊资料分类表》，1980年起，仿《中国图书馆图书分类法》分21类编排，1992年全面改用《中国图书资料分类法》（第三版）编排，2000年开始用《中国图书馆分类法》（第四版）标引，计算机编排。
在著录上，《全国报刊索引》从1991年起采用国家标准——《检索期刊条目著录规则》进行著录，包括题名、著译者姓名、报刊名、版本、卷期标识、起止页码、附注等项。
同时，“哲社版”采用电脑编排，增加了“著者索引”、“题中人名分析索引”、“引用报刊一览表”，方便了读者的使用。
3、超星数字图书馆
为目前世界最大的中文在线数字图书馆，提供大量的电子图书资源提供阅读，其中包括文学、经济、计算机等五十余大类，数十万册电子图书，300 万篇论文，全文总量 4亿余页，数据总量30000GB，大量免费电子图书，并且每天仍在不断的增加与更新。
覆盖范围：涉及哲学、宗教、社科总论、经典理论、民族学、经济学、自然科学总论、计算机等各个学科门类。
本馆已订购67万余册。
收录年限：1977年至今。
4、维普资讯
维普资讯是科学技术部西南信息中心下属的一家大型的专业化数据公司,是中文期刊数据库建设事业的奠基人,公司全称重庆维普资讯有限公司。
目前已经成为中国最大的综合文献数据库。
从1989年开始，一直致力于对海量的报刊数据进行科学严谨的研究、分析，采集、加工等深层次开发和推广应用。
5、中宏数据库
中宏数据库由国家发改委所属的中国宏观经济学会、中宏基金、中国宏观经济信息网、中宏经济研究中心联合研创。
是由18类大库、74类中库组成，涵盖了九十年代以来宏观经济、区域经济、产业经济、金融保险、投资消费、世界经济、政策法规、统计数字、研究报告等方面的详尽内容，是目前国内门类最全，分类最细，容量最大的经济类数据库。
论文数据库有：中国知网、万方数据资源系统、维普数据库、万方数据等。
1、中国知网
也称中国期刊全文数据库由清华同方股份有限公司出版。收录1994年以来国内6600种期刊，包括了学术期刊于非学术期刊，涵盖理工、农业、医药卫生、文史哲、政治军事与法律、教育与社会科学综合、电子技术与信息科学、经济与管理。收录的学术期刊同时作为“中国学术期刊综合评价数据库统计源期刊”。
2、万方数据资源系统
由中国科技信息研究所，万方数据股份有限公司研制。该数据库收录的期刊学科范围广，包括了学术期刊于非学术期刊，提供约2 000种的电子期刊的全文检索被收录的学术期刊都获得了“中国核心期刊（遴选）数据库来源期刊”的收录证书。
3、维普数据库
也称中文科技期刊数据库，维普科技期刊数据库，由中国科学技术信息研究所重庆分所出版。收录了1989年以来我国自然科学、工程技术、农业科学、医药卫生、经济管理、教育科学和图书情报等学科9000余种期刊，包括了学术与非学术期刊。
4、万方数据
万方数据提供中国大陆科技期刊检索，是万方数据股份有限公司建立的专业学术知识服务网站。隶属于万方数据资源系统，对外服务数据由万方数据资源系统统一部署提供。
1、中国知网：
是一个基于海量资源的跨学科、跨语种、跨文献类型的学术资源搜索平台，也是全球最大的中文知识门户网站，内容覆盖了理工、社会科学、电子信息技术、农业、医学等多个学科，资源丰富，是查阅中文资料的最佳选择之一。
2、万方知识服务平台：
集成期刊、学位、会议、科技报告、专利、视频等十余种资源类型，收录期刊7600余种，年增300万篇；与国内600余所高校、科研院所等学位授予单位合作，收录自1980年以来的学位论文，每年增加约30万篇；会议论文收录涉及近3000个重要的学术会议，每年增加约20万篇。
3、维普—中文科技期刊数据库：
该库收录我国自然科学、工程技术、农业科学、医药卫生、经济管理、教育科学等学科12000余种期刊的2300余万篇文章的全文，每年增加约250万篇。
4、中经专网：
是国家信息中心中经网制作，全面反映我国经济运行态势和经济政策变动的海量信息平台。它分综合频道、宏观频道、金融频道、行业频道、区域频道、国际频道等六个板块，以专家分析为龙头，配合以快讯、统计、指数、政策等实时信息为背景，试图全方位多视角地诠释经济形势。
5、国研网数据库：
以国务院发展研究中心丰富的信息资源和强大的专家阵容为依托，全面整合中国宏观经济、金融研究和行业经济领域的专家资源及其研究成果，提供关于中国经济政策和经济发展的深入分析和权威预测。、
参考资料来源：
百度百科-中国知网
百度百科-中国经济信息网
百度百科-国研网
百度百科-维普网
做科研必备6大文献数据库！
*关于数据库介绍可以点击第一行《做科研必备6大文献数据库！》查看
有PQDT国外博硕士论文数据库、中国知网优秀硕博论文数据库、万方学位论文数据库、西安交大学位论文检索系统等。
2020年11月24日（周二）19：00-20：00，西安交大“致知讲堂”会介绍PQDT国外博硕士论文数据库、中国知网优秀硕博论文数据库、万方学位论文数据库、西安交大学位论文检索系统等国内外几种主要的学位论文数据库的访问途径和检索方法。
“致知讲堂”主要涉及文献信息资源利用、各类数据库的检索方法、常用软件使用等，从而帮助读者提高资源利用能力。想了解讲座日程请关注图书馆主页“最新消息”，亦可关注图书馆或研究生院的微信公众号。大部分讲座将采用“腾讯会议”在线直播。
扩展资料
国外学位论文情况
1、美国明确规定学生拥有学位论文的著作权所有权，培养机构拥有学位论文的使用权，明确UMI（美国学位论文数据库建设商）负责收藏美国高校出版的数字学位论文；
国会图书馆指定的收藏全美博士硕士论文的分馆，负责代理作者登记电子学位论文版权，统一加工各大学提交的学位论文信息，并收取一定出版费用，通过PQDT提供电子学位论文元数据和全文的商业性服务，结合非营利的各种途径实现学位论文全方位的开发利用。
2、欧盟成员国强制规定学位论文的开放来促进学位论文的利用，同时非常注重涉密学位论文的保密管理。英国高校图书馆以发起馆或者协同馆会员参与方式，建立全国统一的电子学位在线服务平台ETHOS，提供学位论文存储、检索和开放服务；
针对读者需求提供非营利性服务，学位论文开放程度和利用率都很高，明确学位论文版权归作者所有，通过授权或转让等形式促进学位论文流通和利用。
德国国家图书馆是学位论文的收藏机构，基于开放信息仓储首创协议的电子学位论文加工，实现NDLTD论文数据库的数据交换，可以长期免费获取全文电子学位论文。
3、巴西已经建立巴西电子学位论文统一平台，提供学位论文的全文获取；印度逐渐开始重视学位论文开发利用，1991年建立全国信息和图书馆网络学位论文库，收藏国内绝大多数高校博士论文，正在逐步将其建成全国统一学位论文检索和开放平台；
俄罗斯建立国立图书馆的学位论文库，通过和作者、合作单位签订合同，作者将符合要求的电子学位论文提交给国立图书馆，国内各图书馆每年支付一定费用后获取学位论文服务。
参考资料来源：西安交大--致知讲堂|图书馆信息素养讲座（第七期）
参考资料来源：光明网--学位论文 这笔资源怎么利用
国内主要有5大期刊数据库一、中国知网提供的《中国学术期刊(光盘版)》也称中国期刊全文数据库由清华同方股份有限公司出版。收录1994年以来国内6 600种期刊,包括了学术期刊于非学术期刊,涵盖理工、农业、医药卫生、文史哲、政治军事与法律、教育与社会科学综合、电子技术与信息科学、经济与管理。收录的学术期刊同时作为“中国学术期刊综合评价数据库统计源期刊”。但是收录的期刊不很全面,一些重要期刊未能收录。二、中国生物医学文献数据库(CBMDISC)由数据库是中国医学科学院信息研究所开发研制,收录了自1978年以来1 600余种中国生物医学期刊。范围涉及基础医学、临床医学、预防医学、药学、中医学及中药学等生物医学的各个领域。三、中文生物医学期刊数据库(CMCC)由中国人民解放军医学图书馆数据库研究部研制开发。收录了1994年以来国内正式出版发行的生物医学期刊和一些自办发行的生物医学刊物1 000余种的文献题录和文摘。涉及的主要学科领域有:基础医学、临床医学、预防医学、药学、医学生物学、中医学、中药学、医院管理及医学信息等生物医学的各个领域。并具有成果查新功能医学全在线四、万方数据资源系统(China Info)由中国科技信息研究所,万方数据股份有限公司研制。该数据库收录的期刊学科范围广,包括了学术期刊于非学术期刊,提供约2 000种的电子期刊的全文检索。被收录的学术期刊都获得了“中国核心期刊(遴选)数据库来源期刊”的收录证书。个别期刊甚至将“遴选”改成“精选”,或者干脆去掉。很多作者因此误以为这就是核心期刊。五、维普数据库也称中文科技期刊数据库,维普科技期刊数据库,由中国科学技术信息研究所重庆分所出版。收录了1989年以来我国自然科学、工程技术、农业科学、医药卫生、经济管理、教育科学和图书情报等学科9 000余种期刊,包括了学术与非学术期刊。收录期刊数量很大,但不足之处是部分国家新闻出版总署公布的非法期刊也被收录了。一般的,学术期刊都能进入至少1个国内期刊数据库。期刊据数据库[3]不是期刊的评价体系,对科研处的期刊性质评价也就缺乏足够的意义,故不宜作为期刊性质评价的依据。1、万方数据万方数据提供中国大陆科技期刊检索，是万方数据股份有限公司建立的专业学术知识服务网站。隶属于万方数据资源系统，对外服务数据由万方数据资源系统统一部署提供。2、全国报刊索引收录全国包括港台地区的期刊8000种左右，月报道量在1.8万条以上，年报道量在44万条左右，书本式用户有3500多家，现又出版光盘数据库。反映了中国政治、经济、军事、科学、文化、文学艺术、历史地理、科技等方面的发展情况，提供了国内外最新学术进展信息。该索引是我国收录报刊种类最多，内容涉及范围最广，持续出版时间最长，与新文献保持同步发展的权威性检索刊物，也是查找建国以来报刊论文资料最重要的检索工具。正文采用分类编排，先后采用过《中国人民大学图书分类法》和自编的《报刊资料分类表》，1980年起，仿《中国图书馆图书分类法》分21类编排，1992年全面改用《中国图书资料分类法》（第三版）编排，2000年开始用《中国图书馆分类法》（第四版）标引，计算机编排。在著录上，《全国报刊索引》从1991年起采用国家标准——《检索期刊条目著录规则》进行著录，包括题名、著译者姓名、报刊名、版本、卷期标识、起止页码、附注等项。同时，“哲社版”采用电脑编排，增加了“著者索引”、“题中人名分析索引”、“引用报刊一览表”，方便了读者的使用。3、超星数字图书馆为目前世界最大的中文在线数字图书馆，提供大量的电子图书资源提供阅读，其中包括文学、经济、计算机等五十余大类，数十万册电子图书，300 万篇论文，全文总量 4亿余页，数据总量30000GB，大量免费电子图书，并且每天仍在不断的增加与更新。覆盖范围：涉及哲学、宗教、社科总论、经典理论、民族学、经济学、自然科学总论、计算机等各个学科门类。本馆已订购67万余册。 收录年限：1977年至今。4、维普资讯维普资讯是科学技术部西南信息中心下属的一家大型的专业化数据公司,是中文期刊数据库建设事业的奠基人,公司全称重庆维普资讯有限公司。目前已经成为中国最大的综合文献数据库。从1989年开始，一直致力于对海量的报刊数据进行科学严谨的研究、分析，采集、加工等深层次开发和推广应用。5、中宏数据库中宏数据库由国家发改委所属的中国宏观经济学会、中宏基金、中国宏观经济信息网、中宏经济研究中心联合研创。是由18类大库、74类中库组成，涵盖了九十年代以来宏观经济、区域经济、产业经济、金融保险、投资消费、世界经济、政策法规、统计数字、研究报告等方面的详尽内容，是目前国内门类最全，分类最细，容量最大的经济类数据库。