发布时间：
github是用来存东西的，主要给程序员存项目源代码，也可以给其他人存网站的网页、论文之类的东西。
和网盘类似，与网盘不同的是，它有版本控制系统，可以查看历史版本的文件，可以对比各个版本的文件内容。把项目弄到github上，可以与其他人展开协作，一起搞这个项目，也可以参与其他人的项目，还具备一些社交功能。
github简介：
GitHub于2008年4月10日正式上线，除了Git代码仓库托管及基本的Web管理界面以外，还提供了订阅、讨论组、文本渲染、在线文件编辑器、协作图谱（报表）、代码片段分享（Gist）等功能。目前，其注册用户已经超过350万，托管版本数量也是非常之多，其中不乏知名开源项目Ruby on Rails、jQuery、python等。
2018年6月4日，微软宣布，通过75亿美元的股票交易收购代码托管平台GitHub。
用同义词替代。出现重复率高可以尽量用同义词替代，比如损坏等于破坏，渠道等于途径，原理等于基本思路，不可见等于隐藏，提前检测出来的报告里面。
在1997年Karger发表的论文中首次使用了一致性哈希的术语。虽然Teradata公司在1986年开发的分布式数据中已经...
分布式工程学是一门实践性很强的工科学。所以会出现与其他工科一样的现象就是实践会先于理论。在1960年末被公认为是第一个分布式系统的ARPANET就诞生于美国[1]。在美国50年代到60年受曼哈顿计划的影响，计算机理论迎来了大爆炸的时代。在那个年代发明了我们今天所用到的大部分计算机理论。作为一个新兴学科，当年的科学家大都是刚刚毕业正是壮年。而今他们大多已经是高龄老人，有些科学家则已经离世。在这里向哪些为计算机理论作出贡献的科学家们表示敬意。
大名鼎鼎的DenseNet，17年CVPR的best paper（当然有争议是后话），不得不读。黄高博士的扛鼎之作，之前在读他的Snapshot-Ensembles时感觉就很舒服，整个文章逻辑很清楚，实验对比做的也十分全面，相信这篇best paper更是没有问题，会给读者一种爽的感觉。
2019.2.20 2852次。绝对值很高，但相比其他经典网络，ResNet，GoogLeNet之类，有些差距。
本篇在16年8月挂到arXiv上，中了2017年CVPR，是继16年何大神的ResNet之后，第二个华人的best paper， 这里 有个作者本尊的talk，现场讲解。一作Gao Huang（黄高）05年北航的本科生（GPA第一），15年清华博士毕业（读了6年。。），后来在康奈尔待了3年做博后，此刻在清华作青椒，本篇是在康奈尔时的工作。二作刘壮（同等贡献）也是碉堡，现在在伯克利做博士生，之前是清华姚班的（13级），发这篇文章时还在清华，也就是说 本科生 。。。最近以一作的身份新发了一篇《Rethinking the Value of Network Pruning》，中了19年的ICLR，同时也是18年NIPS的best paper award。。这个世界太疯狂了，这都不是潜力股了，而是才华横溢溢的不行了。
官方实现在这里：
黄高个人主页在这里：
刘壮个人主页在这里：
先前的研究中说明只要网络包含短路连接，基本上就能更深，更准确，更有效的训练。本文基于这个观察，引入了密集卷积网络（DenseNet），它以前馈方式将每个层连接到所有层。传统的卷积网络L层有L个连接，而DenseNet有 个直接连接。对于每一层，它前面所有层的特征图都当作输入，而其本身的特征图作为所有后面层的输入（短路连接被发挥到极致，网络中每两层都相连）。DenseNet具有几个引入注目的优点： 可以缓解梯度消失问题，加强特征传播，鼓励特征重用，并大幅减少参数数量。
随着CNN变得越来越深，一个新的研究问题出现了：随着输入信息或梯度通过多层，它在到达网络结尾（或开始）处就消失了。ResNets和Highway Networks通过恒等连接将信号从一层传输到下一层。Stochastic depth通过在训练期间随机丢弃层来缩短ResNets，以得到更好的信息和梯度流。FractalNets重复组合几个并行层序列和不同数量的卷积块，以获得较深的标准深度，同时在网络中保持许多短路径。尽管上述方法的网络结构都有所不同，但它们有一个共同特征：创建从早期层到后期层的短路径。
本文提出一个简单的连接模式：为了确保网络中各层之间的最大信息流， 将所有层（匹配特征图大小）直接相互连接 。为了保持前向传播性质，每个层从所有前面的层获得附加输入，并将其自身特征图传递给所有后续层。
至关重要的是，与ResNets相比，在传递给下一层之前， 不是通过求和来合并特征，而是通过concat来合并特征 。因此， 层有 个输入，包括所有先前卷积块的特征图。其特征图被传递到后续所有 层。这在L层网络中引入了 个连接，而不是传统架构的L个连接。正是因为这种密集连接模式，所以称本文方法为密集连接网络（ Dense Convolutional Network DenseNet）。
相比传统卷积网络，这种密集连接模式有有一点可能违反直觉的是，它需要更少的参数，因为无需重新学习冗余的特征图。本文提出的DenseNet架构显式区分了添加到网络的信息和保留的信息。DenseNet的层非常窄（如每层只有12个滤波器），只给网络的"集体知识"增加一小组特征图，并保持其余的特征图不变。
除了更好的参数利用率之外，DenseNet的一大优势是它改善了整个网络中的信息流和梯度，使得网络更易于训练。每层都可以直接访问损失函数和原始输入信号的梯度（ 我屮，这不就是GoogLeNet当时为解决梯度消失而在中间层引入分类器那种ugly办法的替代吗 ），从而导致隐式的深度监督。这有助于训练更深的网络。
与DenseNet相似的级联结构早在1989年就提出来了。。Adanet的提出差不多是与DenseNet并行的，跨层连接也相似（话说竞争真激烈。。）
本文作者提出的另一个网络Stochastic depth说明并非所有层都需要，在深度残差网络中存在大量冗余的层。本文的部分灵感也来源于此。
相比从极深或极宽的架构中提取表示能力，DenseNet是通过 特征重用 来利用网络的潜力，得到易于训练和高参数效率的压缩模型。相比从不同层拼接特征的Inception网络，DenseNet更简单有效（看来Inception因其结构复杂性没少被批判）。
定义 为单张输入图像，网络由 层组成，每一层实现非线性变换 ，其中 为层的索引号。 可以是BN，ReLU，Pooling，Conv等操作的复合函数，定义 层的输出为 。
传统的层连接： 。ResNets增加了跳跃连接： 。ResNets的一个优势是梯度可以通过恒等函数直接从后面的层流向前面的层。然而，恒等函数和 的输出通过加法合并，有可能会阻碍网络的信息流。
本文引入与ResNets不同的连接模式：从任意层到所有后续层的直接连接（图1）。结果就是，第 层接收所有之前层的特征图作为输入： 。为了便于实现，concat 的多个输入为单一张量。
受ResNet v2启发，定义 为三个连续运算的复合函数：BN，ReLU，3 x 3 Conv
当特征图的大小改变时，concat运算是不可能的，然鹅，卷积网络的一个关键组成部分就是下采样层，通过它可以改变特征图大小。为了便于在架构中进行下采样，将网络划分为多个密集连接的密集块（dense blocks），如图2所示。
将密集块之间的层称为过渡层（transition layers），它们进行卷积和池化。本文实验中的过渡层由BN，1 x 1卷积和 2 x 2平均池化组成。
如果每个函数 生成 个特征图，它后面跟着的 层有 个输入特征图，其中 是输入层的通道数。DenseNet和现有网络架构的一个重要区别是DenseNet可以有非常窄的层，如 。本文将超参数 定义为网络的成长率（growth rate）。对此的一种解释是，每一层都可以访问其块中所有前面的特征图，即，网络的『集体知识』。可以将特征图视为网络的全局状态。每一层增加自己的 个特征图到这个状态。成长率反映了每层由多少新信息对全局状态有贡献。全局状态一旦写入，就可以被网络中的任何地方访问，而不像传统网络那样，无需从一层复制到另一层。（全文精华应该就是这一段了）
1x1 conv非常有用（提升计算效率），本文也大用特用。本文定义DenseNet-B的 为 BN-ReLU-Conv(1x1)-BN-ReLU-Conv(3x3)
为了使模型更紧凑，可以减少过渡层的特征图数量。如果密集块包含 个特征图，定义接下来的过渡层生成 个特征图，其中 表示压缩率。定义 的DenseNet为DenseNet-C，本位实验中设置为 。当同时使用瓶颈层和压缩过渡层时，定义模型为DenseNet-BC。
非ImageNet数据集采用同一个架构，由3个密集块构成。ImageNet的架构如表1所示
CIFAR SVHN ImageNet
所有网络都用SGD。
CIFAR和SVHN的batch size为64，epoch分别为300和40，初始学习率为0.1，在50%和75%的epoch时分别除10。
ImageNet的batch size为256，90个epoch，初始学习率为0.1，在30和60epoch时分别除10。
weight decay为 ，动量为0.9。用He初始化。
对于CIFAR和SVHN，还在每个卷积层后接了dropout层（除第一个卷积层外），丢失率为0.2。
看表2的最后一行
DenseNet可以利用更大更深模型表示能力的增长。
如图4所示
主要用DenseNet-BC和ResNet作比较。
表面上看，DenseNets和ResNets没什么不同，两个式子的差别仅仅是输入从加法变为concat，然而，这种看似很小的修改导致两种网络架构的行为明显不同。
因为鼓励特征重用，所以得到更紧凑的模型。
如图4所示。
对DenseNets准确率提升的一种解释是各个层通过短路连接从损失函数接收额外的监督（某种深度监督）。DenseNets用隐式的方式执行相似的深度监督：网络顶部的单个分类器通过最多两到三个过渡层为所有层提供直接监督。 然而，由于在所有层之间共享相同的损失函数，因此DenseNets的损失函数和梯度基本上不那么复杂。
和随机深度的对比，随机深度有点类似DenseNet：如果所有中间层都随机丢弃，那么在相同的池化层之间的任意两层都有可能直接连接。
DenseNet就是好，就是好啊就是好。在遵循简单的连接规则的同时，DenseNets自然地整合了恒等映射，深度监督和多样化深度的属性。
又是一篇没有什么数学公式的paper，越来越感觉深度学习像物理，很多结果都是基于做实验得到的。通过对实验的观察对比分析，找出实验中的缺陷不足，从而去改进，然后发paper。黄高博士的写作套路还是非常讨喜的，特别是开头的地方，娓娓道来，一步一步告诉你为什么要这么做，为什么要引入这一步。此外，DenseNets和作者本人的工作『随机深度』也有千丝万缕的关系，看来功夫做扎实了，沿着一条道路是可以出一系列成果的。
这是个好问题。。是要进一步衍生ResNet吗？
提出密集连接结构，将ResNet的跳跃连接发扬光大为两两连接
效果比ResNet还好，通过减少滤波器个数（文中称作成长率），参数量也下来了
感觉效果提升并没有那么明显，被后续出来的ResNeXt超过了
各种网络结构的实现：
黄高本人视频讲解：
作者本人的解答： CVPR 2017最佳论文作者解读：DenseNet 的“what”、“why”和“how”
DenseNet的3个优势：
论文查重是否可以查到github，这个需要提前知道查重系统比对数据库中是否存在Github相关的论文资料。如果是存在的，只要你借鉴或者抄袭了，肯定会被查查出来的。。。
Github平台上有大量优质实用的开源代码，学会使用它能为各位开发者节约很多时间，所以很多人平常都会选择在github平台上下载的代码使用，那么github下载的代码怎么使用呢？ 1、 打开任意一个GitHub仓库的主页，点击目录右上角的绿色按钮。 2、 可以看到有两个选项，点击第二个DownloadZIP即可直接下载项目所有的源代码的压缩文件。 3、 下载完成后运行文件进行解压。 4、 解压完成后即可在本地编辑运行源代码。 5、 其他运行环境配置和如何使用该代码的说明文件一般在项目根目录的README.md文件中，同时也会显示在项目的下方，可以跟着说明文档一步步的熟悉如何使用该项目的源代码。 以上就是我给大家分享的github下载的代码使用方法，希望能帮到大家。
深度学习发论文会提交代码。
往往出于某些原因，或是作者没有时间整理代码，或是代码涉及商业机密，或是代码可复现存在问题，或是作者忘记把代码贴到论文中，论文的官方代码不会被及时放出(implemented by author) ，这个时候我们可以通过以下方法尝试获取:
1、想要发表论文，事先要做的就是写好一篇查重率合格，且具备一定价值的论文，论文查重率的具体要求，要根据想要发表的期刊来定，若为普通期刊，则查重率在20%或是30%左右即可，若是核心期刊，则查重率一般要在10%以内。
2、在期刊上发表论文，主要途径就是投稿，最好是通过一些比较熟悉和了解的渠道进行投稿，因为这样通过的概率会更高一些，审批也会比较快，发表的时间也能够往前安排。
3、如果是缺乏有关渠道的，可以向有经验的同学或是学长学姐咨询，也可以向有关的老师询问，一般也能够得到一些可靠的方式方法。
4、对于社内投稿，即在官网投稿系统或邮箱投稿，或者是在知网投稿系统投稿，它对于所有类型的期刊都是合适的，缺乏有关渠道的，也可以通过这种方式进行投稿。
5、还有一类投稿，是社内会公布联系方式，或是在线系统投稿，但是这一类投稿的要求会比较高，对于缺乏经验的投稿人来说，也有可能遇到假冒或是的，因此选择这类投稿方式的，建议事先进行必要的验证，确定无误后在进行投稿。
6、可供大家选择的投稿、发表论文的方式其实有不少，但大家也要对各类方式、途径进行甄别对比，还有非常重要的一点是：不得一稿多投。
以下是发表论文或期刊的方法：
一、写作
首先要写好一篇论文，选题要与专业、研究方向密切相关，论文的格式要规范，应包括题目、作者（姓名、单位、邮编及简介）内容摘要、关键词、正文等；论文篇幅不宜过长，因为期刊版面的字符数是固定的，字符数越多，版面增加，相应的费用就会越高；最后还要注意控制重复率，一般期刊要5%-20%以下才合格录用。
二、选刊
选择一本合适的期刊进行投稿，是成功发表论文极其关键的一步，要遵循几个原则，即
1、 国家新闻出版署能查到的正规期刊；
2、知网、万方、维普、龙源四大数据库之一正常收录的期刊；
3、符合学校、单位要求的期刊；
最后还要考虑论文是否符合期刊的收稿范围，避免因为文章方向不合适出现拒稿的情况。
三、投稿
投稿的途径有两种，一种是通过杂志社邮箱，官网或者在线系统投稿。（注意：数据库和期刊的目录页上面的联系方式才是准确的），虽然这种方式完全不用担心，但缺点是审稿时间较长，沟通不及时，无法了解期刊最新出刊时间，费用，收稿要求等等。
第二种就是找代理投稿 。这个方法也是现在大多数人用的要给方法，为什么会这样的，我只能说谁用谁知道。这个是最简单最省事儿的。以前我就是找的一个文化公司安排文章，服务没得说，只需要提供文章，剩余的事情全由他们搞定。
中介投稿也是有很多优势的
1、刊物比较丰富和全面，各类的刊物都有，可以根据作者的要求快速推荐推荐合适的刊物。
2、 期刊信息非常的全名，从刊物的收稿栏目，出刊时间，版面字符数要求，期刊级别、出刊周期、审核标准、是否可以开社内发票、刊号邮发代号、电子刊号、是否可以查稿、封面以及影响因子区间
3、他们基本上是和杂志社或是承包商直接对接的，沟通速度比较的迅速。
4、查稿后付款。这点已经算是标配了，绝大多数的刊物都是可以查稿后付款的，而且查稿电话是数据库可以查询到的哦 。
5、 最要是不收定金和知道一个刊物的审稿要求和难度。
期刊上发表论文，适合有文章需要发表、但是对投稿一头雾水无从下手的作者，无论是准备自投还是找中介代发，话不多说，下面干货。发表论文的整个流程，简单概括就是：定稿-选择期刊-审核-通过/返修-支付费用-定版-排版校对-印刷-出刊邮寄-上传数据库接下来按照步骤详细说说每个发表环节以及注意事项。定稿：其实就是写论文，这个我也不是专业的，所以不多说，仅从发表的角度简单说几句。1.关于论文主题：如果你的文章是准备用来发表的，尤其是准备投稿普刊，那么有些选题千万不要碰，比如港ao台、疫情、涉党涉政、宗教、神学、封jian迷xin、校园bao力等等，不要问为什么，这类主题写了大概率发表不出去！即便有收的，审核也严格，论文内容不能有不适合刊登的点。总之，发表论文不要只知道埋头苦写，动笔之前先去问问某个主题能不能发、好不好发，不能发、不好发就尽量不要写。2.关于语言逻辑：普刊在大家眼里通常就是要求低，但是要求低不等于没有要求！！文章内容如何就不说了，最起码得是篇论文吧，不能语病、错字一堆，不能毫无逻辑、前言不搭后语，不能让人不知所云，不能过于口语化......所以论文写好后建议自己先通读一遍，如果自己看不出毛病，就找同学、同事、朋友随便谁帮你看看，毕竟一篇连语言基本功都有问题的论文，即便内容写得再好，又有谁愿意看？3.关于起发字符、重复率：现在基本所有正规学术期刊都是5000字符左右/3版起发，能够2版起发的很少，即便遇到了也建议发3版，因为2版的文章后续存在被要求整改的可能。至于重复率，每个期刊的要求不一样，从10%到30%都有，有的期刊审核的时候会查重，有的则文责自负（即万一后续数据库抽查发现重复率过高而导致论文被下架，作者自己负责），这种的就建议自己提前查下，那些杂志社会查重的，如果对自己论文没把握的（特别是复制较多的），也建议提前查下，之前遇到个作者论文审核的时候查重结果直接七八十，这种就很尴尬了，这让编辑怎么想？选择期刊：我个人认为这是发表论文最重要的一个环节，这个说起来很简单，做起来其实很难，很耗费精力和时间。选择期刊分为两步——第一步，大家务必要先弄清楚自己对期刊的要求，尤其是因为评职称、评奖学金、保研等这些原因需要发表论文的，一定要先去看看学校、单位对期刊的具体要求是什么，比如期刊等级，是要普刊、学报还是核心？是不是非知网收录的期刊不可？最晚什么时候需要提交评审材料
如何发表论文如下：
论文发表，一个是可以直接投稿杂志社，一个是可以通过论文代理机构。
费用方面，杂志社肯定要比代理便宜。因为，杂志社只是收取非常小部分的版面费。而代理方面，收取的比较多。
时间方面，杂志社的编辑一般很少自己采集稿件。毕竟，每个编辑其实都会跟很多代理合作。他们会直接从代理方面得到稿件，并且从中抽取部分好处费。代理手中的稿件比较多，所以杂志社的编辑们一般都非常乐于跟他们合作。
关键是，自己也能从中得到额外的收入，何乐而不为。 审稿方面，杂志社不是所有的稿件都给你发。当然，作为代理方，也不可能所有的稿件都能承诺给你发。但是，只要代理方面承诺可以发。那么，就百分之百可以发表了。
毕竟，只要是气候成熟的代理，都会固定的和一些杂志社编辑有长期合作。这样，就会无形中生成一种关系户的效果。
所以，审稿方面，找代理确实要比杂志社容易多。 也就是说，杂志社便宜是便宜，但是没有时间保证，审稿麻烦切周期长。而，代理方面，贵也贵不到哪儿去，审稿速度快，时间短。现在需要发表论文的作者，时间方面大多都比较紧迫，而且论文方面也都比较麻烦。
项目：
校外:可以去的地方有大公司的研究机构(如MSRA IBM CRL等)，有中科研的各个著名院所等。
校内:一种途径是参与校内著名实验室每年定期的暑期实习，比如电信学员的网安实验室,比如材料学院的微纳中心等，一种途径 是自己联系在科研上比如活跃的老师(此如自己的任课老师，
指导老师:找一个好的指导老师很重要,他的作用=好的科研指导+好的科研推荐信+挂高质量论文的机会+给美国教授内推的机会
在日常生活中,无论是评职称还是大学生毕业都离不开发表论文.在公开发行的学术期刊上发表论文,成为职称评选硬性条件之一,可以说发表论文,在职称评审中占据非常重要的作用.下面学术堂就来简单的说一下如何凭借个人经验发表论文.发表论文首先需要写一篇好的论文,论文不光主题鲜明,论点创新,还应该结构严谨,层次分明.与此同时,还应该注意论文标准格式、文句通顺,确保论文通过审核.发表论文流程主要包括以下几方面.根据杂志办刊盘方向以及办刊宗旨,确定要发表的刊物.然后投稿到杂志社邮箱,杂志社审稿录用排版印刷,到最后出版发行.如果稿件有问题会出现两种情况出现退稿与返修.返修的稿件要求整理好发回杂志社.觉得注意的是杂志社审稿在一周到一年不等根据杂志社实际情况来定排班时间在一周左右交稿三天左右印刷七到十天左右发行时间为一周左右.在进行发表期刊论文的过程中,要根据自己的实际情况选择合理的时间进行发表.个人如何发表论文.1、发表论文的重要性.不同的人发表论文的作用也不同:(1)评职称(晋升职称):研究生 毕业需要;教师 、医护人员 、科研院所的人员、企业员工 等 晋升高一级的职称时,发表期刊论文是作为一项必须的参考指标.(2)申报基金、课题 :教育、科技、卫生系统 每年申报的国家自然科学基金项目、其它各种基金项目、各种研究课题时,发表论文 是作为 基金或课题 完成的一种研究成果的结论性展示.(3)世界性基础领域的研究,比如在医学、数字、物理、化学、生命科学 等领域开展的基础性研究,公开发表论文 是对最新科技 科学研究成果、研究方法的一种展示和报道.以推动整个社会的科技进步等.(4)提升自身竞争力:本科生和研究生在校期间发表具有一定水准的论文,有助于提升个人学术素养,进入社会,也可能会有更高的起点.2、发布论文的流程.(1)确定自己的研究课题,验证其写作价值,如果具有一定价值,就着手开始筹备论文,第一次发表论文,可以多向前辈请教,多查阅一些资料文献,在前人的基础上寻找突破口,选题立意要新颖实用,不要为了写论文而写论文.(2)论文经过多次修改完善以后,接下来我们就可以准备发表论文,发表论文第一步就是要选择对应的期刊,如果稿件投向不合适的期刊可能会遭遇退稿和不公正评判.如何选择合适的期刊?在知网或其他数据库中检索本篇论文相关领域的期刊,查看期刊级别以及刊物号等,确保其为正规期刊,然后阅读其刊登发表过的论文,看自己的论文是否适合在这些期刊上发表,从中挑出2-3个期刊作为备选,进一步了解这些刊物的审稿周期、投稿费用、投稿要求等,从中选出将要投稿的1个期刊,联系期刊编辑将自己的稿件投递过去,然后等待审稿人员的回复.