吴恩达老师曾经说过,看一篇论文的关键,是复现作者的算法。然而,很多论文根本就复现不了,这是为什么呢?一、数据关系因为作者使用的数据比较私密,一般人拿不到,这种情况下,即使作者提供了源代码,但是读者却拿不到数据,也就没法复现算法。
复现论文实验一直是一大难题,或者说复现实验达到论文中精度是一大难题。绝大部分时候我们很难复现到媲美原文的精度,这很大原因是神经网络的参数众多,优化技巧众多,参数初始化等一些列问题,一般论文中对不会对小细节的处理进行描述或者他们有着一些不为人知的“trick”,所以我们...
论文通常会在方部分围绕术语的使用,这里可以重点关注。我该如何赶上其他人?你是否曾经尝试实现一篇论文,结果发现一行这样的话:"Westartfrom[Smithetal.2020]",然后又发现,[Smithetal.2020]实际上是一串论文工作中的最新论文,这一串论文又是由一名博士生完成的五年工…
在大多数情况下,明明参照着别人文章中的实验条件、实验方法,却始终无法得到和文章中提到的一致结果。这便是今天这篇文章要讨论的一个话题:为什么很多SCI论文的实验数据无法复现?
复现论文实验一直是一大难题,或者说复现实验达到论文中精度是一大难题。绝大部分时候我们很难复现到媲美原文的精度,这很大原因是神经网络的参数众多,优化技巧众多,参数初始化等一些列问题,一般论文中对不会对小细节的处理进行描述或者他们有着一些不为人知的“trick”,所以我们...
超90%论文算法不可复现,你为何不愿公开代码?人工智能(AI)这个蓬勃发展的领域正面临着实验重现的危机,就像实验重现问题过去十年来一直困扰着心理学、医学以及其他领域一样。他们没有足够时间在每种条件下都测试算法,或者在文章中记录他们尝试过的每个超参数。
作为一个在复现论文中踩坑无数,好不容易走出来的人,简单说一下我的看法。.例子1:我是活体检测落地的,老师当时跟我说,旷视能做出来,你应该也可以做个差不多的吧(微笑)。.然后我就开始的漫长的算法复现道路。.后来很久以后发现了两件事。.一...
目前正在复现一篇paper的代码,工作还没有完成,这里作为自己的经验总结。首先必须得说,复现他人的程序实在是迫不得已的事情。要么源码无法要到,要么就是不符合自己的编程习惯或者输入输出不能够对应得上。通过p…
过去几年发表的AI顶会论文提出的400种算法中,公开算法代码的只占6%,只有三分之一分享了测试数据,只有一半分享“伪代码”。这是今年AAAI会议上一个严峻的报告。科学家们正在通过“可复现性挑战”鼓励复…
九月底,一篇CVPR论文由于“无法复现一致的结果”引发质疑,被要求撤稿。论文一作是CMU博士、来自中国的徐觉非同学,今天,他发表了详细分析和回应,并谈及他对公开代码、开放研究的看法。AI领域的研究论…
吴恩达老师曾经说过,看一篇论文的关键,是复现作者的算法。然而,很多论文根本就复现不了,这是为什么呢?一、数据关系因为作者使用的数据比较私密,一般人拿不到,这种情况下,即使作者提供了源代码,但是读者却拿不到数据,也就没法复现算法。
复现论文实验一直是一大难题,或者说复现实验达到论文中精度是一大难题。绝大部分时候我们很难复现到媲美原文的精度,这很大原因是神经网络的参数众多,优化技巧众多,参数初始化等一些列问题,一般论文中对不会对小细节的处理进行描述或者他们有着一些不为人知的“trick”,所以我们...
论文通常会在方部分围绕术语的使用,这里可以重点关注。我该如何赶上其他人?你是否曾经尝试实现一篇论文,结果发现一行这样的话:"Westartfrom[Smithetal.2020]",然后又发现,[Smithetal.2020]实际上是一串论文工作中的最新论文,这一串论文又是由一名博士生完成的五年工…
在大多数情况下,明明参照着别人文章中的实验条件、实验方法,却始终无法得到和文章中提到的一致结果。这便是今天这篇文章要讨论的一个话题:为什么很多SCI论文的实验数据无法复现?
复现论文实验一直是一大难题,或者说复现实验达到论文中精度是一大难题。绝大部分时候我们很难复现到媲美原文的精度,这很大原因是神经网络的参数众多,优化技巧众多,参数初始化等一些列问题,一般论文中对不会对小细节的处理进行描述或者他们有着一些不为人知的“trick”,所以我们...
超90%论文算法不可复现,你为何不愿公开代码?人工智能(AI)这个蓬勃发展的领域正面临着实验重现的危机,就像实验重现问题过去十年来一直困扰着心理学、医学以及其他领域一样。他们没有足够时间在每种条件下都测试算法,或者在文章中记录他们尝试过的每个超参数。
作为一个在复现论文中踩坑无数,好不容易走出来的人,简单说一下我的看法。.例子1:我是活体检测落地的,老师当时跟我说,旷视能做出来,你应该也可以做个差不多的吧(微笑)。.然后我就开始的漫长的算法复现道路。.后来很久以后发现了两件事。.一...
目前正在复现一篇paper的代码,工作还没有完成,这里作为自己的经验总结。首先必须得说,复现他人的程序实在是迫不得已的事情。要么源码无法要到,要么就是不符合自己的编程习惯或者输入输出不能够对应得上。通过p…
过去几年发表的AI顶会论文提出的400种算法中,公开算法代码的只占6%,只有三分之一分享了测试数据,只有一半分享“伪代码”。这是今年AAAI会议上一个严峻的报告。科学家们正在通过“可复现性挑战”鼓励复…
九月底,一篇CVPR论文由于“无法复现一致的结果”引发质疑,被要求撤稿。论文一作是CMU博士、来自中国的徐觉非同学,今天,他发表了详细分析和回应,并谈及他对公开代码、开放研究的看法。AI领域的研究论…