超90%论文算法不可复现,你为何不愿公开代码?人工智能(AI)这个蓬勃发展的领域正面临着实验重现的危机,就像实验重现问题过去十年来一直困扰着心理学、医学以及其他领域一样。他们没有足够时间在每种条件下都测试算法,或者在文章中记录他们尝试过的每个超参数。
吴恩达老师曾经说过,看一篇论文的关键,是复现作者的算法。然而,很多论文根本就复现不了,这是为什么呢?一、数据关系因为作者使用的数据比较私密,一般人拿不到,这种情况下,即使作者提供了源代码,但是读者却拿不到数据,也就没法复现算法。
过去几年发表的AI顶会论文提出的400种算法中,公开算法代码的只占6%,只有三分之一分享了测试数据,只有一半分享“伪代码”。这是今年AAAI会议上一个严峻的报告。科学家们正在通过“可复现性挑战”鼓励复…
最近了很多篇论文,跟原文的结果都差的很多,以前还觉得自己搞错了,但一次课上全班40多人都复现…首页会员发现等你来答登录学术论文为什么现在大多数论文复现不了成了常态?最近了很多篇论文,跟原文的结果都差...
作为一个在复现论文中踩坑无数,好不容易走出来的人,简单说一下我的看法。例子1:我是活体检测落地的,老师当时跟我说,旷视能做出来,你应该也可以做个差不多的吧(微笑)。然后我就开始的漫长的算法复现道路。后来很久以后发现了两件事。
目前正在复现一篇paper的代码,工作还没有完成,这里作为自己的经验总结。首先必须得说,复现他人的程序实在是迫不得已的事情。要么源码无法要到,要么就是不符合自己的编程习惯或者输入输出不能够对应得上。通过p…
这是今年AAAI会议上一个严峻的报告。.科学家们正在通过“可复现性挑战”鼓励复现新算法,或研究依据论文自动生成代码的工具。.AI将在未来扮演越来越重要的角色,我们需要信任这些AI,那么我们必须能够复现它。.一个幽灵正在AI领域上空徘徊:复现的幽灵...
DanielHolden在角色动画和深度学习的领域做了很多出色的工作,我偶然看到他的一篇博文,很受启发。因为真的喜欢,所以我尝试翻译大体内容,分享他的经验之谈。以下出自DanielHolde
复现论文实验一直是一大难题,或者说复现实验达到论文中精度是一大难题。绝大部分时候我们很难复现到媲美原文的精度,这很大原因是神经网络的参数众多,优化技巧众多,参数初始化等一些列问题,一般论文中对不会对小细节的处理进行描述或者他们有着一些不为人知的“trick”,所以我们...
实话实说,我过没得到期望的结果(有的时候根本不知道怎么实现),就把别的文献的条件、步骤和数据稍微改下搬到自己论文,我也向很多作者(包括计算机学报、电子学报、软件学报等)发邮件要过代码,都如石头掉进大海,TMD。而且据我所知,没有哪个审稿人要实际下才审稿...
超90%论文算法不可复现,你为何不愿公开代码?人工智能(AI)这个蓬勃发展的领域正面临着实验重现的危机,就像实验重现问题过去十年来一直困扰着心理学、医学以及其他领域一样。他们没有足够时间在每种条件下都测试算法,或者在文章中记录他们尝试过的每个超参数。
吴恩达老师曾经说过,看一篇论文的关键,是复现作者的算法。然而,很多论文根本就复现不了,这是为什么呢?一、数据关系因为作者使用的数据比较私密,一般人拿不到,这种情况下,即使作者提供了源代码,但是读者却拿不到数据,也就没法复现算法。
过去几年发表的AI顶会论文提出的400种算法中,公开算法代码的只占6%,只有三分之一分享了测试数据,只有一半分享“伪代码”。这是今年AAAI会议上一个严峻的报告。科学家们正在通过“可复现性挑战”鼓励复…
最近了很多篇论文,跟原文的结果都差的很多,以前还觉得自己搞错了,但一次课上全班40多人都复现…首页会员发现等你来答登录学术论文为什么现在大多数论文复现不了成了常态?最近了很多篇论文,跟原文的结果都差...
作为一个在复现论文中踩坑无数,好不容易走出来的人,简单说一下我的看法。例子1:我是活体检测落地的,老师当时跟我说,旷视能做出来,你应该也可以做个差不多的吧(微笑)。然后我就开始的漫长的算法复现道路。后来很久以后发现了两件事。
目前正在复现一篇paper的代码,工作还没有完成,这里作为自己的经验总结。首先必须得说,复现他人的程序实在是迫不得已的事情。要么源码无法要到,要么就是不符合自己的编程习惯或者输入输出不能够对应得上。通过p…
这是今年AAAI会议上一个严峻的报告。.科学家们正在通过“可复现性挑战”鼓励复现新算法,或研究依据论文自动生成代码的工具。.AI将在未来扮演越来越重要的角色,我们需要信任这些AI,那么我们必须能够复现它。.一个幽灵正在AI领域上空徘徊:复现的幽灵...
DanielHolden在角色动画和深度学习的领域做了很多出色的工作,我偶然看到他的一篇博文,很受启发。因为真的喜欢,所以我尝试翻译大体内容,分享他的经验之谈。以下出自DanielHolde
复现论文实验一直是一大难题,或者说复现实验达到论文中精度是一大难题。绝大部分时候我们很难复现到媲美原文的精度,这很大原因是神经网络的参数众多,优化技巧众多,参数初始化等一些列问题,一般论文中对不会对小细节的处理进行描述或者他们有着一些不为人知的“trick”,所以我们...
实话实说,我过没得到期望的结果(有的时候根本不知道怎么实现),就把别的文献的条件、步骤和数据稍微改下搬到自己论文,我也向很多作者(包括计算机学报、电子学报、软件学报等)发邮件要过代码,都如石头掉进大海,TMD。而且据我所知,没有哪个审稿人要实际下才审稿...