过去几年发表的AI顶会论文提出的400种算法中,公开算法代码的只占6%,只有三分之一分享了测试数据,只有一半分享“伪代码”。这是今年AAAI会议上一个严峻的报告。科学家们正在通过“可复现性挑战”鼓励复…
超90%论文算法不可复现,你为何不愿公开代码?人工智能(AI)这个蓬勃发展的领域正面临着实验重现的危机,就像实验重现问题过去十年来一直困扰着心理学、医学以及其他领域一样。他们没有足够时间在每种条件下都测试算法,或者在文章中记录他们尝试过的每个超参数。
过去几年发表的AI顶会论文提出的400种算法中,公开算法代码的只占6%,只有三分之一分享了测试数据,只有一半分享“伪代码”。这是今年AAAI会议上一个严峻的报告。科学家们正在通过“可复现性挑战”鼓励复现新算法,或研究依据论文自动生成代码的工具。
“论文复现难基本是不可避免的问题。”文聪告诉品玩,“做AI研究要有心理准备,能复现出来的论文是少数,复现不出来才是正常的。”这种无法复现,正在给AI研究带来很大的困扰。它使得AI研究者们彼此之间无法“对话”。
科学家们正在通过“可复现性挑战”鼓励复现新算法,或研究依据论文自动生成代码的工具。.AI将在未来扮演越来越重要的角色,我们需要信任这些AI,那么我们必须能够复现它。.一个幽灵正在AI领域上空徘徊:复现的幽灵。.科研方法认为,科学研究应该可以...
最近了很多篇论文,跟原文的结果都差的很多,以前还觉得自己搞错了,但一次课上全班40多人都复现…首页会员发现等你来答登录学术论文为什么现在大多数论文复现不了成了常态?最近了很多篇论文,跟原文的结果都差...
新智元编译来源:science、futurism编译:克雷格、Marvin【新智元导读】过去几年发表的AI顶会论文提出的400种算法中,公开算法代码的只占6%,只有三...
“论文复现难,很大程度上是因为研究人员不公开论文的代码。”北京一高校的AI研究者文聪告诉品玩。2018年AAAI会议上,挪威科技大学计算机...
「无法复现的论文都是耍流氓。」二十几天前,Reddit用户「ContributionSecure14」在机器学习社区疯狂吐槽:「我花了一个星期尝试复现一篇论文,结果失败了。上网搜了一下才发现,也有其他人说这篇论文的结果无法复现。」
强行复现别人论文,也未必达到其论文呈现的性能。更可怕的是A论文中了不开源,B论文复现了A在另一模型上的实验中了也不开源。这就导致后人可能被质疑,你看虽然A没开源,但人家B却用的好好的,而B也没开源。B很可能是A的熟人,可以获得代码。
过去几年发表的AI顶会论文提出的400种算法中,公开算法代码的只占6%,只有三分之一分享了测试数据,只有一半分享“伪代码”。这是今年AAAI会议上一个严峻的报告。科学家们正在通过“可复现性挑战”鼓励复…
超90%论文算法不可复现,你为何不愿公开代码?人工智能(AI)这个蓬勃发展的领域正面临着实验重现的危机,就像实验重现问题过去十年来一直困扰着心理学、医学以及其他领域一样。他们没有足够时间在每种条件下都测试算法,或者在文章中记录他们尝试过的每个超参数。
过去几年发表的AI顶会论文提出的400种算法中,公开算法代码的只占6%,只有三分之一分享了测试数据,只有一半分享“伪代码”。这是今年AAAI会议上一个严峻的报告。科学家们正在通过“可复现性挑战”鼓励复现新算法,或研究依据论文自动生成代码的工具。
“论文复现难基本是不可避免的问题。”文聪告诉品玩,“做AI研究要有心理准备,能复现出来的论文是少数,复现不出来才是正常的。”这种无法复现,正在给AI研究带来很大的困扰。它使得AI研究者们彼此之间无法“对话”。
科学家们正在通过“可复现性挑战”鼓励复现新算法,或研究依据论文自动生成代码的工具。.AI将在未来扮演越来越重要的角色,我们需要信任这些AI,那么我们必须能够复现它。.一个幽灵正在AI领域上空徘徊:复现的幽灵。.科研方法认为,科学研究应该可以...
最近了很多篇论文,跟原文的结果都差的很多,以前还觉得自己搞错了,但一次课上全班40多人都复现…首页会员发现等你来答登录学术论文为什么现在大多数论文复现不了成了常态?最近了很多篇论文,跟原文的结果都差...
新智元编译来源:science、futurism编译:克雷格、Marvin【新智元导读】过去几年发表的AI顶会论文提出的400种算法中,公开算法代码的只占6%,只有三...
“论文复现难,很大程度上是因为研究人员不公开论文的代码。”北京一高校的AI研究者文聪告诉品玩。2018年AAAI会议上,挪威科技大学计算机...
「无法复现的论文都是耍流氓。」二十几天前,Reddit用户「ContributionSecure14」在机器学习社区疯狂吐槽:「我花了一个星期尝试复现一篇论文,结果失败了。上网搜了一下才发现,也有其他人说这篇论文的结果无法复现。」
强行复现别人论文,也未必达到其论文呈现的性能。更可怕的是A论文中了不开源,B论文复现了A在另一模型上的实验中了也不开源。这就导致后人可能被质疑,你看虽然A没开源,但人家B却用的好好的,而B也没开源。B很可能是A的熟人,可以获得代码。