百度在图像识别大赛中违规：此前称超过谷歌

　　上个月，百度曾发表论文指出，新近研发的超级计算机Minwa在一项备受关注的人工智能基准测试ImageNet中取得了世界最好成绩，错误率仅为4.58%，超越了微软和谷歌。

　　此前的世界最好纪录4.82%由谷歌创造，而微软在此测试中也达到4.94%的不俗成绩，同样的实验中，人眼辨识的错误率大概为5.1%。

　　百度在的论文中称，他们的系统在测试ImageNet分类数据集中的错误率仅为4.58%(ImageNet ILSVRC计算机视觉挑战比赛是目前国际上最大规模的图像分类和识别测试平台)。

　　据了解，这个数据集包含约150万张图像，分为1000个不同的类别，软件被要求为10万张前所未见的测试图像进行分类。

　　不过，今日ILSVRC的组织者发表声明称，百度在ILSVRC挑战赛中被曝光存在违规行为，百度异构计算团队已经就此事道歉。

　　ILSVRC组织者在声明中指出，2014年11月28日至2015年5月13日，百度团队使用至少30个帐号向测试服务器进行了至少200次提交，远超每周只能提交两次的限制。例如，在从3月15日至3月19日的5天时间里，提交次数超过了40次。

　　ILSVRC组织者认为，百度违反了违测试服务器的使用规定，最终结果无法与其他团队获得的结果进行对比。

　　百度对此回应称：“我们对这一错误表示道歉，并将继续评估结果。我们已向研究论文《Deep Image: Scaling up Image Recognition》加入了注释，并将在了解更多情况后提供相关的更新。我们支持ImageNet挑战的公平性和透明性，并将致力于科学发展的诚实性。”

　　声明全文：

　　ILSVRC社区成员：

　　这是继2015年5月19日公告之后的后续声明，其中包括更多细节和测试服务器的状态。

　　从2014年11月28日至2015年5月13日，百度一个团队使用至少30个帐号向测试服务器进行了至少200次提交，远超每周只能提交两次的限制。这其中包括在短时间内极高的用量。例如，在从3月15日至3月19日的5天时间里，提交次数超过了40次。图A显示了与百度团队相关的ImageNet帐号的提交次数。图B显示了这些帐号与所有其他帐号活跃程度的对比。

　　图A

　　图B

　　这一期间获得的成果在近期的arXiv论文中进行了报告。由于违反了测试服务器的使用规定，这些结果可能无法与其他团队获得并报告的结果对比。通过在测试服务器上测试多种略有不同的解决方案，有可能会出现以下情况：1)基于测试结果，在一系列类似解决方案中选出最优方案，从而获得不大，但可能很重要的优势;2)直接基于测试数据，而不是训练和验证数据，选择进一步的研发方式。

　　我们于2015年5月14日注意到了这些违规，并于2015年5月17日通知了论文作者。2015年5月22日，在进行讨论，并征求我们研究社区高级顾问的意见之后，我们通知作者：

　　1.他们通过ImageNet测试服务器获得的结果无法与他人的结果直接对比。

　　2.对百度基于这些结果新提交的任何内容，我们持怀疑态度。这包括关于ILSVRC挑战任务的所有提交内容，以及共享数据集的一部分。因此，我们要求他们在未来12个月内停止向评估服务器和挑战任务提交任何内容。

　　我们正在与涉及此次事件的团队进行沟通。他们请求我们向整个社区转发包括以下声明在内的消息。需要指出，为了保持中立性和独立性，我们没有也不能与任何团队合作，以表述或评估结果。

　　目前测试服务器已经重新上线。我们期待继续在图像识别领域取得进展。

　　ILSVRC组织者

　　以下是来自百度该团队的消息：

　　ILSVRC社区：

　　近期，ILSVRC组织者联系了我们异构计算团队，并告知我们，我们超过了每周允许向ImageNet服务器进行提交的次数(在我们项目的生命周期中约为200次)。

　　我们对这一错误表示道歉，并将继续评估结果。我们已向研究论文《Deep Image: Scaling up Image Recognition》加入了注释，并将在了解更多情况后提供相关的更新。

　　我们支持ImageNet挑战的公平性和透明性，并将致力于科学发展的诚实性。

　　吴韧，百度异构计算团队