Machine Heart Report编辑：5月3日至5日，杜威的陈陈（Chen Chen）在泰国举行了第28届国际人工智能与统计会议（AISTATS）。自1985年成立以来，作为人工智能，机械和统计研究交集的重要国际会议，Aistats一直致力于促进计算机科学，人工智能，机械和统计研究领域的研究人员的交流和合作。昨天，会议组织者宣布了今年的时间检查奖，授予UCSD和Microsoft研究的角色“深度监督网”（深度监督网络），由Chen-Yu Lee（现为Google Research的科学家）和Xie Shengning（现为纽约大学的助理教授）撰写。该论文被人类所接受。根据Google Scholar数据，纸张的数量超过3,000，显示了其价值。学习后十年前，他的角色获得了2025年艾斯塔特（Aistats）的奖励奖，Xie Shengning在其背后分享了许多故事。他说，Deep Nets支持是提交给他博士学位的第一篇论文，有趣的是，该论文最初被Neurips拒绝（8/8/7分）。这种痛苦在等待着他的心，也许他现在可以放手。他还说，最高镜头不会与“彩票”相提并论，但毅力可以带来很大的帮助。最后，Xie发送了这样的信息，另一位合着者Chen-Yu Lee还发表了一篇文章，他为10年前赢得AISTATS 2025 TIME测试奖而感到自豪，并说RESU RESLASA Research在今天具有重要意义和影响力。评论区域中的网民向获得Xie Saining奖的报纸致意。接下来，让我们看看这个角色是从10年前开始的。论文在说什么？纸张标题：深入监督的网纸地址：https：//arxiv.org/pdf/1409.5185纸张摘要：近年来，Res神经网络的尿液（尤其是深入研究）引起了很多关注。在深度研究中，可用于非支持，给药或混合形式。在诸如图像分类和语音识别之类的任务中，如果培训数据足够，提高其性能尤其重要。一方面，层次递归网络显示出很大的潜力，可以自动弄清楚数千甚至数百万个功能。另一方面，在深度研究中，仍然存在许多尚未解决的主要问题，这也使学者们担心其限制。该论文指出，当时的深层学习框架存在问题：隐藏层学到的特征的透明度和理解；梯度爆炸和消失导致训练困难；尽管从理论上进行了一些尝试，但缺乏对算法行为数学等的透彻理解。但是，深入研究可以在组合框架中自动学习并融合丰富的层次结构特征。这要归功于开发用于微调特征量表，步骤尺寸和超速速度的各种方法，以及不同的方法，以从不同角度（例如辍学，dropconnect，dropconnect，prep Training和数据增强）提高深度NA研究的性能。此外，在缓慢且无效的 - 深度学习练习中，梯度消失的存在也会产生。本文建议深入监督网络（DSN）解决深入的研究问题。该算法迫使隐藏层和输出层的直接和早期给药。并引入了每个隐藏层的伴侣的目标，该目标用作研究过程的其他障碍（或新的正常化）。这大大改善了现有的管理研究方法的性能。此外，这项研究还试图将随机梯度技术用于P将此方法rovide一个基础。拟议的融合率证明了比标准方法更好，并且该结论的前提是假设优化是一个局部强烈的谨慎（这是一个非常松散的假设，但点朝有望方向上的点）。本文还指出，文献[1]采用了分层的培训策略，而本文提出的技术不需要预培训。文献[26]使用标签信息进行非专业研究，而文献[30]探讨了深入研究的半监督天堂。文献[28]使用SVM分类器来替换CNN的传统软马克斯输出层。本文提出的DSN框架是创新的，支持选择各种分类，例如SVMAND SOFTMAX。它的独特价值在于执行每个中间层的直接给药和控制。实验结果表明：是否在DSN-SVM和CNN-SVM，或在DSN-SoftMax和CNN-SoftMax之间，本文过程可实现一致的性能改进，并便利了MNIST，CIFAR-10，CIFAR-10，CIFAR-100和SVHN DATGETS中当前最佳注意事项。图2（a）和（b）显示了四种方法的结果，DSN-SOFTMAX和DSN-SVM远不止其竞争性的CNN算法。图2（b）显示了对不同大小的训练样品进行训练（在500个样本中CNN-Softmax改善的26％DSN-SVM）时，分类不同方法的错误。图2（c）显示了CNN和DSN之间一般误差的比较。在CIFAR-10和CIFAR-100的TALAID 2中显示了2个性能的改进，再次证明了DSN方法的好处。为了比较DSN和CNN学到的功能，本文从十个CIFAR-10数据集类别中的每个数据中选择了图像的实例，一次向前传播传播，并显示从第一个（底部）卷积层学到的特征图到图（3）。每个功能地图仅显示激活值的前30％。与CNN地图功能相比，DSN学到的功能图更容易理解。应该注意的是，该框架与最近提出的各种高级技术兼容，例如平均，DropConnect和Maxout。论文指出，通过精制的DSN工程可以减少分类错误。在其他信息中，请检查原始论文。