陈大鑫昨日，Reddit上有热心网友发现深度学习之父、图灵奖得主Hinton等人为胶囊(神经)网络申请了专利，该专利于年12月15日提交，于今年9月10日在网上发布，目前还未正式生效，但是相信这只是时间问题。LSTM之父JürgenSchmidhuber一直在怼三巨头说他们不是深度学习真正的发明人，不管事情真相如何，但是这次，Hinton可以自信地说：胶囊网络的专利是我的了！从上面专利图示可以看出，第一发明人即是Hinton本人，其他两位发明人也均是胶囊网络最初发表在NIPS上论文的共同作者：接下来首先简单了解一下这项专利及其胶囊网络。1专利胶囊网络专利摘要:本专利适用于为接收网络输入以及进行网络输出用到胶囊网络的神经网络方法、系统、设备，包括在计算机存储介质上编码的计算机程序。这里说的的程序具体涵盖多大范围呢？在专利[]一段有详细说明：这里的计算机程序指的是只要是任何形式任何语言，能被程序、软件、软件应用、APP、软件模块、脚本、代码等等描述出来的........接着说网络，以上所述的神经网络包括顺序排列的多个网络层、包括多个胶囊网络层被配置为接收各个输入和输出：1、由序列中特定胶囊网络层之前的先前胶囊网络层的胶囊生成的输出：2、在前一胶囊网络层的胶囊层和特定胶囊层之间的最终路由因子（routingfactors），其中最终路由因子由路由子系统生成。特定胶囊层中的每个特定胶囊被配置为基于所接收的输入确定特定胶囊输出，其中所述的特定胶囊网络层输出的尺寸大于1:完整专利图示：胶囊网络简述Hinton在年提出了CapsNet，其设想启发自脑皮层微柱结构，旨在解决CNN的信息丢失问题。平移对称性原本是CNN的优点，但CNN将其泛化到了物体本身，从而导致不保持相对位置的元素组合也能被识别为同一物体。如下图所示，左边和右边都能被CNN识别为一张人脸。池化操作也会导致信息丢失，Hinton曾经说过，“卷积神经网络中使用的池化操作是一个很大的错误，它运行良好的事实是一场灾难”。CapsNet可以保留图像的所有信息，不仅包括位置，还有姿势、纹理等等，其中动态路由算法可以让网络的低层和高层之间更好地传递信息，保留图像局部和全局之间的关系，从而克服上图中的问题。胶囊网络（CapsNet）包含一个编码器和一个解码器。编码器架构：解码器架构：此外，添加重构分支也使得CapsNet更加鲁棒，CapsNet在MNIST上获得了很好的表现：CapsNet内部的动态路由算法:CapsNet的计算量更大，在MNIST上的表现更好，但是在较大的数据集比如CIFAR-10上表现明显差于CNN。更多有关胶囊网络的介绍，请移步“HintonAAAI演讲：这次终于把胶囊网络做对了”一文。2AI专利回顾谷歌AI专利同样是Hinton，在年6月的时候，Hinton所在的谷歌公司为Hinton在年提出的对防止过拟合有很好的效果的Dropout算法申请了专利且已经生效。在GooglePatents上Dropout专利详情页面中我们可以看到Dropout技术目前的专利权受让人（CurrentAssignee，即专利所有权人）归谷歌所有:年6月，谷歌又申请了一项AI算法专利：《Usingembeddingfunctionswithadeepnetwork》，这一次的主要大牛是JeffreyDean。Hinton本人专利其实从网站patents.justia.
