多模态深度学习作者:日期:MultimodalDeepLearning（多模态深度学习）未完待续原创2016年06月22日08:53:40摘要：本文提出一种在深度网络上的新应用，用深度网络学习多模态。特别的是，我们证明了跨模态特征学习如果在特征学习过程中多模态出现了，对于一个模态而言，更好的特征可以被学习侈模态上学习，单模态上测试）。此外，我们展示了如何在多模态间学习一个共享的特征，并在一个特别的任务上评估它一类器用只有音频的数据训练但是在只有视频的数据上测试（反之亦然）。我们的模型在CUAVE和AVLetters数据集上进行视-听语音分类，证明了它在视觉语音分类（在AVLetters数据集上）和有效的共享特征学习上是已发表中论文中最佳的。1介绍在语音识别中，人类通过合并语音-视觉信息来理解语音。视觉模态提供了发音地方和肌肉运动的信息，这些可以帮助消除相似语音（如不发音的辅音）的歧义。多模态学习包括来自多源的相关信息。语音和视觉数据在语音识别时在某个中间层是相关的例如音位和视位;未加工的像素是很难与语音波形或声谱图产生相关性的。在本文中
