将每个患者的电子健康记录（EHR）表示为一个维度为时间和事件的矩阵。通过卷积神经网络模型进行学习和预测。

直接使用电子健康记录（EHR）存在许多挑战，如时间性、稀疏性、噪声、偏差等。因此，有效的特征提取，或患者EHR表型是任何进一步应用之前的关键步骤。在本文中，我们提出了一种深度学习方法来从患者的电子病历中进行表型分析。我们首先将每个患者的EHR表示为一个维度为时间，另一个维度为事件的矩阵。然后建立四层卷积神经网络模型进行表型提取和预测。第一层由这些EHR矩阵组成。第二层是单边卷积层，可以从第一层提取表型。第三层是最大汇集层，对检测到的表型引入稀疏性，因此只有那些显著的表型将保留。第四层是完全连通的softmax预测层。为了融合患者EHR的时间平滑性，我们还在模型中研究了三种不同的时间融合机制:早期融合、晚期融合和缓慢融合。最后，在慢性病预测建模的具体场景下，在真实EHR数据仓库上验证了所提出的模型。

我们基于[11]中患者EHR的时间矩阵表示构建了我们的模型。具体来说，我们将EHR记录建模为纵向事件矩阵，其中水平维度对应于时间戳，垂直维度对应于事件值。如果在相应患者的第j个时间戳上观察到第i个事件，则EHR矩阵的第(i, j)项为1。但是，与图像和视频不同，由于以下原因，标准CNN模型不能直接应用于该事件矩阵表示。
• 我们不能对EHR矩阵进行常规卷积，因为对事件的卷积没有意义。
• 不像视频中的每个图像帧有完全相同的维度，不同患者的EHR矩阵在时间维度上有不同的大小。
• 我们需要探索患者EHR的时间平滑度。
下面，我们将详细介绍我们提出的解决上述挑战的方法。我们将首先介绍基本的CNN模型，然后介绍一个具有时间融合的高级CNN架构。

与图像和文档不同，EMR数据在时间范围上变化很大，时间连通性对预测也很重要。在这一部分中，我们将每个数据样本视为一个短的、固定大小的子帧的包。由于每个子帧包含多个连续的时间间隔，我们可以扩展模型在时间维度上的连通性来学习时间特征。在[29,30]之后，我们描述了以下三个广泛的连接模式类别。
三个提出的模型是基于融合在整个时间域的信息:融合网络中可以做到早期通过修改第一层卷积过滤器扩展,或者它可以做晚通过将两个独立的单帧融合网络和输出后的处理:
单帧:这种架构将EMR记录视为一个静态矩阵，也是我们在基本模型中提出的。这里添加了一个稍微不同的组件:标准化层。我们使用单帧结构来理解静态外观对分类精度的贡献。
颞晚期融合:晚期融合模型在完全连接层上进行融合。它首先放置几个独立的单帧网络(如图3所示的5个子帧)，然后将这些流合并到完全连接层中。在这种设置下，可以很容易地检测到存在于每个子帧中的模式。
时间慢融合:慢融合模型是两种方法的平衡混合，它在整个网络中缓慢地融合时间信息，以便较高层在时间维度中逐步获得更多的全局信息。这是通过在时间上扩展所有卷积层的连通性来实现的，全连接层可以通过比较所有层的输出来计算全局模式特征。

综上所述，三种时间融合模型都尝试将时间导电性引入CNN模型。后期融合模型能够很好地捕获每一帧的局部信息。早期的融合模型试图通过数据捕捉全球模式。理论上，在单边卷积设置下，与单帧模型有非常相似的性质。而慢融合是早期和晚期融合的平衡混合，因此可以同时捕获局部和全局时间信息。我们将在实验部分展示所有方法的结果。