本发明公开了一种基于深度学习的多模态医学影像的方法，利用深度学习算法同时对电子计算机断层扫描图、磁共振影像图进行特征提取，然后通过距离变换获取的前景标记和分水岭变换获取的背景标记来修正图像的梯度图像，再使用融合算法对深度学习模型提取到的特征进行得分层次的融合，提高了图像之间相似度计算的精确性，从而提高了后续诊断结果的准确性；最后使用融合后的图像得分基于BP神经网络模型实现诊断结果的自动输出，大大提供了医护人员的工作效率。