本发明属于图像处理和视频处理技术领域，具体为基于深度学习的医疗药品图像的检测与分类方法。本发明方法包括：从多角度拍摄医疗药品的方法获取每类药品图像；采用分类树的统计方法对获取的全部医疗药品分类；采用卷积神经网络中的分类网络，提取医疗药品图像特征；利用训练后得到的药品分类网络替换检测网络中的特征提取层，并训练检测网络，获得检测器；采用非极大值抑制的方法，对检测器的输出结果进行优化与修正；最后，采用基于医疗药品发放的实际情况的显示方案，对不同类别的检测结果分类展示。本发明实用性强，可用医疗药品发放实况的检查和预警，严防医药误用造成的医疗事故，提高医药发放的准确性与安全性。