本发明提供一种健壮手语特征提取方法，可以从多个场景的手语动作中提取出健壮的且具有显著区分能力的手语特征，属于医疗健康与信息技术领域。该手语特征提取方法采用深度对抗网络架构，包括三个子网络：基于深度卷积结构的特征提取网络、基于全连接结构的场景辨识网络、以及基于稀疏表示结构的分类网络。通过同时最小化手语动作类别估计误差以及最大化场景信息估计误差，该方法确保了所提取的手语特征在不同手语动作之间的可区分性以及在不同场景下的一致性，从而使得使用该方法的手语识别系统可以跨场景工作。本发明将提升手语识别系统在实际多场景工作中的性能，为听力障碍人士与普通人士的有效交流提供条件。