本发明公开了一种基于稀疏光流法的多角点跟踪方法及装置，该方法在待跟踪视频图像的当前跟踪窗口中基于稀疏光流法计算待跟踪K个角点在待跟踪视频图像中的偏移信息和位置，判断待跟踪视频图像中的K个角点是否可信，如果全部角点不可信，则以历史偏移信息计算当前目标位置，进行角点更新，否则利用可信角点计算当前目标位置并更新待跟踪视频图像中不可信角点。本发明同时公开的实现上述方法的装置包括多角点跟踪模块、目标位置计算模块和角点更新模块。本发明的方法及装置在同一个跟踪窗口内进行角点的跟踪，性能开销增加有限，满足了目标跟踪的实时性要求，同时提高了目标跟踪的准确率和鲁棒性。