本文中描述的某些实例能够从视频数据生成三维(3D)空间的语义标记的表示。在所描述的实例中，3D表示是表面元素或“面元”表示，其中，使用在3D坐标系内定义的多个表面模拟空间的几何图形。可以使用二维图像分类器确定(605)视频数据的帧的空间元素的对象标记概率值。基于表面元素表示的投影使用帧的估计的位姿识别(610)对应于空间元素的表面元素。然后基于对应的空间元素的对象标记概率值更新(615)表面元素的对象标记概率值。这产生存在于视频数据中的对象的语义标记的3D表面元素表示。这个数据使计算机视觉和/或机器人应用程序能够更好地利用3D表示。