本发明属于智能驾驶领域，为一种基于三支决策优化智能座舱人机交互界面的方法及系统，方法包括采集座舱内的手势视频，进行预处理，得到手势图像；对手势图像的手势和背景分割，得到手势区域图像；为其进行多粒度表达，利用卷积神经网络提取手势区域图像的多粒度特征；从粗粒度到细粒度计算每一粒度手势区域图像分类到各类别的条件概率，利用三支决策序贯的完成手势识别；将识别后的手势进行语义转换，人机交互界面根据语义转换后的结果进行操作；采用加权求和的方式获得最佳粒度，以该最佳粒度作为最细粒度。本发明不仅能够更精准的识别座舱内手势，执行手势命令，还能够减少座舱人机交互界面的交互时间，为用户提供更舒适的交互体验。