为了全面准确地获取视频高层语义信息，提出了一种基于仿生的视频语义分析两级多模式融合算法。该算法仿照人脑多感觉融合机理，先将视频中多模式特征按不同类别划分为组，然后对每一组中的多模低层特征用层次隐马尔可夫模型（HHMM）进行数据融合；同时将以似然率表示的多个低层融合结果作为高层融合的输入，再通过基于核的非线性算法把输入空间变换到高维特征空间；最后在特征空间中求取最优线性分类面，即可得到最终的多模式两级融合结果。实验表明，该方法不仅能有效融合视频中的多模式特征，而且能获取全面、准确的高层语义信息。