0引言互联网新媒体正在成为传播信息和提供服务不可或缺的形式，其发展具有开放性、多样性、灵活性和实时性等特点(Yuan等，2021)，这些特点为网络安全建设与网络空间治理带来严峻的挑战(黄旗绅和李留英，2017)。随着互联网信息量的指数级增长，网络媒体不良内容持续引发社会问题并造成影响，网络媒体内容安全问题已成为全球性问题。网络内容安全是网络生态综合治理体系的重要组成部分, 愈加受到学术界和工业界的重视，主要包括版权保护、内容监管等领域，如图 1所示(周学广等，2012)。版权保护控制网络作品内容合法使用, 限制具有知识产权的内容被非法下载和传播。版权控制和数字水印等技术是版权保护的有效手段。版权控制通过数据加密和权限管理等技术对互联网应用的版权进行保护；数字水印隐藏在数据中，以保护数字信息不受非法复制、故意或无意篡改等，具有可鉴别性(Koley，2021)。 图1 内容安全构成 Composition of content securityFig 1内容监管主要通过内容过滤和内容识别等方式治理严重污染的网络环境，或者对社会公众、国家安全造成潜在威胁的不良网络信息。内容安全监管的重要性不言而喻。内容监管的典型应用场景是网络内容安全审核。内容安全审核的作用是发现互联网多媒体海量内容中掺杂着的不良信息并及时处理。不良信息主要指涉及暴恐、色情和不良场景等的负面内容。不良信息的传播破坏了精神文明建设和人民素质健康，尤其容易对青少年网民的身心健康造成影响。内容安全审核势在必行，其力度和维度都需扩大。内容安全审核是媒体平台最关注的问题之一，会直接影响平台业务的持续运营。网络内容的审核方式由内容生产模式决定。常见的生产模式包括专业生产内容(professionally-generated content，PGC)、用户生产内容(user-generated content，UGC)和职业生产内容(pccupationally-generated content，OGC)(刘兑，2020)。3类模式在内容运营审核上，都不可避免地使用人工的方式。人工方式在审核视频内容方面的一些疏忽，可能产生严重的内容安全风险。随着5G时代的来临，内容形式更加娱乐化、碎片化。以视频为载体的方式能够满足内容形式变化，视频逐渐成为互联网内容传播的主流。其内容安全风险问题也愈发明显。视频是一种数据量庞大的信息载体。视频数据主要由一系列有序静态图像集合构成，同时也可能包含音频、文本等数据元素。视频数据通过多维特征描述内容信息，特征有颜色、纹理、时间以及空间等，如图 2所示(Du等，2014)。由于视频数据构成的复杂性及特征多样性，多媒体视频数据量的快速增长使得视频内容审核面临艰巨的任务。 图2 视频组成结构 Video compositionFig 2视频信息在网络媒体平台传播的过程中，平台可能会面临因视频内容安全问题导致的平台手机软件下架、平台关停和整改等监管措施，其业务必然遭受不同程度的打击。可见，视频内容安全已成为网络内容安全的关键一环。视频内容监管最初主要通过人工方式审核，这种方式需要大量的人力物力支持，且耗时较长。当前，媒体平台为了应对内容审核问题，普遍使用机器学习与人工审核相结合的方式。该方式对视频逐一拆帧，利用机器快速审核视频内容，降低人员工作强度，节约成本(徐均哲和车荣学，2018)。视频制作的门槛不断降低使得视频内容安全的复杂性变高。为此，视频内容安全应建立一套严谨的分析逻辑，依靠技术和管理两方面来帮助媒体平台控制日常运营风险，同时又不影响用户体验。本文从系统工程角度将视频内容监管整理成体系，形成了视频内容安全评价(video content security evaluation，VCSE)。为了便于说明问题，后文中内容安全主要是指网络内容监管。VCSE严格按照科学的程序和方法，辅以技术手段，对视频中潜在的风险内容进行事先辨别、分析和评价，配合管理需求与制度，不断完善风险控制举措，使得风险事件发生的概率降低或者将损失降低到可接受水平。视频内容安全评价把内容安全从抽象概念转化为具体指标，能够以数值或等级的形式对内容安全做定量表示，从而更加直观地了解视频内容的不良程度，为明确审核优先级、确定处理的缓急顺序和制定管理决策提供数据支撑(Riaz等，2019)。VCSE为增强网络内容安全管控提供了有效方式，为持续的技术积累和费用投入做出了保障。1视频内容安全评价技术体系视频中不良内容能够对社会和人们的生活造成影响。在视频迅猛发展的势头中，建立视频内容安全技术体系，有利于促进内容安全的发展，及时准确发现、屏蔽不良内容，推动视频内容安全管理逐渐成熟。本节围绕暴恐、涉政、色情和不良场景4个方面，从视频内容安全技术和管理两个角度构建了视频内容安全评价体系，体系包含3个部分：标准规范、内容识别和评价方法，如图 3所示。 图3 视频内容安全评价技术体系 Video content security evaluation systemFig 3视频内容安全评价标准用于固化成熟的内容安全评价技术，指导视频内容安全评价工作开展。视频内容识别利用视频检测、分析技术，确定出视频内容的相关语义，实现对视频内容的分类，判断内容上的安全性。内容识别的准确率和高效性是其永恒的目标。评价方法依据一定技术理论对视频中存在的不良内容及其可能产生的恶劣影响进行综合评价和预测，以便提前做出应对。本节主要介绍标准规范和内容识别的进展情况。1.1内容识别技术随着人工智能技术的兴起，更多的研究人员利用机器学习算法从事视频内容的分析和研究，以减少内容识别的人力成本和时间成本。首先通过智能检测对内容初步分析。将获取到的视频通过数据清洗、多特征提取等手段，利用视频外围参数检测分析引擎进行大规模筛查，对检出可疑视频涉及的文档、音频和图像等异构数据进行基于深度学习模型的定性分析(周利红等，2020)。其次，在具体视频内容深入识别分析方面，国内外学者进行了许多研究。如通过截取视频关键帧(key frame)，直接运用图形图像识别方法辨识内容；通过提取视频帧间的上下文语义、连续动作等信息综合分析。不同方式检测效果不一样(任栋等，2016)。在基于视频关键帧的研究方面，为了提高时间效率，对视频文件进行解码、解析，一般将整个视频分割成视频片段，根据特征提取关键帧，通过关键帧对内容快速判断(Yuan等，2021)。但视频片段通常包含许多事件，很难准确地提取所有与这些事件相关的关键帧，关键帧识别内容有一定局限性。为了提高识别准确率，采用提高神经网络对细节信息保留能力的手段，如引入并行结构的卷积核分支提取单帧图像中的语义概念(门鑫，2019)。1.2标准规范国内视频内容安全方面的标准规范发展较快，且逐步上升至法律法规层面，但在不良内容识别技术指导方面的标准尚未成熟。中国网络视听节目服务协会从遏制不良短视频传播链方向入手，推出了《网络短视频内容审核标准细则》。国家广播电视总局以推动媒体内容健康可持续发展为目标，在多媒体内容安全性审查方面提出一种利用区块链高信用、可溯源特性的内容审核标准体系，发布了《基于区块链的内容审核标准体系(2021版)》(http://www.nrta.gov.cn/art/2021/4/2/art_3765_55657.html)，促进内容安全标准化建设和规范化运行。中国电子学会组织编制的《互联网内容审核职业技能等级标准》对完善互联网平台中媒体内容审核机制有重要作用，指导行业培养素质高、责任意识强的内容安全人才，以满足急迫的需求。国内企业也有自身的一套审查流程，例如网易的人机协同智能审核系统，将不良内容分为普通、低危和高危3个危险等级，并分配到不同级别的审核人员审核。从严管理视频内容是世界范围内的趋势，但在国际上，还未有成熟、完整的视频内容安全管理方式。例如在美国，政府虽然对内容安全的审查有所关注，但评判标准主要以互联网企业设定的内部管理条例为主。有学者呼吁借助第三方机构来制定管理有害内容的标准，但标准的具体界定和技术上配合等具体实施问题还有待观察。2视频内容安全评价方法内容安全评价建立在内容处理的顶层，需综合考虑目标内容的可信度。安全评价用于管理和改善内容安全。内容安全管理为互联网的持续健康发展提供了良好基础。内容安全评价对可能发生的网络内容安全风险提前做出防护，有效抑制不良信息大范围传播蔓延，间接为网络信息传输内容完整性给与正向反馈(Xu等，2012)。视频内容安全管理评价的方法、流程应是发展的、可操作的，一般遵循以下准则(Gollmann等，2006)：视频内容差别较大，涉及多个领域，需采用多种技术(张丽娟等，2021)；结合视频服务需求，简化不确定因素，提升计算效率与效果；对视频进行详细分解，尽可能多地找出其中风险内容；过程可重复，结论与实际情况相切合。2.1评价流程视频内容安全评价是加强内容安全管理不可缺失的部分。建立通用的评价过程可以增强内容安全管理的可行性和实用性，并为视频内容安全量化标准化提供技术借鉴。内容安全评价的思想是依据PDCA(plan-do-check-act)循环方法。PDCA循环原用于质量管理并组织实现，其流程有4个阶段，分别是计划(plan)、执行(do)、检查(check)、处理(act), 如图 4所示(Miloslavskaya，2018)。计划阶段通过调研现状，确定目标，分析要素，制订活动计划。执行阶段根据已知的信息，设计具体的方法、方案和规划，执行计划并进行一定的岗前培训。检查阶段贯穿计划执行过程，检查实施结果，明确关键进度执行中的难点问题。处理阶段依据检查结果，制订针对性的解决方案，总结成功或失败的经验，将尚未解决的问题适当顺移至下一次循环中解决(Meng，2013)。 图4 PDCA流程图 PDCA processFig 4PDCA模式具有动态性、全过程性和阶梯性等特点，这一模式是管理各项工作的一般规律(Barak和Assal，2018)。内容安全评价作为内容管理的子过程，通过PDCA指导内容安全评价时的思想和工作方法更加有组织性、系统性和科学性。按照PDCA循环，内容安全评价就是评价计划的制订和组织实现的过程。一般安全评价程序主要包括4个模块：准备阶段、分析阶段、核对阶段和改进阶段，如图 5所示(吴晨思等，2019)。由于视频大小、类型分析难度不同，执行过程可根据实际情况进行调整。 图5 视频安全评价流程 Video security evaluation processFig 5模块①准备阶段主要明确被评价对象或范围，定义视频中不安全语义，汇集内容安全相关法律法规、视频技术资料、行业或国家标准等；明确可实现目标需求的指标，根据实际问题制定合适的视频内容评价方案(Arabsorkhi和Ghaffari，2018)。此阶段还应成立覆盖内容安全识别、分类分级和安全管理等方向的专家组，由具备该领域背景的专业人员，负责高效把控评价计划并监督整个过程，及时修正流程中的可能问题。模块②分析阶段根据被评价视频的情况，选定检测方法识别和分析潜在的有害内容，定位不良信息，提取对应的内容；在此前提下，选择恰当的评价方法，采用定量为主、定性为辅的方式对视频内容进行综合评价，并将结果排序。模块③核对阶段的目的是为了指出安全风险举措。比较模块②的评价结果，提出减弱或消除不良视频的技术与管理方案，形成安全评价结论，汇编内容安全评价报告，由专业人员审核。报告中列出识别情况、帧信息、主要风险和评价程度等。从而不断凝练重点防范的突出风险因素，清晰核心安全措施。模块④为了保证评价结果的科学性，每一次的结果应进行认证，并生成最终的正式结论。结论中给出检查是否达到预定的目标。改进阶段根据评价结果，对视频中不符合规范的内容，提出改进方案，落实视频风险控制措施管理制度。同时，也为进一步改进内容识别方法、提高识别准确率做出目标导向。2.2评价指标体系评价指标体系由表示评价对象不同维度特性的多个指标所构成，是具有内在逻辑结构的有机统一体。建立规范、客观的视频内容安全评价指标是保证评价过程正常进行的基础和前提。评价指标的选取直接影响评价结果。建立视频内容评价指标一般遵循以下指导原则：1)科学性：客观表现视频内部要素；2)全面性：完整有效反映目标对象本质；3)独立性：尽可能减少相互关联；4)可比性：结果之间易于比较；5)可行性：满足实际，数据便于收集处理(Wang等，2015)。当前还未有较为完整、系统的视频内容安全评价指标体系。在量化风险领域，常采用层次分析法(the analytic hierarchy process，AHP)对风险的影响因素逐层量化(Saaty和Kearns，1985)。AHP是决策科学的基本方法之一，有助于决策者确定优先次序和选择最佳方案；是一种多目标、多准则的决策方法，分割对象形成变量，分析各变量之间的关系，根据指标的使用情况和涉及内容，定量与定性相结合，将复杂的决策缩减为一系列比较(Sha和Zhou，2011)。视频内容安全涉及的因素较多，通过AHP对视频内容安全评价指标进行选取、分析形成如图 6所示体系(孙艳，2016)。将视频内容分为5个方面进行评价：内容干扰度、内容恶意度、内容敏感度、内容暴露度和内容倾向度，5个指标的含义如表 1所示。 图6 评价指标体系 Evaluation index systemFig 6表1 视频内容安全指标 维度 含义 内容恶意度(malic) 视频中暴恐类型出现的程度 内容敏感度(sensi) 视频中涉政敏感信息表达的程度 内容暴露度(expos) 视频中敏感部位裸露的程度 内容倾向度(tende) 视频表达内容反映某一不良场景的程度 内容干扰度(intrf) 对信息内容进行刻意变换的程度 Video content security indexTable 1内容恶意度用于描述常人无法接受的暴力恐怖、民族分裂和极端宗教等。内容敏感度主要识别官员政要、革命英烈等与政治有关的情形。内容暴露度主要描述色情识别的效果。内容倾向度用于描述不良场景的出现情况，除上述以外的违法违规内容可看做不良场景，如地图不完整等。由于不良价值观对未成年人影响较大，故将未成年画面问题单独列出。内容干扰度来自包括声音、图像、文本不相符的情况，广告、虚假信息、未证实言论等干扰原内容，以及中英文等敏感关键词变形体。在视频中应用主动干扰技术对违法违规内容添加扰动或变形，处理后的敏感内容不易被基于机器的内容审核机制检测和提取，但又不影响视频内容中不良信息的语义理解。内容干扰度越高，信息内容的不安全隐患越高，产生恶劣影响的可能性越大(孙艳等，2011)。2.3内容风险评价方法视频的关键帧是有效表征视频所体现主要信息的帧集合。关键帧不仅能够反映视频的重要内容，同时关键帧的数量远远小于完整视频序列，可以起到减小视频数据量的作用。利用所提取的关键帧集合，可以有效地降低视频数据检索的复杂度和工作量，同时也有助于视频数据摘要信息的提取，构建相应的组成框架(孙彬，2017)。关键帧的提取有很多方法，例如利用灰度质心进行视频关键帧提取，当关键帧间的帧图像数量较少时，将多个关键帧进行合并，当关键帧间的帧图像数量较多时，通过随机采样的方式进行帧数量的选取，有效保证了视频重要内容的完整性(于京，2020)。将关键帧中分析识别出的不良内容确定为问题帧(problem frame)。问题帧的数量越多，视频内容安全风险($risk$)越大，风险严重等级$S$越高，记为$S \in \left\{ {{\rm{high}}, {\rm{medium}}, {\rm{low}}} \right\}$，其取值范围如表 2所示(Munir等，2015)。问题帧种类$A$及其对应风险指标名的集合为$\mathit{\boldsymbol{A}}$={${\mathit{\boldsymbol{A}}_i}$|暴恐, 涉政, 色情, 不良场景, 干扰}, $\mathit{\boldsymbol{M}}$ ={${\mathit{\boldsymbol{M}}_i}$|malic, sensi, expos, tende, intrf}, 其中$i$=1, 2, 3, 4, 5。表2 严重风险等级 取值范围 严重程度 [0，3) 低(low) [3，7) 中(medium) [7，10] 高(high) Determination of severity risk levelsTable 2视频中某一类内容出现的程度为1${D_{{M_i}}} = \frac{{{P_i}}}{K}, \;0 \le {D_{{M_i}}} \le 1$ 式中，${D_{{M_i}}}$为${{A_i}}$对应问题出现的程度，${{P_i}}$为${{A_i}}$对应的问题帧数，$K$为关键帧数，$i$=1, 2, 3, 4, 5。视频内容安全风险评价方法如下：1) 确定关键帧选取方法及关键帧数，设置内容干扰度阈值$T$，用于判断人为干扰程度。根据视频内容识别技术，通过式(1)计算内容干扰度${D_{{\rm{intrf}}}}$。2) 当${D_{{\rm{intrf}}}} T$时，$risk = {D_{{\rm{intrf}}}}, S = {\rm{high}}$。当${D_{{\rm{intrf}}}} \le T$时，分别计算各类问题帧，根据式(1)得到各内容出现的程度${D_{{\rm{malic}}}}, {D_{{\rm{sensi}}}}, {D_{{\rm{expos}}}}, {D_{{\rm{tende}}}}$。3) 视频整体内容安全风险2$risk = 10 \times \sum\limits_{i = 1}^4 {\left({{w_i} \times {D_i}} \right), } 0 \le {w_i} \le 1$ 每个行业的视频数据都有独特性，且内容安全的侧重点不同，因此，根据实际需求，式(2)中$w_i$具体值由专家讨论设计，且$\sum\limits_{i = 1}^4 {{w_i} = 1} $。如邀请多位专家，利用模糊数学综合评判法计算指标权重(Peng和Dai，2009)。4) 根据式(2)$risk$的值，对照表 2，确定视频内容风险等级。风险等级为内容审核确定优先顺序，减轻繁重的工作紧迫程度，同时从统计的角度，也便于了解当前平台整体的不良视频的存在情况。3未来展望3.1机遇与挑战互联网视频数量呈井喷式增长，不良内容的传播会对国家安全、社会安定和谐，特别是对青少年成长，造成不良影响。依靠内容安全评价提升视频内容安全管理能力是必要的。安全评价从源头上对视频内容进行严格把控，确保视频内容的真实性和可靠性，也为打造行业的公信力，为提升企业公平竞争和透明发展提供支撑。人机协同的视频内容评价仍是未来很长一段时间的评价模式。但当前视频内容安全评价模式所需人工成本高、效率低，参与人员需掌握比较全面的知识体系，因此，亟待通过提升技术和管理手段来填补能力空缺。媒体平台能在较短时间内汇聚大量视频、以及移动化、碎片化和社区化的特点和尚未清晰的行业准则都使得媒体平台的内容安全管理面临严峻考验。短视频和大型直播越来越广泛，视频应用场景更加多元化、大众化，视频内容管理需要具备及时适应新政策的能力。现有的媒体视频平台通常对带有明显不良画面内容进行初筛，但对于某些隐晦场景检测，仍存在误判漏判多等主观性问题，难以保证内容的安全性。可以认为，目前的视频内容安全评价水平仍处在低智能阶段。3.2研究展望视频内容安全研究是网络内容安全研究的重要方向之一。视频内容安全研究的总体现状为完整的理论体系仍未形成；内容风险评价具有很大程度的主观性；视频内容安全客观量化及精准描述仍较难实现。视频内容安全研究还需要继续与时俱进、开拓创新。表 3总结了视频内容安全研究中一些问题可能的解决方法以及存在的难点。表3 视频内容评价研究面临的问题与方法 问题 方法 难点 共享数据集 建立专门用于内容安全研究的数据库 共享策略、质量评价 内容精准识别 深度学习、强化学习 精细度、语义推理 视频内容干扰 反对抗模型 对抗效果 安全态势预测 自动感知和自学习机制 响应延迟、数据融合 跨平台互联通协作 价值共享机制 利益平衡问题 视频内容溯源 区块链技术 实用证明 实时监测 可视化 时间尺度与数据选取 超高清内容安全 新一代人工智能技术 存储与运算 不良视频内容检索 高维向量空间与索引结构 覆盖率和效率 视频内容评价标准 标准化理论 可扩展性 Problems and methods of video content security evaluationTable 31) 共享数据集。构建算法识别视频中的不安全内容对于机器来说是一项困难的任务，尤其是其中的细微差别。训练一个有效的自动化检测模型，数据量是基本要求。具有一定数据量的高质量数据集会带来物体检测、行为识别和事件分析等准确性的提升；同时，也更容易建立敏感词库、敏感图片库、指纹库和智能规则库等辅助数据集。但高质量数据集的建立需要大量的数据梳理工作，意味着前期需要投入大量的人力。因此，建立共享、丰富和全面的数据集有助于节约人力、物力和时间成本，促进内容安全研究更开放交流，加快技术进步。当前，已有学者在不同方面建立了数据集，如色情视频检测数据集(Moreira等，2016)、暴力视频检测数据集(Cheng等，2021)等。即使如此，已共享数据集依然较为匮乏，大多场景和模态单一，多样性受限制。有的数据采集自摄像头，清晰度、能见度不高(Wu等，2020)。受限原因在于视频内容安全涉及的场景复杂、敏感，视频内容识别难度大。不良视频内容大多属于非法信息，不宜对大众开放，一些自建数据集并未对外公开。为解决上述问题，可围绕多方共享的第三方监督机制建设，在一定范围内有所限制使用数据集；确定规模量级，由社会各界持续推送含有不安全内容的视频数据；数据集由第三方管理，数据使用可追踪。建立数据质量评价维度，从视频质量、实用需求等方面评估每条数据价值，数据质量可保证。总之，多方共享、高质量和多样性数据集是需要社会共同讨论解决的问题。2) 内容精准识别。内容精准识别是视频内容安全评价体系的重要组成部分。视频内容安全对内容识别的准确度要求极高，任何一个漏判都有可能给平台方带来严重后果。将目标多维度特征作为识别输入有利于提高准确率，如场景、物体、表情和动作等。基于深度学习方法对输入视频进行逐层非线性变换，实现对数据的表征、分析和语义理解。以此为基础，产生了多角度优化方法。如基于无监督的强化学习不依赖标签，通过生成简短、简明、多样且具有代表性的视频摘要对视频整体概括(Zhou等，2018)；使用注意力机制提升对于大规模视频数据的表征、分析和语义理解能力；对视频信息的细粒度分析和对齐，高效地评估视频和文本的相关程度，优化文本和视频数据中分析多模态之间的相关性的思路。但是基于深度强化学习的内容识别技术也存在一些计算机视觉领域的共性问题，数据集从规模、维度和标注方式上都与深度学习算法的要求存在很大差距，一定程度限制了内容精准识别的研究；现有的分类算法成本高，需要耗费大量训练和测试时间，且分类准确率难以提高，运行时间依赖GPU等硬件的支持；定义视频的关键帧与关键信息等问题认识不一。此外，精细度与语义推理始终是视频内容识别的难点。精细度与语义推理达到一定程度能极大解放内容审核人力资源，降低人工成本，为内容安全审核提供更高质量支撑。3) 视频内容干扰。攻击与防御总是矛盾的关系，在不断竞争中相互发展，视频内容审核与对抗的领域同样存在这种情况。对抗检测会降低、误导内容审核结果。常见的图像对抗技术包括通用扰动、像素扰动和对抗样本等方法。通用扰动能够在任何图像上扰动并高概率欺骗一个给定模型，使图像预测错误；像素扰动通过使用拟牛顿法(large BFGS，L-BFGS)、快速梯度符号法(fast gradient sign method，FGSM)和动量迭代攻击(momentum iterative fast gradient sign method，MI-FGSM)等攻击算法可以干扰良性样本的所有分量，局部区域或片段中的像素扰动也能够让训练模型失效；对抗样本通常利用生成对抗网络(generative adversarial networks，GAN)生成。文本、音频作为视频组成的重要部分也存在干扰策略，如词级插入、修改和删除。对能够影响识别的重要的文本项采用其中一种扰动策略，利用损耗函数构建音频对抗性样本等对抗方法(Ren等，2020)。为抵御内容检测干扰，利用对抗样本训练来提高识别模型的鲁棒性。主要使用的方法如随机化减轻输入与特征域对抗性扰动的影响；采用随机噪声机制(卷积层前添加噪声层)；直接添加随机噪声到对抗样本中；采用基于GAN的防御训练(defense-GAN)(Samangouei等，2018)，通过在其学习的分布中搜索接近于对抗样本的图像来清除对抗样本等启发防御方法。此外，通过探索像素与其周围时空一致性来区分良性和对抗性视频的自证明防御方法也能达到一定效果。总体来看，以上反对抗模型存在通用鲁棒决策边界、无法很好地平衡效果和效率、有效防御泛化性不足等问题。与攻击相比，防御措施的发展有着更多的值得研究的主题。4) 安全态势预测。视频内容安全态势预测侧重于运营管理。在日益复杂的网络环境下，内容共享势必会使用户面对更多的持续未知不良信息的威胁，可能对公共安全和社会秩序带来严重影响。通过感知当前网络视频环境的整体安全状况和风险，对视频内容安全状态进行评估，预测内容安全未来一段时间变化趋势是重要的解决方案。态势分析结果为视频内容的安全运行和决策提供重要依据和手段，从而提高内容管理的及时性、主动性，尽可能地降低危害及损失。在安全预测的早期阶段，有效数据较少，采用专家定期评估的方法对安全形式预测与指导(Yu等，2020)。安全态势变化是一个复杂的非线性过程，随着海量数据的采集、存储，数据维度增多，只使用专家方法已不能满足需求。借鉴其他领域，利用智能预测方法建立自动感知和自学习机制能够减小预测难度，增加预测的有效性和准确性。智能预测方法具有自学习、自适应、自组织和非线性处理等特点，典型的方法有神经网络、支持向量机(Wang等，2020)和人工免疫(Liu等，2010)等。如神经网络通过选择一些视频数据作为输入输出的训练样本，通过自学习能力调整权值或阈值，构建态势预测模型，实现状态空间的非线性映射，对安全演化态势做出预测(葛琳等，2015)。视频内容安全态势预测在大数据环境下存在较多难点，需要逐步解决，如感知模型负荷重、响应延迟大，视频数据融合和关联分析难度较大，态势特征的选取不准，人工依赖较强等(韩晓露等，2019)。5) 跨平台互联互通协作。跨平台互联互通协作已经成为多个领域的热门话题，其能够降低成本、节约资源，促进各平台合作共享、互动协调，激发创新精神，也为提升技术水平和服务质量做出支撑。基于价值共享机制的实时流媒体服务能够实现跨媒体平台合作、共生、互联和互通。例如，将视频的评价情况作为安全价值共享，相互连通补充，提高数据资源和计算能力交互协同作用，以提升内容检测效率，加快内容安全建设。价值共享是以共建、共享为导向，以平台为介质，通过主动分享，达到价值创造的目的(张琪，2017)。共享作为强大的生产力和资源获取途径，发挥着至关重要的作用，人们对价值共享的要求越来越高。共享价值机制通过统一接口规范、算法协议和操作流程等，将视频内容安全资源有效地共享出去。更广泛地把安全评价数据利用起来，才能够实现真正意义上的价值共享。当前跨平台互联互通发展缓慢，每个视频平台的管理细则不同，互联互通存在诸多的限制因素。共享内涵与边界共识、利益分配平衡和数据安全等问题是其面临的主要难点。互联互通复杂性较高，在系统性开放共享的必然趋势下，互联互通可能带来的风险和挑战会逐步增多。6) 视频内容溯源。溯源问题与传播源、传播途径有关。视频溯源能明确不良视频的生产者、发布者与传播路径，也对未来防控不良内容有重要借鉴价值。区块链是解决溯源问题的重要手段。区块链的作用在于对数据构造出了一定程度的“唯一性”。将带有唯一标识的视频数据置于各个区块中传播，不可篡改地记录了视频的流动信息。Hasan和Salah(2019)基于以太坊智能合约构建了一种对视频跟踪的解决方案和总体框架，通过追溯视频来源的安全性来证实其真实可靠性。如果一个视频无法追溯到其原始发布者，那么视频的真实性自然存在疑问。该解决方案可以公开访问可信的数据来源，并跟踪已发布视频的历史清单。为提高内容的安全性，向受信任的艺术家或出版源提供可信和安全的追溯。构建包含行星际文件系统(interplanetary file system，IPFS)、分散存储和信誉系统等关键功能的区块链系统，或者包含实体关系、序列图和算法的以太坊智能合约系统，都为视频来源的可追溯性提供了可能。但这类技术因认知应用门槛高、效率性能不足、信息交互性差、智能合约的法律效力与区块链难以篡改性带来的数据隐私与内容监管等问题也在制约其落地。区块链以其去中心化、难篡改和事中留痕等特性为集数字身份识别、电子取证和溯源一体的视频内容监管审核提供了一种参考，是内容审核在监管角度的研究方向。7) 实时监测。视频内容易受社会舆论影响，具有随机性、隐蔽性和不确定性等特点。对内容进行实时和长期监测的意义在于可以预警视频出现内容不安全状况的风险；呈现不安全内容已暴露在公众环境下的时间，分析风险带来的影响程度及对平台的可能损失。实时监测需要建立多维数据库，整理形成时态、层次数据。监测获得的数据利用电子屏幕实时可视化展示。可视化技术用于直观展现视频内容安全风险全貌，敏感信息分布情况，简化复杂性，通过多维数据辅助分析，增强理解与审视(Fan等，2019)。可视化的实时监测不仅针对视频上线前的审查，还有视频上线后的持续评估，其加强了视频内容安全自动化分析结果的使用效率。常见可视化技术有数据建模、图表自动生成和动态交互等，相关工具如plotly(https://plotly.com/r/#basic-charts)、D3(https://d3js.org/)等。视频数据更新频率高，监测过程中易出现数据不准确、异常值等情况，此时应给出发出响声等类似的提示，若未能及时处理，可能导致其他附带问题出现。视频内容安全数据过多时，如何选取时间尺度与展现内容是难点，需深入探讨。采用数据融合和可视化等技术，建立实时监测系统实现无感知内容安全，捕捉可疑内容的传播活动，对具有威胁性的活动响应报警。每个警报提供详细的报告，包括安全性评分、趋势分析和视频内容等相关细节。根据报告，研究人员能够推理警报背后的问题(Majeed等，2019)。此外，实时监控系统体现持续性、动态性的同时，也应具有简单、高效和有美感等特点。8) 超高清内容安全。5G技术为超高清内容传播提供了良好环境，加速了超高清视频发展。鉴于超高清的重要性，本节将超高清视频内容安全单独列出，作为一个重点方向。超高清视频有分辨率高、帧率高、动态范围高、色域宽和色位深度高等特点，能够展现更丰富的信息和细节(Guionnet等，2020)。随着超高清视频内容服务快速普及，海量的存储、实时处理视频的能力需求提升，对超高清视频内容安全评价也提出了新的要求。基于深度神经网络的人工智能已成为视频处理的一种基本流程，能够服务于视频内容安全评价，常见方法如图像分类、目标检测和人脸识别等(Costa等，2020)。新一代人工智能技术(artificial intelligence 2.0)将大数据转变为知识，以支持人类社会更好决策，为处理超高清视频内容安全提供了解决方案(张家亮等，2020)。新一代人工智能涉及了大数据智能、群体智能、跨媒体智能、混合增强智能和自主智能等(Zhuang等，2017)。例如，在跨视频内容安全方面，生成视频内容描述，通过关联理解与深度挖掘，实现跨视频内容分析与推理(Peng等，2017)。在人机协同方面，侧重考虑任何智能都无法完全取代人类，将人的认知模型引入到内容安全评价智能系统中，建立基于记忆与推理的视觉场景理解认知学习网络，以提高不良内容发现的准确与效率(Zheng等，2017)。超高清视频内容安全评价处于初级阶段，相关研究亟需拓展。9) 不良视频内容检索。从管理者的角度看，手动查看视频数据难度逐渐增大。建立基于内容的视频检索(content-based video retrieval，CBVR)是趋势，具有重要的现实意义。视频内容搜索能够减少人力和时间成本，是视频内容安全评价重要组成。事前智能搜索相似的不良视频片段，初步审核提前过滤；事中对于严重事件快速确认，防止误判；事后追溯并检验发生的过程，总结经验。视频内容搜索通用流程是通过复杂语义分析和理解模型提取视频内容特征，建立搜索引擎，给定查询内容或一个视频，在视频库中快速检索历史视频内容，匹配视频片段(陆楚杰，2020)。搜索可指定在单个视频内进行。由于内容的复杂性，底层搜索问题具有挑战性。研究者对视频底层搜索方法进行了讨论，围绕多维索引，Guo(2020)设计领域知识，计算相应的语义特征，建立高维索引结构；围绕计算能力，Khan等人(2020)利用分布式内存计算，对视频进行结构分析，然后计算空间和时间特征并编制索引。近年来，CBVR虽然得到了较广泛的研究，但视频的非结构化、数据量大和内容丰富等特点依然使得视频检索定位速度和精确度普遍存在局限性，视频内容的覆盖率不足，检索结果不理想。处理视频时，特征向量维数往往较高，通过改进现有的视频索引结构，在这种高维向量空间中建立高效的索引并提供实时检索服务仍是当前一段时间内的主要目标。10) 视频内容评价标准。视频内容安全评价标准化建设围绕应用流程的可用性、可靠性和高效性，实现内容安全科学管理。不良信息总会设法试探并突破现有内容安全防御能力，如使用小语种、暗喻等方式试图绕过检测。视频内容安全标准体系的建立有助于清朗互联网整体环境，具有很强的研究意义和实际应用价值。视频内容安全评价标准化体系涵盖广泛，受政策规范、社会环境和主观差异等非一成不变的因素影响。现有的标准化工作尺度不一，维度不同，缺乏一套完整、科学和权威的标准规范指南指导视频内容评价工作，对时效性和突发性的内容指导不足，快速应对不确定的情况能力不足。视频内容安全评价标准的核心是内容安全量化指标体系。量化指标体系从数量方面描述、分析视频内容安全，能够提高视频内容安全评价的可靠性和客观性。建立量化评价指标集，使含糊概念精确化，明确每个指标的具体定义，减弱主观性的程度，强化可操作性。当前指标不能完全表现出内容安全的性质、特点和演化规律。深入把握指标结构和关系，建立技术类和管理类两方面指标，指标设计应始终围绕指标建立原则。选取多级指标，也便于扩展针对不同场景下的指标适用性。内容安全监管日趋严格，依据标准化理论(文松山，1998)，技术与管理相互结合，建立标准化处理流程与方法，发展符合当地需要的视频内容安全评价体系是当前主要工作。4结语视频内容安全对于任何相关利益方来说都是很重要的关注点。严格控制互联网视频内容安全，加强不良信息处理，做好视频内容的风险把控，为国家治安部门提供线索，是内容安全管理的必要工作。视频内容安全量化评价能够在深度和广度上提升安全能力，是一个复杂过程。影响视频内容安全的因素很多，且各因素之间又相互关联，影响因素与评价结果之间呈现出复杂的非线性关系。构建完整的安全评价框架，建立安全评价理论与技术体系，逐步实现精准的评价才能对视频内容安全的认识更客观全面、科学合理。本文整理指出了视频内容安全评价的相关方法及其逻辑过程框架，有助于提高安全评估人员在视频内容产生可能的社会影响前，依据严重程度，通过优先级进行内容管控；同时为完善内容安全治理体系提供思路；最后阐述了目前研究中存在的不足与难点，并展望了未来发展方向。