中国《数据安全法》和《个人信息保护法》在2021年陆续公布并施行，代表了进一步强化数据安全与个人隐私的国家需求和重要导向。同时，数据安全和个人隐私也写入了2022年政府工作报告，意味着两者已经成为具有战略地位和政策导向性的研究话题。图像作为一种含有丰富内容的载体，包含大量涉及个人隐私和数据安全的信息。以手机中存储的图像为例，调查发现，可能包含大量隐私信息(Li等，2018)，例如，身份、位置、健康情况和宗教信仰等(Fan，2019)。这些图像一旦上传到云端很可能会对用户造成隐私困扰。

事实上，一些图像云平台在隐私方面已经出现了问题。iCloud在2021年宣布将与美国政府合作扫描用户上传到云端的图像，引发巨大争议。如果该公司会因为政府请求扫描图像，意味着也可能会因为其他原因扫描图像(McElhearn，2021)。2014年iCloud被黑客攻击窃取了大量照片在网上传播，造成了严重的隐私危害(陆国杰，2015)。2015年Facebook被美国州法院指控在无用户授权的情况下，采集、检测并标注上传到该平台上的图像(Rosenblatt，2016)。2019年以来，美国600多家执法机构开始使用Clearview AI公司提供的面部识别程序，该程序能够从数百万个网站平台上收集人脸图像，并将相同身份的人脸关联到一起(Rezende，2020)。

一类可能有效保护图像隐私的方案是使用经典加密技术(王丰等，2020)将具有丰富视觉信息的原始图像转化为无任何有效视觉信息的密文图像。然而，这种方法产生的密文图像在解密前并不暴露任何视觉信息，使得不能通过预览来区分图像，因此是以放弃图像的视觉可用性为代价的。这使得云平台用户必须不断地下载、解密图像直至找到所需，这不仅具有巨大的计算代价，也消耗了大量的带宽。

对此，学者提出了缩略图保持加密(thumbnail-preserving encryption, TPE)来缓和云图像隐私性与可用性之间的矛盾。如图 1所示，原始图像上传到云平台后，用户虽然能够通过在云端预览获得可用性，但非法第三方也能够了解图像中的隐私；传统加密技术将图像转换成无视觉意义的密文图像，虽然能够保护图像的隐私，但是合法用户无法获得任何视觉可用性，而如果使用TPE方案加密图像，则不仅能够抵御非法第三方对隐私信息的窃取，而且合法用户能够浏览使用。

考虑到图像云存储这一场景，结合兼具保护图像在云平台的隐私性和可用性的现实需求，本文首先介绍了TPE领域的研究背景，并从基本原理与相关技术对TPE进行宏观概述；然后，将现有TPE方案分为两类进行详细介绍和分析，指出各自的优缺点；接着，对其中具有代表性的方案通过实验测试验证其具有的实际特点；最后，指出了TPE未来发展的方向和有待解决的主要问题。

TPE是一种图像隐私保护技术，主要特点是密文图像的缩略图与原始图像的缩略图保持一致或近似，因而粗略的视觉内容被保留，而精细的视觉内容则被抹去。具有先验知识的合法用户能够结合先验知识和密文图像中粗略的视觉内容进行适当的推理从而识别图像；没有先验知识的非法第三方则不具备这种能力。

一些视觉心理学的研究为TPE的成功实现提供了理论基础。Potter(1975, 1976)的研究表明人类的视觉系统能够在100 ms内从一个新场景中提取出相应的语义信息；250 ms内能够在语义层面对这个新场景进行充分的理解、命名并有效记忆。此外，有研究指出，人类仅需要一瞥即可对绝大部分物体和场景进行感知识别(Li等，2007)。这代表着人们只要随意一看现实世界的场景就能从中提取学习足够的语义信息并对其进行识别。这些通过各种方式被人类记忆的信息称为先验知识。

Greene等人(2015)证明了先验知识在视觉感知识别上的重要性，通过3个实验证明了具有先验知识的受试者能够快速识别相应的图像内容；反之，花费的时间会大幅增加。一些神经学的研究指出，图像识别是一种基于人类视觉输入和先验知识混合的推理过程(Kok等，2013)。

视觉退化是指对原始图像进行模糊化、像素化和扭曲等操作，从而得到低分辨率的图像版本。研究表明，人类有能力识别图像的视觉退化版本，这种能力对人脸图像更为明显(Gregory，1997)；同时，如果图像是用户自己拍摄或绘制的，那么这种能力将会明显提高(Kinjo和Snodgrass，2000)。这些研究证明了图像的识别并不是仅依靠肉眼的视觉输入，而是结合了先验知识与视觉输入进行适当推理的过程。

研究人员利用人类视觉系统的能力设计了一些安全性认证方案。Denning等人(2011)提出利用人类常见物体的退化映像(方案中是图像不完整的轮廓)来执行身份认证，开发了一个系统原型并邀请一些受试者进行实验，实验显示能够快速通过退化映像的测试，验证了系统是可行的。随后，Yu等人(2017)提出同样利用图像轮廓的密码验证方案，可以通过不断地对轮廓进行退化，也就是提供不完整的轮廓来增加安全度。用户实验指出攻击者即使之前已经知晓一些轮廓特征，仍然很难对此攻击成功；同时不会对用户产生负面影响。Hayashi等人(2011)设计了像素化图像的验证方案，利用退化映像进行了充分的用户实验。实验结果表明，用户能够很容易通过验证，而对于攻击者来说，即使对用户有足够多的知识，依然无法获得比随机猜测要好的成功率。

基于此，可以得出以下结论: 1)对于攻击者来说，图像退化相当于一个单向函数，不能通过退化映像推理出图像本身的内容；2)对于具有先验知识的合法用户来说，图像退化相当于一个双向函数，能够在原始图像与退化映像之间建立双向联系，并通过退化映像结合先验知识推理出图像本身的内容。因此，利用退化映像可以兼得视觉可用性和隐私性。

基于上述结论，学者提出了TPE，通过结合先验知识和退化映像来平衡图像的可用性和隐私性。在TPE中，图像退化版本是指密文图像中保持了与原始图像一致或近似的缩略图。原始图像中大于缩略图的粗略视觉信息被保留在密文图像中，这些信息能够供具有先验知识的合法用户进行推理分析，从而有效准确地识别该图像。小于缩略图的精细视觉信息被剔除，这些信息被视为隐私敏感的精细化信息，因此密文图像中并不含有与隐私高度相关的敏感信息。

TPE方案主要关注存储在云中图像的可用性与隐私性之间的平衡，也就是在保护图像隐私的同时，通过暴露图像粗略的视觉内容从而带来可用性。与对抗扰动等其他隐私保护方案相比，TPE不仅能抵御来自机器学习的隐私威胁，还能抵御不可信的人类肉眼识别；与模糊化、像素化等图像滤镜方法相比，TPE方案具有可逆性。与经典加密算法相比，TPE的密文图像无需传统意义上的解密操作，便能够使拥有先验知识的合法用户通过预览知晓图像的内容。

缩略图的一般化生成方法如图 2所示，具体步骤如下：

1) 每幅尺寸为$x×y$的图像$\boldsymbol{M}$首先被分割为多个尺寸相同的正方形缩略块$\boldsymbol{M}_{b}$(假设缩略块尺寸为$b×b$)，其中$x$和$y$能够被$b$整除；

2) 计算每个$\boldsymbol{M}_{b}$中的元素值之和，即$s_{b}=\sum\limits_{i=1}^b \sum\limits_{j=1}^b M_b[i, j]$，其中，$M_{b}[i, j]$代表缩略块$\boldsymbol{M}_{b}$中第$i$行第$j$列的元素；

3) 求出缩略块中元素的平均值，即$m_s=\left\lfloor\frac{s_b}{b \times b}+\right.\left.\frac{1}{2}\right\rfloor $，其中，$\lfloor\cdot\rfloor$代表向下取整。一个数加1/2再向下取整相当于对其进行四舍五入；

4) 值$m_{s}$即为缩略图中对应于该缩略块的像素值。这意味着只要保持每个缩略块上的元素值之和，就能保持加密后的缩略图保持不变。

TPE方案考虑的总体安全威胁分为内部威胁和外部威胁两类。

内部威胁指图像上传后用户无法控制云平台对图像的访问与行为。同时，服务提供商和一些员工可能滥用浏览用户图像的权限获取利益。此外，许多云平台都采用多备份机制，用户即使选择从平台上删除一些图像，备份数据往往不会随之删除，并会驻留很长时间(Rahumed等，2011)。

外部威胁指来自外部的攻击者可能会在不安全的公共信道上监视和窃听客户端与服务器之间的通讯。同时，还可能利用用户枚举攻击、暴力破解密码、撞库和社会工程等非正常手段获得用户的账户和密码，从而使用口令进入平台来窃取图像。另外还可能利用一些平台本身的漏洞绕过密码验证机制，直接获取存储在服务器上的图像。

TPE方案的总体实现方案如图 3所示，具体步骤如下：

1) 每一幅数字图像都是由一个或多个通道构成的，每一个通道是一个2维矩阵，其中每一个元素值都是不大于$d$的非负数，用$Z_{d+1}$表示，一般情况下$d= 255$；

2) 假设图像通道用$c$表示，则$M_{b}[i, j, c]$表示在第$c$通道的缩略块$\boldsymbol{M}_{b}$的第$i$行第$j$列的元素，例如，$M_{b}[i, j, 1]$和$M_{b}[i, j, 2]$这两个元素在不同通道上，但位置完全相同；

3) 分别加密处理通道上的缩略块，使加密前后缩略块中的元素值之和尽量保持不变，即能够保证缩略图效果，也就是在密文图像中保持了原始缩略图。

TPE(Wright等，2015)在2015年首次提出，目前尚无这一领域的研究综述或研究进展，因此没有对TPE方案进行分类的参考文献。目前，TPE方案中一个定性的差别是密文图像中保持的缩略图质量，即密文图像中保持的缩略图是与原始缩略图完全一样还是有一定的差异。本文根据这一定性差异将现有方案分为理想TPE(Wright等，2015；Tajik等，2019；Zhao等，2021；Zhang等，2022b)和近似TPE(Marohn等，2017；Zhang等，2022a)两类。需要指出的是，现有的理想TPE方案通常着重指出密文图像能保持理想缩略图，并以此作为该方案的重大贡献或目标之一。同时，近似TPE方案中也以追求密文图像中保持的缩略图质量为重大目标，如Zhang等人(2022a)方案。

理想TPE是指密文图像具有与原始图像一致的缩略图，同时解密图像与原始图像完全一致；近似TPE是指密文图像的缩略图与原始图像的缩略图虽然视觉上难以区分，但仅是近似版本，且不能无损解密。本文所提理想TPE和近似TPE都是在图像无损压缩格式下进行区分，因为有损压缩格式下不可能实现理想TPE方案。现有方案的总体对比如表 1所示，以提出方案的时间顺序排列，列出了具有代表性的TPE方案，包含了几乎所有已提出的TPE方案。

TPE旨在提出一种用户友好的图像隐私保护方案。衡量TPE算法主要使用4个技术指标。

1) 图像质量。TPE主要通过在密文图像中保留一定的视觉内容，使得用户能够获得一定的可用性。TPE使用视觉评价指标结构相似性(structural similarity, SSIM)和峰值信噪比(peak signal to noise ratio, PSNR)衡量密文图像与原始图像缩略图的近似程度，以及解密图像与原始图像的逼近程度。

2) 文件大小扩张。图像数据的文件大小对日后的应用具有很大影响。图像数据越小，传输效率越高、存储代价越低、消耗时间也越少。大小扩张是通过加密后图像和加密前图像的文件大小对比计算的，数值1代表没有发生扩张。

3) 抵御人脸检测。TPE的一项重要目的是抵御好奇机器对图像的扫描以保护隐私。本文使用旷世科技的人脸商用检测平台Face++，以该平台检测出的人脸数量多少作为一个技术指标。

4) 用户评估。TPE中的可用性主要来自于合法用户通过对密文图像中保留的粗略视觉信息的浏览。这是一种主观的可用性，因此需要招募一定数量的志愿者模拟用户对图像进行浏览，然后统计成功识别率。

理想TPE现有4个方案(Wright等，2015；Tajik等，2019；Zhao等，2021；Zhang等，2022b)，其总体目标可以总结为以下几点：

1) 视觉可观。密文图像应保留足够的与原始图像相关的视觉内容，合法用户可以通过肉眼的直接观察获得视觉可用性。

2) 隐私保护。密文图像不应该暴露原始图像的精细视觉内容，以保护隐私。

3) 平衡可调。对于隐私性和可用性来说，两者都是主观的，每个人都可能有不同的观点、容忍度与平衡点。因此，用户应该能够根据自己的需求，对隐私性和可用性之间的平衡进行调整。

4) 通用性。隐私和可用都是主观的概念，且两者密切相连。无论是手动还是自动、普通用户还是算法，都很难对这两者进行区分。同时，隐私是一个微妙的概念，与上下文密切相连，这意味着原始图像的每个部分都可能暴露隐私。因此，方案应该对图像进行通用处理，而不是对隐私各部分的隐私敏感性进行分别处理。

5) 低密文扩张。加密后的图像在客户端和服务器之间进行传输，如果文件过大则会导致消耗过多的流量带宽、存储效率低、传输时间过长。因此，密文图像不宜过大。

6) 无损解密。理想TPE考虑的是要求精准度较高的场景，密文图像应该能够无损地恢复为原始图像。

在第一个TPE方案中，Wright等人(2015)提出了TPE方案实现的理论基石，即通过保留图像粗糙的感知特征，用户可以使用云服务生成的图像低分辨率版本在线管理图像集合。简单来说，该方案在对原始图像分块之后，利用安全的伪随机函数生成器(pseudo-random function，PRF)生成一个针对该块的伪随机置乱表。安全的PRF是指对于一个由PRF构成的伪随机函数$F$，如果没有任何有效的攻击者能够区分$F$的输出和真随机函数$f$的输出，则称该PRF是安全的(Goldreich等，1986)。其中，伪随机函数$F$和真随机函数$f$分别为

$ F: k \times \boldsymbol{x} \rightarrow y^{\prime} $

(1)

$ f: \boldsymbol{x} \stackrel{\mathit{＄}}{\longrightarrow} y $

(2)

式中，$k$是PRF的输入，在该方案中为密钥；$\boldsymbol{x}$表示消息空间；$y′$是$F$输出的伪随机数；$y$是$f$输出的真随机数；$\mathit{＄}$是随机选择符，表示消息空间中的每个消息都被选取的几率都是等可能的。安全PRF具有对初值敏感与输出空间足够大的特点。对初值敏感是指只要输入不相同，那么输出相同的概率可以忽略不记；同时，即使两个输入值相差很小，输出也是完全不相同的，也就是无任何相似之处。输出空间足够大是指PRF输出结果的多样性，使攻击者无法通过枚举攻击等暴力破解方法攻破方案；同时也使任何两个输出在空间范围内相差足够大。

然后，根据该置乱表在每一个缩略块中进行置乱加密，也就是将块中像素点的顺序打乱。因为块中所有像素点的值并没有发生任何改变，因此密文图像中保留的缩略图是理想的。同时，在解密时只需要根据相同的置乱表进行逆置乱即可恢复原始图像。因此，解密图像也是理想的。

然而，由于该方案仅使用了置乱加密，一些密码学分析方案(Jolfaei等，2016；Li等，2008；Li和Lo，2011；Zhang等，2018)指出这种方案是不安全的。唯置乱加密仅改变了图像中像素的位置而不改变像素值，揭示了原始图像的一些基本特征，如像素的频率分布，因此对于唯密文攻击、已知明文攻击以及选择明文攻击来说是不安全的。Jolfaei等人(2016)进一步证明了在所有唯置乱加密方案中，无论密码结构如何，正确的置乱映射都可以通过选择明文攻击完全恢复。同时，没有任何伪随机置乱能够提供更高的安全性来对抗选择明文攻击。Zhang等人(2018)进一步指出了恢复正确的置乱映射所需要的信息量，以及如何在破解时平衡存储和计算代价。

因此，虽然该理想TPE方案具有容易实现、计算代价小等优秀的特点，但已证明是不安全的。这也意味着理想TPE方案应该对像素值进行改变。

Tajik等人(2019)引入替换—置乱这一经典密码学框架，构造了第一个能从理论上证明安全性的理想TPE方案，实现流程如图 4所示。该方案提出了一些假设，用以保证安全性，这些假设在随后的方案中也会采用。

1) 每幅图像都有唯一的标识符用来充当随机数$T$，也就是说任何两幅图像的标识符都不相同。图像的元数据，例如拍摄时间，可以充当标识符。

2) 用户拥有一个安全的PRF用来派生密钥。该PRF能防御任何概率多项式时间(probabilistic polynomial-time, PPT)敌手的攻击。

3) 用户拥有一个足够复杂的密钥$\{0, 1\}^\lambda \stackrel{\mathit{＄}}{\longrightarrow}k$，其中，$λ$是一个足够大的安全参数。该密钥$k$已经经过足够的密码学分析，证明可以抵御来自PPT(probabilistic polynomial-time)敌手的攻击。

4) 安全的PRF和$k$组合在一起形成了一个函数$G_{k}(·)$用来派生随机数。研究者已经证明，一个安全的PRF派生出的随机数可以阻止选择明文攻击(Luby和Rackoff，1988)。同时，$\boldsymbol{M}=(Z_{d+1})^{n}$在输入不同的情况下，输出相同的概率可以忽略不计。

该方案利用格式保留加密(format-preserving encryption，FPE)(Bellare等，2009；刘哲理等，2012)，提出和保持加密(sum-preserving encryption, SPE)对每个缩略块进行加密。SPE的总体步骤如下：

1) 一个含有$n$个元素的数值向量$\boldsymbol{v}∈\boldsymbol{M}$作为方案的输入，其中$\boldsymbol{M}$表示消息空间，且$\boldsymbol{c}=\{c_{1}, …, c_{n}\}$；

2) 计算$\boldsymbol{v}={v_{1}, …, v_{n}}$的元素值之和$s=\sum\limits_{i=1}^n v_i$；

3) 所有和为$s$且属于$\boldsymbol{M}$的向量被枚举出来，形成了一个向量集合$\boldsymbol{\varPhi}_{\mathrm{sum}}^{-1}(s)$；

4) $\boldsymbol{\varPhi}_{\mathrm{sum}}^{-1}(s)$中的每一个向量都被赋予了一个在集合中唯一的序列号；

5) 设计了函数$rank(·)$和$\boldsymbol{rank}^{-1}_{s}(·)$，$rank(·)$是将向量转化为对应的序列号，$\boldsymbol{rank}^{-1}_{s}(·)$是将序列号转化为相应的向量；

6) 将$\boldsymbol{v}$输入$rank(·)$，得到序列号$r_{o}$；

7) 对$r_{o}$进行加密，得到密文序列号$r_{e}$，$r_{e}$是合法序列号，能够在$\boldsymbol{\varPhi}_{\mathrm{sum}}^{-1}(s)$找到对应的向量；

8) 将$r_{e}$输入到$\boldsymbol{rank}^{-1}_{s}(·)$中，输入即为密文向量$\boldsymbol{c}=\{c_{1}, …, c_{n}\}$，$\boldsymbol{c}∈\boldsymbol{M}$且$s=\sum\limits_{i=1}^n c_i$。

这样，加密前后向量的元素值之和并没有改变，即实现了SPE。然而，如果一次性将缩略块中的所有元素作为SPE的输入，设计$rank(·)$和$\boldsymbol{rank}^{-1}_{s}(·)$是十分具有挑战性的。因此，提出将每个缩略块中的元素两两分组，以像素组$(a, b)$为单位进行替换加密，两个函数的设计为

$ {rank}(a, b)= \begin{cases}a & s<d \\ d-a & \text { 其他 }\end{cases} $

(3)

$ \boldsymbol{r a n k}_s^{-1}(r)= \begin{cases}(r, s-r) & s<d \\ (d-r, s-d+r) & \text { 其他 }\end{cases} $

(4)

因此，像素组$(a, b)$的序列号$r_{o}$可以通过上述$rank(·)$函数提取出来，然后对其进行加密。具体为

$ r_e=r_o+t \bmod \left|\boldsymbol{\varPhi}_{\text {sum }}^{-1}(s)\right| $

(5)

式中，mod表示求余操作符，$|·|$表示求集合中元素的数量，$t$是$G_{k}(·)$派生出的随机数。对于每个像素组来说，派生$t$时所用的输入由3部分组成，即图像的随机数$T$、像素组所在的通道号以及像素组所在该通道号的位置信息。每幅图像的随机数是唯一的，像素组所在通道号是唯一的，同时位置信息也是唯一的，因此这三者的组合也是唯一的。所以，每次调用$G_{k}(·)$时的输入都是不一样的。此外，在像素组中包含两个像素的情况下，$\boldsymbol{\varPhi}_{\mathrm{sum}}^{-1}(s)$计算为(Zhang等，2022a)

$ \left|\boldsymbol{\varPhi}_{\text {sum }}^{-1}(s)\right|= \begin{cases}s+1 & s \leqslant d \\ 2 \times d-s+1 & \text { 其他 }\end{cases} $

(6)

因此，$r_{e}$一定是合法的序列号，即一定能在$\boldsymbol{\varPhi}_{\mathrm{sum}}^{-1}(s)$中找到相应的向量。函数$\boldsymbol{rank}^{-1}_{s}(·)$把$r_{e}$转换为$\boldsymbol{\varPhi}_{\mathrm{sum}}^{-1}(s)$中的向量$\boldsymbol{c}$。

缩略块中的所有像素组完成替换加密后，即对该块中的元素进行了置乱加密。图像中所有缩略块完成上述操作后，即完成了一次加密轮操作，如图 5所示。为了提升加密方案的安全性，可以对图像进行多轮加密，这也是经典的替换—置乱框架常用的方法。同时，因为方案的每一轮都是理想的，因此即使进行多轮加密也不会改变密文图像的缩略图，同时也是无损解密。

方案的解密过程与加密过程除序列号的解密步骤外，其他部分相反但一致，因此只简要介绍如何对序列号进行解密。

通过$\boldsymbol{rank}^{-1}_{s}(·)$提取出密文像素组的密文序列号$r_{e}$之后，使用与加密相同的输入调用$G_{k}(·)$生成一个随机数$t$，对$r_{e}$进行解密。具体为

$ r_o=r_e-t \bmod \left|\boldsymbol{\varPhi}_{\text {sum }}^{-1}(s)\right| $

(7)

得到原始序列号$r_{o}$后，通过函数$rank(·)$得到原始像素组$(a, b)$，即完成了像素组的解密。

Bellare等人(2009)提出了FPE的安全性目标，也就是伪随机置换(pseudo-random permutation, PRP)安全。具体来说，有两个预言机，随机置换预言机和加密预言机。

1) 对于随机置换预言机$P(·)$来说，$\boldsymbol{perm}(·)$表示在消息空间$\boldsymbol{M}$上所有随机置换集合，$P(·)$表示从$\boldsymbol{perm}(·)$中无偏随机选取一个置换，即

$ \boldsymbol{perm}(\boldsymbol{M}) \stackrel{\mathit{＄}}{\longrightarrow} P(\cdot) $

(8)

2) 对于加密预言机$E_{k}(·)$来说，它是由密钥$k∈\boldsymbol{K}$决定的在消息空间上的置换，其中$\boldsymbol{K}$表示密钥空间。有一个具有PPT能力的攻击者$A$，它可以在PPT时间内随意查询这两个预言机。但是，$A$只能在消息空间内查询，也不会重复查询相同的消息。符合上述条件的$A$称为PRP敌手。在进行足够多次查询后，$A$区分随机置换和加密的能力具体表示为

$ \begin{gathered} A d v^{\mathrm{PRP}}(A)={Pr}\left[A^{E_k(\cdot)}(\cdot)=1\right]- \\ {Pr}\left[A^{P(\cdot)}(\cdot)=1\right] \end{gathered} $

(9)

式中, $Pr$()表示概率。

(1) 关于PRP安全。对于一个具有PPT能力的攻击者$A$来说，如果在概率多项式时间内，并没有获得明显的区分能力，也就是$Adv^\text{PRP}(A)$的值无限接近于0，则称该FPE算法达到了PRP安全。

但是，达到PRP安全是很困难的(Tajik等，2019)，因此，在此基础上提出了NR(nonce-respecting)安全性。

(2) 关于NR攻击者。PPT攻击者$A$有两个参数$T$和$\boldsymbol{M}$，其中$T$是随机数，$\boldsymbol{M}$是图像。如果$A$每次调用预言机时第1个参数$T$都不相同，则称PPT攻击者$A$是NR攻击者。

(3) 关于NR安全性。在NR攻击者的条件下，如果方案满足

$ \begin{gathered} \mid {Pr}\left[A^{E_k(T, M)}(\lambda)=1\right]- \\ {Pr}\left[A^{P(T, M)}(\lambda)=1\right] \mid \leqslant {negl}(\lambda) \end{gathered} $

(10)

则称该方案达到了NR安全性。$negl()$表示可忽略不计。Tajik等人(2019)证明了NR安全性满足TPE方案的安全性需求，同时证明了所提出的方案达到了NR安全性。

这是第一个能够从理论上证明安全性的TPE方案，该方案提出的替换—置乱加密框架为理想TPE方案提供新的思路。然而，替换加密一次性只能加密两个像素，极大限制了该方案的连通性。连通性是指将每个缩略块建模成为马尔可夫链后，链中每个元素之间的联系。连通性越好，达到NR安全所需的加密轮数越少。如果能够一次性替换加密更多像素，则会提升方案的连通性。

Zhao等人(2021)在上述方案的基础上提出了三像素像素组的理想TPE方案，也就是TPE2。相比上述方案，TPE2将3个像素划分成1个像素组，并进行替换加密处理。

首先，提出计算具有相同像素值之和的像素组数量的计算式，具体为

$ \begin{gathered} \left|\boldsymbol{\varPhi}_{\text {sum }}^{-1}(s)\right|= \\ \begin{cases}{sum}\left(0, 1, l_1\right) & 0 \leqslant s \leqslant l_2 \\ \left|\varPhi_{\text {sum }}^{-1}(d)\right|+{sum}\left(l_2-2, l_3\right) & l_2 \leqslant s \leqslant l_4 \\ {sum}\left(0, 1, l_5\right) & \text { 其他 }\end{cases} \end{gathered} $

(11)

式中，$l_{1}=s+1$, $l_{2}=d+1$, $l_{3}=s-d$, $l_{4}=2×l_{2}-1$, $l_{5}=3×d-s+1$, $sum(x, y, z)$计算为

$ {sum}(x, y, z)=x \times z+\frac{(1+z) \times y \times z}{2} $

(12)

根据式(12)，在输入原始像素组之后，即能直接计算出具有相同和的三像素像素组的数量。对这些像素组依次赋予序列号后，根据赋予序列号的规则即可设计函数$rank(·)$和$\boldsymbol{rank}^{-1}_{s}(·)$。对像素组的加密解密即可按照上述流程进行。至此，基于三像素像素组的理想TPE方案即设计完成。

Zhang等人(2022b)首次将混沌系统与TPE的替换—置乱加密框架结合起来，构造出第一个引入混沌系统的TPE方案，在实现可多轮加密的理想TPE方案的同时，极大降低了替换—置乱加密的时间代价。

混沌系统由于其具有的许多特征(如不可预测性、便利性和初值敏感性)类似于图像加密的要求，因此广泛应用于加密处理中。现有的混沌系统基于相空间的维数可以分为1维系统和多维系统(Hua等，2021)。

对于1维混沌系统，由于结构简单，可以预测其混沌信号，很容易预测加密的处理过程，在用于图像加密时可能存在安全风险。对于多维混沌系统，至少有两个参数，导致复杂的结构和难以预测的行为，但是代价也很高。2维混沌系统除了具有较低的时间成本外，还具有复杂的不可预测行为，因此在图像加密中得到了广泛应用(Hua等，2021)。基于此，Zhang等人(2022b)提出了一种基于和保持与2维混沌系统混合的TPE方案，1维混沌系统虽然不能实现复杂的混沌行为，但结构简单，实现成本低。高维混沌系统行为复杂且难以预测，但存在结构复杂、成本高的问题。因此，Hua等人(2021)利用两个非线性1维混沌系统，提出了2维混沌映射，称为2D-LSM，具体为

$ \left\{\begin{aligned} x_{i+1}= & \cos \left(4 \times a \times x_i \times\left(1-x_i\right)+\right. \\ & \left.b \times \sin \left(\pi \times y_i\right)+1\right) \\ y_{i+1} & =\cos \left(4 \times a \times y_i \times\left(1-y_i\right)+\right. \\ & \left.b \times \sin \left(\pi \times x_i\right)+1\right) \end{aligned}\right. $

(13)

式中，$a$和$b$是两个参数，可以是任何值。Hua等人(2021)通过大量实验证明该系统比其他2维系统具有更好的混沌性能，具有强随机性。

该方案的具体实现如下：

1) 利用式(12)生成两个混沌序列，初始参数$a$，$b$，$x_{0}$和$y_{0}$由用户设置和输入。式(12)被迭代$w=q+x×y$次，其中，$q=q_{1}+q_{2}$，$x$和$y$表示输入图像的尺寸。混沌系统有瞬时效应(Falcioni等，2005)，即混沌系统开始时产生的序列表现出不规则、不稳定并且没有混沌特征，假设这些具有瞬时效应的长度是$q_{1}$。也就是说，一个混沌系统的前$q_{2}$位比特存在瞬时效应，不适合用于图像加密，需要丢弃。$q_{2}$表示由PRF和用户具有的密钥组合生成的随机数。

2) 生成序列的前$q$位丢弃后，获得两个长度为$x×y$的混沌序列，即$\boldsymbol{s}_x=\left\{x_{q+1}, \cdots, x_{q+x \times y}\right\}$和$\boldsymbol{s}_y=\left\{y_{q+1}, \cdots, y_{q+x \times y}\right\}$。然后，将这两个1维序列调整为$x×y$的2维矩阵，分别称为$\boldsymbol{S}$和$\boldsymbol{P}$。

3) 对图像进行加密时，PRF调用来生成随机数$q_2=G_k(T\|c\| e)$，其中$T$是图像的随机数，$c$是图像的通道号，$e$表示加密的轮数。简而言之，$T$和$c$对于每一幅图像以及图像对应的通道都是唯一的，同时$e$在每一轮加密中也是不同的。因此，每次的输入$G_{k}(·)$都是唯一的，也就是每次通过调用$G_{k}(·)$生成的$q_{2}$都是独一无二的。因此生成的混沌矩阵$\boldsymbol{S}$和$\boldsymbol{P}$也是独一无二的。

4) 对于替换加密，对矩阵$\boldsymbol{S}$中的所有元素进行处理。具体为

$ S_1[e i, e j]= \begin{cases}S[e i, e j] & S[e i, e j] \geqslant 0 \\ -S[e i, e j] & \text { 其他 }\end{cases} $

(14)

式中，$S[ei, ej]$表示在矩阵$\boldsymbol{S}$中的第$(ei, ej)$元素。在$\boldsymbol{S}$中的所有元素通过式(13)计算后获得矩阵$\boldsymbol{S}_{1}$。

5) $\boldsymbol{S}_{1}$中的元素根据缩略快的大小划分成同样大小的块，然后分组，并计算这个分组的元素之和$s_{r}$，随后乘以一个相当大的数字$τ$，四舍五入后得到一个数字，具体为$t=\left\lfloor s_r \times \tau+\frac{1}{2}\right\rfloor$。

6) 利用式(3)从像素组中提取出序列号$r_{o}$后，利用式(5)对其进行加密，得到密文序列号。最后，将密文序列号输入式(4)即获得密文像素组。对图像中所有的像素组进行上述操作后，即完成了图像的替换加密。

7) 对于置换加密，具体操作如下：

(1) 将混沌矩阵$\boldsymbol{P}$分割为大小为$b×b$的块；

(2) 根据每个块中的数值大小进行编号，所有块中的数值编号完成后，形成矩阵$\boldsymbol{P}_{1}$；

(3) 根据$\boldsymbol{P}_{1}$，对图像中的每个缩略块中的元素分别进行排列。

完成上述操作后，即完成了Zhang等人(2022b)提出的基于混沌系统的理想TPE方案。

理想TPE能够在密文图像中保持理想缩略图，并且能够无损解密的特性有着无可比拟的优点。例如，可以进行多次加密解密依旧无损且不必担心破坏图像的质量。同时，理想TPE方案的结构清晰、流程清楚，能够模块化地实现，使以后可以通过不断提升这些实现模块来改进这些方案。

然而，现有的理想TPE方案也存在一些问题。Wright等人(2015)提出的方案由于仅使用了置乱加密，在密文图像暴露了一些图像的原始特征，如像素值的统计频率等，因此有一些密码学分析方案指出了它不安全的本质。Tajik等人(2019)提出了TPE加密的置换—扩散框架，从理论上利用马尔可夫链系统证明了该框架下方案的安全性，极大促进了TPE的发展，但该方案一次性仅能加密两个像素，限制了方案所建模的马尔可夫链的连通性，导致代价很高。Zhao等人(2021)利用置乱—扩散框架提出了三像素理想TPE方案，提升了马尔可夫链系统的连通性。但是由于使用了暴力枚举法构造的函数$rank(·)$和$\boldsymbol{rank}^{-1}_{s}(·)$，因此方案代价依然很高。Zhang等人(2022b)提出了结合混沌系统的理想TPE方案，使用混沌系统代替了Tajik等人(2019)提出框架中大量使用的PRF函数。因为混沌系统是一种很高效的函数，因此极大提升了方案的效率。然而混沌系统本身并不能从理论上证明安全性，只能通过大量实验来从侧面显示方案的安全系数。

总的来说，理想TPE是一项十分有前途的工作目标，Tajik等人(2019)提出的置换—扩散框架以及相应的安全性证明可能是未来后续工作的研究基础。未来切合实际的提升是在该基础上提出一次性能够加密更多像素的替换加密函数。替换加密函数的设计可以分为4个步骤。1)计算具有相同和的像素组数量$\left|\boldsymbol{\varPhi}_{\text {sum }}^{-1}(s)\right|$；2)枚举出这些像素组，并对其分配序列号；3)将像素组映射为序列号的函数$rank(·)$；4)将序列号映射回像素组的函数$\boldsymbol{rank}^{-1}_{s}(·)$。替换加密函数设计完成后，就能够对缩略块中的像素进行替换加密，然后以缩略块为单位进行置乱加密。

目前，有3个近似TPE方案，分别是TPE-LSB(Marohn等，2017)、DRPE(Marohn等，2017)和HF-TPE(Zhang等，2022a)。它们的总体目标与理想TPE相近，但是放弃了无损解密这一个目标来换取其他优势。

该方案提出对图像的像素进行流密码加密。

首先，将密钥和PRF结合派生出一个与图像尺寸一样的随机2维数值矩阵，其中每一个元素都与图像像素的位数一样。然后应用标准的一次一密的加密方式对像素进行加密。具体为

$ c_i=m_i \bigoplus k_i $

(15)

式中，$m_{i}$是原始像素的第$i$个比特，$k_{i}$是与$m_{i}$相对应的随机数值的第$i$个比特，$c_{i}$是密文像素的第$i$个比特。

所有原始像素进行上述加密后，得到了一个与原始缩略图无任何关系、隐藏了所有原始图像信息的密文图像。

其次，颠倒每个密文像素值的比特顺序，也就是比特的最高位与最低位交换位置，次高位与次低位交换位置，以此类推。

然后，对原始图像和颠倒密文比特后的图像进行分块，分别计算块中的像素值之和$s_{1}$和$s_{2}$。随后计算两者之间的差值$d_{i}=s_{1}-s_{2}$，如果$d_{i} < 0$，则将颠倒密文的低比特的1翻转为0，直至两者之差最接近于0；如果$d_{i}>0$，则将颠倒密文的低比特的0翻转为1，直至两者之差最接近于0。

因此，密文缩略块的像素值之和逼近于原始缩略块像素值之和，进而密文图像保留了近似的原始缩略图。

最后，应用标准的一次一密的加密方式对像素进行加密。具体为

$ c_i=\min (x)+\left(m_i-\min (x)\right) \oplus k_i $

(16)

式中，$m_{i}$是原始像素的第$i$个比特，$k_{i}$是与$m_{i}$相对应的随机数值的第$i$个比特，$c_{i}$是密文像素的第$i$个比特。

因此，像素值在加密时会保持在一定的范围内，进而在密文图像中保持了类似于缩略图的效果。

TPE-LSB只有加密操作，而不必对像素值进行调整。然而，随着缩略块尺寸的不断增长，缩略块中的像素值会越来越多，动态范围可能会随之增大，导致该方案的效果很差。同时，该方案存在正确性的问题，也就是解密过程可能会失败。具体来说，当加密和解密算法计算出来的动态范围不相同时，会导致$b$不同。例如，可能在加密时仅有5个比特的公共前缀。在生成密文图像后，可能也有相同的5个比特的公共前缀，但是也有可能有6个。这导致了解密的失败。

TPE-LSB的效率较高，理论上可以根据实际需求无限逼近原始缩略图。同时，可用性与隐私性之间的平衡不仅能够通过缩略块的尺寸调整，也可以根据逼近程度来调整。然而，为了逼近原始缩略图所翻转的比特是不可逆的，会对图像造成不可逆的损害。理论上，逼近原始缩略图的程度越高，解密时图像的质量就越差。

该工作的主要步骤如下：

1) 对原始图像进行分块。以一个缩略块为例，找出该缩略块中像素的最大值$\max(s)$和最小值$\min(s)$。那么该块中的所有像素值都在一个动态范围内$\boldsymbol{DR}=[\min(s), \max(s)]$；

2) 求出动态范围所需要的比特数

$ b=\log _2(\max (x)-\min (x)) $

3) 利用PRF和密钥生成一个与缩略块尺寸一致的数值矩阵，其中每个元素值都有$b$个比特；

4) 对每个像素值进行动态调整。

Zhang等人(2022a)基于Tajik等人(2019)提出的加密框架提出了高保真的近似TPE方案，即HF-TPE(high-fidelity TPE)。

首先，提出了和保持的数据嵌入方案(sum-preserving data embedding，SPDE)，具体如下：

1) 向量(具有两个元素)输入之后，计算元素之和$s$，然后利用式(6)计算具有相同和的向量数量$\left|\boldsymbol{\varPhi}_{\text {sum }}^{-1}(s)\right|$。

2) 对其中的向量分配序列号后，在向量与序列号之间构成了双射关系。

3) $\boldsymbol{rank}^{-1}_{s}(·)$可以将任意属于$\{0, …, \left|\boldsymbol{\varPhi}_{\text {sum }}^{-1}(s)\right|-1\}$范围内的整数转化为一个具有相同和的向量，这可以视为数据嵌入，如图 6所示。

4) $rank(·)$可以从向量中提取相应的整数，这可以视为信息提取，如图 7所示。

SPDE可以用来构造TPE方案，也就是以两个元素为一组，提取出相应的序列号后，对其进行一次一密的加密方式后，再将密文序列号使用SPDE的数据嵌入函数进行嵌入。然而，并不能直接对原始像素组进行并保持嵌入，因为可能在对序列号加密后，出现嵌入溢出1比特的情况。为了保存可能溢出的比特，需要将图像分为两部分，即图像的高7位与图像的最低有效位。对于图像的高7位，两两分组，使用SPDE方案进行加密嵌入。如果出现溢出情况，则将溢出位保留在最低有效位中，这也是密文图像不能保持理想的缩略图，同时不能无损解密的原因。

在解密时，首先判断这个密文组是否发生溢出，如果发生溢出，就从最低有效位中依次提取1个比特，组合解密得到原始的序列号，即可得到原始的像素组。如果没有发生溢出，直接对该组解密即可。

该方案虽然操作比其他近似TPE方案要复杂许多，但是密文图像的缩略图与原始图像的缩略图几乎没有差别。同时，因为只有最低有效位发生了改变，因此解密图像在肉眼上几乎无法感知到与原始图像的差异。

近似TPE因为放弃了保持理想缩略图与无损解密的特点，因此实现方式较为丰富多样。同时，在效率方面得到了一定的提升。

然而，现有的近似TPE方案也存在着一些问题。TPE-LSB方案的密文图像理论上能够无限逼近与原始图像的缩略图，但这是以放弃解密图像的质量为代价的。同时，在实际上密文图像调整到一定程度之后，视觉质量不会再有很大提升，甚至还有一定程度的下降，而解密图像的质量却是迅速降低。DPRE能够无损地对图像进行解密，但是却有可能解密失败，并且这种失败概率并不是可以忽略不计的，这对一个加密算法来说是不可接受的。同时，这两个方案虽然安全性比唯置乱加密要高，事实上这两个方案提出的初衷就是为了增强TPE方案的安全性。但是，这两个方案依然没有正式的安全性证明。因此，利用Tajik等人(2019)提出的TPE方案的替换—置乱框架构造了高保真的近似TPE方案，也就是HF-TPE。一方面，该方案能够从理论上证明方案的安全性；另一方面，该方案的密文图像和解密图像的视觉质量都无限接近于理想。理论上，该方案的解密图像中最多有50%的最低有效位被破坏；实际上，实验表明只有大约15%的最低有效位发生改变。然而，由此带来的主要问题是效率的下降。相比理想TPE方案来说，HF-TPE的加密时间和解密时间并没有优势。

近似TPE是一类很有想象力的方案，因为它放弃了保持视觉理想的特点，因而可能带来一些其他的应用，例如兼容图像的事实格式标准JPEG、利用信息隐藏手段在图像中嵌入额外的信息等。事实上，图像质量在数值意义上的些许损失对于人的视觉系统来说，并没有太大的影响，甚至是感受不到的。因此，在一些精度要求一般的场景中，以图像质量为代价换取一些额外的好处是值得考虑的。

本节对目前提出的TPE方案进行一个总的性能分析。与现有已发表的TPE工作相比，本节的实验和分析更为全面，且每个实验的对照方案更丰富。同时，对实验结果进行了详细客观的分析。

如上所述，理想TPE方案在多个方面的表现基本相同，在实验中统一用ideal代替。DPRE方案由于可能会以不可忽略的概率发生解密失败的情况，因此该方案不进行比较。TPE-LSB由于可以通过控制每个像素翻转的最多比特位数来控制密文图像质量与解密图像质量之间的平衡，因此以TPE-LSB ($i$ bit)表示每个像素最多有$i$个比特翻转，且$i$最多等于3，否则图像的解密质量会发生明显改变。因此，参与实验的共有3个方案，即ideal、TPE-LSB($i$ bit)和HF-TPE。

实验选用两个数据集。第1个数据集为Helen数据集的前1 000幅图像(Le等，2012)；第2个数据集是20幅人物肖像，其中4幅是作者的图像(用于用户评估实验)。这些图像都调整为尺寸为512 × 512像素的PNG图像。第1个数据集用于视觉质量、文件大小扩张和抵御人脸检测算法的评估；第2个数据集用于用户评估。

实验配置为i7-8700 CPU，16 GB内存，抵御人脸识别算法的实验利用Python平台，其他实验为MATLAB 2016b。

首先，通过实例图来观察各方案的视觉质量。如图 8所示，ideal包括Wright等人(2015)、Tajik等人(2019)、Zhao等人(2021)和Zhang等人(2022b)的方案，从上到下缩略块大小依次为8 × 8像素、16 × 16像素、32 × 32像素和64 × 64像素。可以看出，ideal和HF-TPE的密文图像质量基本上相似，同时远胜于TPE-LSB ($i$ bit)，这符合HF-TPE与理想TPE方案几乎一致这一目标。并且，随着缩略块大小的增长，ideal和HF-TPE与其他方案的视觉质量相差越来越明显。

实验使用结构相似性(structural similarity，SSIM)和峰值信噪比(peak signal to noise ratio，PSNR)作为视觉质量的评估指标。与PSNR相比，SSIM更倾向于从整体上衡量两幅图像的相似性。具体来说，人类视觉感知系统能够从一个场景中识别到一些关键特征信息，进而识别两幅图像的差异特征。SSIM考虑到了这个特点，并从图像中至少提取出3个特征(亮度、对比度和结构)进行对比度量两幅图像的结构相似性。这符合TPE密文图像视觉质量的特点，即密文图像的视觉质量应该尽可能地从整体上与原始图像缩略图一致，且符合人类视觉感知的特点，因为密文图像最终是要让人进行浏览的。同时，与SSIM相比，PSNR这一图像评价客观标准应用更为广泛，它是基于两幅图像对应的像素值之间的差异，也就是基于误差敏感的图像质量评价。虽然该指标可能与人的主观感受不一致，但它对于图像中的噪声更为敏感，符合于对解密图像视觉质量的评价。因此，SSIM用来评估TPE密文图像的视觉质量，PSNR用来评估解密图像的视觉质量。SSIM和PSNR都是数值越大，视觉质量越高。SSIM的取值范围是0~1，PSNR的取值范围是0到无穷大。

为了参数统一，在使用SSIM评估密文图像的视觉质量时，将密文图像和原始图像都转化为相同尺寸的缩略图，然后进行对比评估结构相似性，图 9(a)显示了尺寸为150 × 150像素时各不同块大小的结构相似性。从客观指标上来说，ideal和HF-TPE达成了相似的质量指标，同时远超TPE-LSB ($i$ bit)方案。同时，可以看出ideal方案的SSIM值为1，这意味着视觉质量达到了最好。在评估解密图像时，将原始图像和解密图像进行直接对比，得到的PSNR结果如图 9(b)所示。由于ideal方案中解密图像与原始图像完全一致，也就是PSNR值是无穷大的，因此在图中并没有出现ideal方案。从实验结果可以看出，HF-TPE方案的解密质量远好于其他方案，同时对于TPE-LSB ($i$ bit)方案来说，$i$越小，对图像的损伤也越小，解密图像的质量就越高。

从关于SSIM和PSNR这两个图像质量评价客观指标的实验可以看出，已提出的TPE方案达成了宣称的视觉质量等级。具体来说，理想TPE方案在密文图像质量和解密图像质量上都是“完美”的；HF-TPE达成了宣称的几乎与理想TPE一样的视觉质量；而Marohn等人(2017)实现了较为基础的近似TPE方案。

从理论上来说，密文图像和原始图像都是由大小相同的多个数值2维矩阵组成的，加密前后的图像大小应该不会发生变化。然而，图像本身是一种冗余很大的数据，像素间具有很强的相关性。为了减少图像文件大小，图像的格式中自带了压缩算法，会根据这种冗余的相关性对图像数据进行压缩。原始图像中的像素具有较大的相关性，因此压缩率较高；而密文图像会破坏这种相关性，因此压缩率较低。这两者的差异就会导致图像加密后产生一定的扩张。对于经典的将图像加密成雪花状椒盐噪声的方案，密文图像的大小经常扩张了数百倍(Paillier，1999)甚至上千倍(Brakerski等，2014)。

密文大小的扩张结果如图 10(a)所示。可以看出，加密后图像文件最多是原始图像文件的2.2倍，与经典的图像加密方案相比，这种扩张率可以忽略不计。同时，密文图像是存储在云空间中，密文图像的降低可以使用户花费更少的金钱来购买必要的存储空间。解密图像的大小扩张结果如图 10(b)所示，显示了TPE方案的解密图像扩张率都很低，且理想方案没有发生扩张，这能够间接证明对于理想方案来说，解密图像与原始图像完全一致。对于用户来说，解密图像的大小相比密文图像的大小更重要，这是因为用户将图像上传到云平台的一个重要原因就是本地存储空间不足，而解密图像是存储在本地端的，因此解密图像的低扩张率有助于缓解本地存储空间不足的问题。

对于上传到云平台的图像来说，可能面临平台利用人工智能模型对图像进行扫描以获得用户信息的威胁。对于平台来说，其拥有大量的图像数据，这些数据就是信息时代的石油，代表着大量的金钱，可以用来对用户进行画像，以精准对用户投放广告等。同时，由于拥有大量数据，且大部分用户都是普通人，因此平台往往只对图像进行粗略扫描。对于无法扫描出结果的图像，会选择忽略，因为如果对于每幅无法扫描的图像都进行需要大量努力的尝试，对于平台来说是得不偿失的。

实验对抵御人脸检测算法的能力进行测试，结果如图 11所示。

从图 11可以看出，ideal和HF-TPE与TPE-LSB ($i$ bit)相比，明显抵御效果要弱，这是因为前两者的密文图像中保留的视觉效果要好于TPE-LSB ($i$ bit)。然而，对于尺寸为512 × 512像素的图像来说，任何TPE方案在缩略块的尺寸小于32 × 32像素时，检测成功的概率是不可忽略的。因此，本节得出的能够抵御人脸检测算法的经验值是块尺寸为32 × 32像素。

实验评估了密文图像的可用性效果，也就是密文图像上传到云端后，图像能否被成功识别。对于每个方案的实验，都有100个见过作者的受试者被邀请参与线上调查。实验在第2个数据集上进行，将第2个数据集等分为4份，每份5幅图像，且其中1幅为作者的图像。分别使用不同的缩略块尺寸的参数进行加密后，让受试者指出哪一幅为作者。实验结果如图 12所示，其中Baseline表示随即猜测成功的概率。可以看出，ideal和HF-TPE方案的可识别率是相似的。随着缩略块尺寸的上升，可识别率在下降，但依然比随机猜测好很多。实验结果表明，TPE加密的密文图像保持了较高的可用性。此外，对参与实验的受试者进行调研。首先，询问正确率较高的受试者是否采用了排除法，即无法直接确定作者的图像，但是可以排除明显不是作者的图像。对此回答都是否定的，表示识别并不困难，可以根据密文图像本身保留的信息直接推断哪一个是作者，尤其指出作者的姿势、轮廓以及服饰是明显的。其次，调阅了正确率较低的受试者的试卷，发现受试者都是近期认识作者的，发生错误的照片往往是作者几年前的图像。该实验也验证了TPE的假设，具有先验知识的合法用户能够轻易地对图像进行识别，而没有先验知识的非法第三方没有这种能力。

TPE作为一种新型图像加密方案，拥有巨大优势，这些优势可在一些场景中应用。可能的应用方向包括图像大数据轻量级安全存储、绿色物联网和图像版权在线交易。

根据估计, 2020年大约拍摄了1.4万亿幅图像(Zhang等，2022a)，这些图像因为种种原因(例如本地端存储空间不足)可能会上传到一个集中化的数据中心。这些图像包含大量敏感信息，因此可能带来隐私安全问题。使用传统的重度加密机制(例如DES(data encryption standard)和AES(advanced encryption standard))能够确保隐私安全问题，但是使图像完全丧失了视觉可用性，使所有图像都无法从视觉效果上进行区分。

TPE这种轻量级的加密方式在图像存储这一场景下能够缓和隐私安全与可用性之间的矛盾。一方面，图像的精细视觉信息被抹去，即隐私安全得到保证；另一方面，图像粗略的视觉信息被保留在密文图像中，可以据此对图像进行粗略的区分。同时，密文图像保留信息的精确程度完全受图像所有者的控制，即所有者可以通过调整缩略块的大小来控制隐私安全和可用性两者之间的平衡。因此，TPE可能应用于图像大数据轻量级安全存储的场景中。

Gu等人(2022)提出一种在绿色物联网场景下的图像加密方案，认为该方案计算代价小，可用于绿色物联网场景。然而，物联网是一个系统，片面考虑加密情况下计算代价的降低对于整体“绿色”的意义不大。这是由经典图像加密方法的特性决定的。一方面，这种图像很难被压缩，会使扩张率维持在一个比较高的水平，进而使通讯、传输时消耗更大的带宽和能源。另一方面，人们无法知晓图像中的任何内容，除非全部解密，这无疑消耗了大量计算代价进行无用的解密。

TPE这种加密方案能够很好地缓解这两个问题。首先，密文图像的像素间保留了一定的相关性，压缩算法可以据此对图像进行一定程度的压缩，使图像维持在一个较低的密文扩张率。其次，密文图像能够从视觉上进行粗略的区分，抑制了无效的加密代价。因此，TPE可能在一定程度上有助于绿色物联网的概念。

中国对版权问题越来越重视，于2020年第3次修订了《中华人民共和国著作权法》，并于2021年6月正式实施。图像版权是著作权的一种重要和普遍的表达形式。国内的在线图像版权交易平台越来越多。然而，与市场前景不匹配的是在线图像版权交易平台对于图像的保护比较薄弱，事前主要依靠水印进行保护，事后主要依靠法律进行维权，增大了维权成本。

TPE加密后的图像相当于原始图像的低分辨率版本，这种分辨率是由图像所有者控制的，他们可以根据需求使图像变得清晰或者模糊。图像在交易平台上可以挂出TPE版本，供买家进行粗略的感知以确定是否购买。当买家付款后，即为买家解密提供原始图像。因此，TPE可能应用于图像版权在线交易场景。

虽然TPE方案有着广泛的应用前景和期望，但是对一些问题进行进一步的探索和研究有可能促进TPE方案的发展。

当前，现有的TPE方案都没有精细化的隐私信息泄露定量分析，都只是进行一个粗略的定性泄露分析，即密文图像泄露的信息量不多于图像缩略图所泄露的信息量，也就是小于缩略块大小的精细信息被抹去，大于缩略块的粗略信息被保留。

到目前为止，尚未有研究直接涉足于图像中信息泄露分析的研究，仅有一些密文图像质量评价方案可能间接地从侧面反映一些信息泄露量，如Wen等人(2021)的方法。这些方法通常分别提取密文图像和原始图像的局部特征(例如边缘相似性)和全局特征(例如梯度幅值相似性)。通过局部特征和全局特征之间的自适应加权，计算出最终的密文图像的质量得分。

然而，这种方法只能片面间接地评估密文图像中包含的一些简单特征的质量，对于TPE图像的整体信息泄露量的分析评估没有太大帮助。一方面，图像的视觉内容中包含了丰富的信息，这些信息之间的关系盘根错节，彼此直接相互作用构成了一个整体，这导致从图像中剥离信息十分困难，难以量化为特征进行具体分析。另一方面，TPE信息泄露量的评估应该从隐私性和可用性入手。信息泄露量越多，则隐私性越差、可用性越高；否则，隐私性越好、可用性越差。但是，隐私性和可用性都是一种十分主观且动态的概念，两者都具有因事而异、因人而论的特性，且会随着时间发生变化，因此进行量化评估、分析是十分困难的。

毫无疑问，对TPE图像中泄露的信息进行一种定量分析对TPE方案来说是十分有价值的，这有助于更准确地对TPE方案质量的好坏进行评估，能够指导新的TPE方案的提出方向。然而，如上所述，如何量化TPE图像中泄露的信息并不容易，目前也无相关领域的研究。

从宏观上讲，隐私保护体系应该由隐私保护方法与隐私度量理论两个部分组成。隐私度量理论是保护方法的指导与支撑，它解释了保护方在评价过程中的依据，也就是为什么得到这个保护结果，这个保护结果意味着什么，以便有效地对数据进行合理与可信的评价，减少隐私保护方法中存在的偏见、不公平与歧视，同时增加保护方法的泛化性与可解释性。

当前，虽然隐私保护技术有一些常用的理论度量指标(如K—匿名、差分隐私等)，但是这些度量往往针对的是结构化的数据。图像是一种非结构化的数据，具有感知认知上的多义性，针对结构化数据的理论度量难以很好地切合于图像数据。

对于TPE来说，隐私度量理论由3部分组成。1)TPE图像中含有信息的量化。这是TPE隐私度量模型的基础。图像数据具有非结构化的复杂特性，如果不能对其中的信息进行一个精准的量化，那么后续就难以对隐私性进行度量；2)TPE中含有信息的提取与检索。这是关于TPE隐私度量模型的关键。图像中的隐私性具有动态化、主观化的特性，如果量化后信息的提取与检索不能适应这些特性，那么便难以贴合于图像中的实际隐私；3)TPE图像中提取信息的建模。这是TPE隐私度量理论的目的。图像中信息之间的关系是复杂的，它们相互依赖又相互掣肘，如果不能精准刻画信息之间的关系，便难以建立相应的理论模型。

在进行上述步骤之后，便能够根据隐私度量模型对TPE中含有的隐私性进行精准化度量与评价，实现没有缩略图的隐私安全评价。然而，就如上述所言，隐私度量理论的每一部分实现都有较大的困难，需要更加深入的研究。

当前，人工智能(artificial intelligence, AI)理论是研究热点之一，大量经典领域都试图与AI结合以帮助传统领域的发展。具有代表性的TPE方案都采用了较为经典的密码学技术，如替换加密、置换加密、伪随机函数和混沌系统等。如果TPE能够与AI进行某种结合，可能会有助于TPE概念的进一步发展。TPE与AI的结合方向可分为“内伸”和“助力”两大类。内伸是指放弃经典密码学框架，直接利用AI对图像进行TPE加密；助力是指利用AI方法对图像进行一定的预处理，以帮助基于经典密码学的TPE方案更好地对图像进行加密。

对于AI内伸来说，一个可能的方法是可逆风格迁移，其中利用循环一致损失的CycleGan(Almahairi等，2018)是具有代表性的可逆风格迁移框架。Chai等人(2022)为了解决现有TPE框架效率低下的问题，提出利用CycleGan模拟随机一元编码(TPE-GAN)。然而，该方案存在一些问题。首先，该方案认为解决了加密效率的问题。但是，该方案需要进行大量训练，以得到能够进行加密解密的生成对抗网络(generative adversarial network, GAN)网络。因此TPE-GAN的整体加密效率并未得到提升，甚至可能有一定程度的下降。其次，相比使用密码学框架的TPE方案，TPE-GAN生成的图像质量(无论是密文图像和解密图像)具有明显的失真。因此，与现有TPE方案相比，仍然具有一定的差距，需要进行更深入的研究。

对于AI助力TPE的发展这一方向，目前尚无研究工作，但一个可能的方向是智能地对块尺寸进行划分。TPE方案平衡可用性和隐私性的手段是划分块大小，现有方案中一幅图像只有一种大小，而一幅图像中的隐私敏感性是不同的，例如人脸区域可能对于隐私的关系更密切，而背景区域可能与隐私的关系相对较弱。因此，可以在与隐私相对密切的区域划分尺寸较大的块，以保护该区域的敏感信息；而在与隐私关系相对不密切的区域划分尺寸较小的块，以增强可用性。然而，隐私具有因人而异、因事而论的动态性和复杂性，因此很难对隐私的敏感性进行一个量化分析，这直接导致了动态划分块尺寸的困难性。因此，AI助力TPE的发展可能需要在信息泄露分析具有较大进步的基础上进行研究。

图像的格式很多，目前使用最多的是JPEG。因此，TPE方案与JPEG格式兼容具有重要意义。当前，与JPEG格式兼容的TPE方案不多(Wright等，2015；Marohn等，2017)，从表 1可以看出，这些方案都是不安全且是近似TPE方案，这是由JPEG的性质决定的。JPEG以一定的图像质量损失为代价换取较大的压缩率，也就是它本身是一种有损压缩格式。这带来了两个问题。一是图像是有损的；二是不能使用复杂的加密算法，往往只会使用置换加密和相应的变种。这两个问题解释了与JPEG格式兼容的TPE方案带来的问题，也意味着与JPEG格式兼容的TPE方案会存在这两个问题。毫无疑问，兼容JPEG格式可能会极大地拓宽TPE方案的应用场景和范围，然而由于上述两个问题的存在，研究人员可能需要进行极大的努力，提出新的TPE框架来兼容JPEG格式。

此外，除了上述存在的普遍性问题和可能的研究方向外，理想TPE和近似TPE也分别存在各自具有独特性的问题与可研究的方向。

理想TPE方案是一个有前景的研究方向，近期提出的TPE方案大多是从“理想”这一特点入手。主要有3个原因。1)能够在密文图像和解密图像的视觉质量上达到完美；2)替换—置换这一加密框架已经达成了可证明安全的效果；3)无论加密解密多少次，图像的质量都不会发生损失。同样，理想TPE方案中存在的主要问题是加密效率。首先，需要进行多轮替换—置换加密才能达到可证明的安全性；其次，引入了计算代价很高的伪随机函数。

为了解决上述问题，一方面，可以构造效率更高的替换加密函数来降低替换—置换加密的轮数。如Zhao等人(2021)构造了一次性能够加密3个像素的替换加密函数，目前依然有很大提升空间去替换加密函数。然而，这可能需要大量的数学知识与证明去推理出像素组中像素数量与格式保留加密之间的联系，这种研究可能是困难的，这也是迄今为止替换加密函数依然只停留在一次性加密3个像素的重要原因。另一方面，可以引入混沌系统来代替原有框架中的伪随机函数。如Zhang等人(2022b)引入了2维混沌系统，极大提升了加解密效率。然而，目前混沌系统无法从理论上证明安全性，也就是破坏了现有替换—置换加密框架的安全性证明，以这种代价追求效率的行为从密码学的角度来看是得不偿失的。

与理想TPE方案相比，近似TPE方案可能更具有实用价值。原因如下：1)现有兼容JPEG格式的方案都是近似TPE方案(Wright等，2015；Marohn等，2017)；2)理想TPE方案要求精准严格，很难进行额外操作来提升可用性，而近似TPE方案不存在如此严格的要求；3)近似TPE方案的效率高。

但是，近似TPE方案也存在一些固有问题：1)不适用于一些要求严苛的场合；2)每一次加密解密都会对图像质量造成一定损失，即使这种损失很小，但是多次积累后，会对图像质量造成明显损失。

未来近似TPE方案的研究方向可能有两类：1)提升图像质量；2)额外的可用性。对于提升图像质量来说，Zhang等人(2022a)提出了一个高保真的TPE方案，能够保证密文图像和解密图像的质量与理想TPE方案几乎一致。但是，该方案极大地增加了时间代价；同时，该方案并不支持多轮加密。未来近似TPE在图像质量方面的研究也需要在时间代价和图像质量之间做出权衡。对于额外的可用性来说，目前并没有相关工作发表，但寻找除视觉可用性以外的可用性是一项十分有价值的工作。一个可行的方向是，TPE与可逆信息隐藏技术结合，除了保持一定的视觉效果外，使密文图像能够通过额外的信息来提升可用性。该方向可行的原因是TPE图像中像素仍然保留了一定的相关性，而可逆信息隐藏的基本思想就是利用像素相关性隐藏额外信息。这需要仔细研究信息隐藏技术与TPE之间的相关性。

平衡图像隐私性和可用性的图像隐私保护方案是信息安全领域的热点之一。经典的图像加密方案仅能保证图像的隐私性，完全忽视了图像的可用性，因此带来了种种问题，例如必须对图像解密后才能了解到其中的内容，使图像在云端使用非常麻烦。基于此，提出了TPE概念，通过在密文图像中保持原始图像的缩略图来平衡隐私性和可用性。同时，TPE提供了一种简单的方式使用户能够根据自己的意愿调整两者之间的平衡，因此具有很强的应用价值和研究意义。

然而，TPE是一个较新的概念，国内外没有关于TPE综合性的叙述工作。本文是目前为止第一个关于TPE的综述性工作。从TPE的研究背景、基本概念、具体方案和实验分析等角度对现有的TPE方案进行了总结和思考，将现有TPE方案根据图像质量的不同划分为近似TPE和理想TPE，并指出了现有方案的优势和缺点。同时，提出了可能的应用场景和有待进一步解决的主要问题，并提出了这些问题可能的解决方案与未来可能的发展与研究方向，为TPE技术的发展提供了一定的理论和技术支持，有助于推动TPE技术的实用化进程。