浏览全部资源
扫码关注微信
Published： 16 August 2023 ，
移动端阅览
郑玉彤， 李雪龙， 殷梓轩， 高歌， 翁彧. 2023. 多特征融合的敦煌古籍残片自动缀合. 中国图象图形学报， 28(08):2330-2342
Zheng Yutong， Li Xuelong， Yin Zixuan， Gao Ge， Weng Yu. 2023. Multi-feature fusion based automatic reconstruction in related to Chinese ancient manuscript fragments of Dunhuang. Journal of Image and Graphics， 28(08):2330-2342
目的
2
敦煌遗书作为敦煌学研究的根基，是华夏多元民族弥足珍贵的文化遗产。现存的敦煌遗书大多为残片残卷，给整理和研究带来了极大的困难。而人工缀残可谓至难，费时费力，对研究者的要求极高。随着计算机技术和计算机图形学的发展，残片拼接技术也开始进入数字化时代。为此，本文提出基于分层模型的数字图像缀合方法。
方法
2
构建了一个古籍残片数据集。在流程设计上借鉴专家缀合的实践经验，融入专家知识，对碎片数字图像进行预处理。在碴口特征匹配的基础上，融合多种缀合线索，建立了包含物理层、结构层和语义层3层特征的分层模型，从低层次到高层次对匹配结果进行评估打分，完成两阶段的全自动缀合。
结果
2
为了验证提出方法的有效性，在由31张可拼接碎片（11组）和225张孤片组成的256张碎片数据集上进行实验。结果表明，本文方法能够完成其中8组碎片的完整缀合，2组不完整缀合，并找出218张孤片。通过计算，完整匹配准确率为95.76%，不完整匹配准确率为95.70%，缀合准确率都达到了95%。与现有类似任务的3种方法相比，准确率均有明显提升。
结论
2
本文提出的分层模型融合了多方面特征，能有效完成古籍残片缀合任务，提升研究人员的缀残效率。
Objective
2
The Dunhuang manuscripts are evident for cultural heritage researches of China. Most of preserved manuscripts are restricted of its age-derived fragments and remnants and challenged for their collation and contexts. However， artificial reconstruction is time consuming and difficult to be developed. The emerging computer graphics-derived computer-aided virtual recovery technology has been facilitating in the context of high speed， easy to use and accuracy.
Method
2
We develop a model-hierarchical digital image reconstruction method. First， a dataset of ancient Dunhuang manuscript fragments is constructed. Second， expertise-relevant digital images of the fragments are pre-processed to assist in the rationalization of fragment features and establishment of a plane for the reconstructing process. Moreover， a three layers model is composed of physical， structural and semantic features via fusing multiple collocation cues. For the physical layer， grey-scale feature similarity measures are based on Jaccard correlation coefficients. For the structural layer， geometric contour matching is based on Freeman coding. For the semantic layer， character column spacing consistency features are based on grey-scale fluctuations. The whole reconstruction process is combined with two matching aspects of local and global contexts. The key to the local matching is to determine whether the two pieces match or not， while the vector similarity calculations are performed on the feature descriptors. The local matching results are evaluated and scored by reasonable thresholds between low and the high level. To realize the whole automation process， global matching strategy is implemented in terms of the Hannotta model， and the two aspect of fully automated reconstruction is performed.
Result
2
To verify the effectiveness of the proposed method， experiments are carried out on a 256-fragments dataset， which consists of 31 splinterable fragments （which can be reconstructed in 11 groups） and 225 orphaned fragments. The results analysis illustrates that 8 groups of fragments are fully matched， 2 groups are partially matched， and 218 orphaned fragments are identified as well. The accuracy of completed matching is 95.76% while incomplete matching is 95.70%. Both of their accuracies can be optimized and reached to 95%. To be more specific， each of partial accuracy are reached to 20.62%， 63.44% and 23.43%， and the improvement in complete accuracy of each are 39.85%， 68.09% and 23.33%.
Conclusion
2
The layered model combined with high-speed computing performance of the computer can incorporate multiple features and complete the reconstruction of ancient manuscript fragments effectively. The potential virtual reconstruction is beneficial for secondary damage to the fragile fragments， as well as some irreversible operations. Furthermore， the reconstructed results can provide an important basis for subsequent physical splicing， which can greatly enhance the efficiency of the artificial reconstruction.
古籍残片敦煌遗书自动缀合碴口特征分层模型
ancient manuscript fragmentsDunhuang manuscriptsautomatic reconstructioncurve featurehierarchical model
Chen L P. 2014. Piecing together and research of the Dunhuang manuscript Datang Tianxia Jun Xingshi Zupu focusing on S. 5861. Dunhuang Research， （1）： 78-86
陈丽萍. 2014. 敦煌本《大唐天下郡姓氏族谱》的缀合与研究——以S.5861为中心. 敦煌研究， （1）： 78-86 ［DOI： 10.13584/j.cnki.issn1000-4106.2014.01.011http://dx.doi.org/10.13584/j.cnki.issn1000-4106.2014.01.011］
da Gama Leitão H C and Stolfi J. 2002. A multiscale method for the reassembly of two-dimensional fragmented objects. IEEE Transactions on Pattern Analysis and Machine Intelligence， 24（9）： 1239-1251 ［DOI： 10.1109/TPAMI.2002.1033215http://dx.doi.org/10.1109/TPAMI.2002.1033215］
De Smet P， De Bock J and Corluy E. 2003. Computer vision techniques for semi-automatic reconstruction of ripped-up documents//Proceedings Volume 5108， Visual Information Processing XII. Orlando， USA： SPIE： 189-197 ［DOI： 10.1117/12.501078http://dx.doi.org/10.1117/12.501078］
Fang G C. 2014. A Dunhuang documents collected in the national library of China. Dunhuang Research， （3）： 123-131
方广锠. 2014. 中国国家图书馆藏敦煌遗书. 敦煌研究， （3）： 123-131 ［DOI： 10.13584/j.cnki.issn1000-4106.2014.03.016http://dx.doi.org/10.13584/j.cnki.issn1000-4106.2014.03.016］
Fang R R. 2015. Research on Automatic Reassembly of 2D Fragments. Jinan： Shandong Normal University
房然然. 2015. 2维碎片自动拼接技术研究. 济南： 山东师范大学
Jing S X and Chen L. 2017. A preliminary reconstruction of the Mahparinirvna-sūtra from Dunhuang manuscripts in the British Library. Dunhuang Research， （3）： 92-107
景盛轩， 陈琳. 2017. 英藏敦煌《大般涅槃经》残卷初步缀合. 敦煌研究， （3）： 92-107 ［DOI： 10.13584/j.cnki.issn1000-4106.2017.03.011http://dx.doi.org/10.13584/j.cnki.issn1000-4106.2017.03.011］
Kong W X and Kimia B B. 2001. On solving 2D and 3D puzzles using curve matching//Proceedings of 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Kauai， USA： IEEE： II ［DOI： 10.1109/CVPR.2001.991015http://dx.doi.org/10.1109/CVPR.2001.991015］
Lin Y B， Wang C， Cheng J， Chen B L， Jia F K， Chen Z G and Li J. 2015. Line segment extraction for large scale unorganized point clouds. ISPRS Journal of Photogrammetry and Remote Sensing， 102： 172-183 ［DOI： 10.1016/j.isprsjprs.2014.12.027http://dx.doi.org/10.1016/j.isprsjprs.2014.12.027］
Liu J G， Wu Z P， Liu S Q and Yin S M. 2002. A merging algorithm for images based on segmentation of feature regions. Journal of Xidian University， 29（6）： 768-771
刘金根， 吴志鹏， 刘上乾， 殷世民. 2002. 一种基于特征区域分割的图像拼接算法. 西安电子科技大学学报（自然科学版）， 29（6）： 768-771 ［DOI： 10.3969/j.issn.1001-2400.2002.06.016http://dx.doi.org/10.3969/j.issn.1001-2400.2002.06.016］
Liu Q J， Chen P and Wang Z Y. 2016. Algorithm design on scraps of paper splicing based on text feature. Research and Exploration in Laboratory， 35（11）： 110-113
刘秋菊， 陈平， 王仲英. 2016. 一种基于文字特征的碎纸片拼接算法设计. 实验室研究与探索， 35（11）： 110-113 ［DOI： 10.3969/j.issn.1006-7167.2016.11.027http://dx.doi.org/10.3969/j.issn.1006-7167.2016.11.027］
Liu X G， Jia Z Y， Liu W J and Han M. 2016. Study of document recovery method based on gray-level matrix. Application Research of Computers， 33（12）： 3901-3903， 3908
刘宪国， 贾子钰， 刘万军， 韩敏. 2016. 一种基于灰度值矩阵的文档复原方法研究. 计算机应用研究， 33（12）： 3901-3903， 3908 ［DOI： 10.3969/j.issn.1001-3695.2016.12.085http://dx.doi.org/10.3969/j.issn.1001-3695.2016.12.085］
Liu Y K. 2001. Research on the compression algorithm for Freeman chain code. Chinese Journal of Computers， 24（12）： 1294-1298
刘勇奎. 2001. Freeman链码压缩算法的研究. 计算机学报， 24（12）： 1294-1298 ［DOI： 10.3321/j.issn：0254-4164.2001.12.009http://dx.doi.org/10.3321/j.issn：0254-4164.2001.12.009］
Lu Y H. 2017. A method of fragment splicing restoration under minimal human intervention. China Computer and Communication， （14）： 51-54
陆羽翃. 2017. 一种在极小人工干预下的碎片拼接复原方法. 信息与电脑， （14）： 51-54 ［DOI： 10.3969/j.issn.1003-9767.2017.14.023http://dx.doi.org/10.3969/j.issn.1003-9767.2017.14.023］
Luo Z Z. 2012. Semi-auto stitching of scrapped paper based on character characteristic. Computer Engineering and Applications， 48（5）： 207-210
罗智中. 2012. 基于文字特征的文档碎纸片半自动拼接. 计算机工程与应用， 48（5）： 207-210 ［DOI： 10.3778/j.issn.1002-8331.2012.05.060http://dx.doi.org/10.3778/j.issn.1002-8331.2012.05.060］
McBride J C and Kimia B B. 2003. Archaeological fragment reconstruction using curve-matching//Proceedings of 2003 Conference on Computer Vision and Pattern Recognition Workshop. Madison， USA： IEEE： 3 ［DOI： 10.1109/CVPRW.2003.10008］
Papaodysseus C， Panagopoulos T， Exarhos M， Triantafillou C， Fragoulis D and Doumas C. 2002. Contour-shape based reconstruction of fragmented， 1600 BC wall paintings. IEEE Transactions on Signal Processing， 50（6）： 1277-1288 ［DOI： 10.1109/TSP.2002.1003053http://dx.doi.org/10.1109/TSP.2002.1003053］
Tao B， Yu Z W and Zheng X X. 1997. Automatic image mosaic. Chinese Hournal of Biomedical Engineering， （4）： 29-35
陶波， 于志伟， 郑筱祥. 1997. 图像的自动拼接. 中国生物医学工程学报， （4）： 29-35
Tsamoura E and Pitas I. 2010. Automatic color based reassembly of fragmented images and paintings. IEEE Transactions on Image Processing， 19（3）： 680-690 ［DOI： 10.1109/TIP.2009.2035840http://dx.doi.org/10.1109/TIP.2009.2035840］
Tu C P， Chai Y H， Li G L and Liu J F. 2011. An image mosaic method based on refined corner points feature matching. Research and Exploration in Laboratory， 30（10）： 40-43
涂春萍， 柴亚辉， 李广丽， 刘觉夫. 2011. 一种基于Harris角点特征精确匹配的图像拼接方法. 实验室研究与探索， 30（10）： 40-43 ［DOI： 10.3969/j.issn.1006-7167.2011.10.012http://dx.doi.org/10.3969/j.issn.1006-7167.2011.10.012］
Wang L， Mo Y L and Qi F H. 1996. An improved method of edge detection based on Canny’s theory. China Journal of Image and Graphics， 1（3）： 191-195
王磊， 莫玉龙， 戚飞虎. 1996. 基于Canny理论的边缘提取改善方法. 中国图象图形学报， 1（3）： 191-195 ［DOI： 10.11834/jig.19960360http://dx.doi.org/10.11834/jig.19960360］
Yuan J， Zhou M Q， Geng G H and Zhang Y H. 2018. Automatic reassembly of fractured fragments using Morse topological features. Acta Automatica Sinica， 44（8）： 1486-1495
袁洁， 周明全， 耿国华， 张雨禾. 2018. 基于Morse-Smale拓扑特征的文物碎片拼接算法. 自动化学报， 44（8）： 1486-1495 ［DOI： 10.16383/j.aas.2017.c160778http://dx.doi.org/10.16383/j.aas.2017.c160778］
Zhang K and Li X. 2014. A graph-based optimization algorithm for fragmented image reassembly. Graphical Models， 76（5）： 484-495 ［DOI： 10.1016/j.gmod.2014.03.001http://dx.doi.org/10.1016/j.gmod.2014.03.001］
Zhang X Y. 2015. The patching-up and study on the fragments of Xinpusajing， Quanshanjing and Jiuzhuzhongshengkunanjing in Dunhuang manuscripts. Fudan Journal （Social Sciences）， 57（6）： 12-20
张小艳. 2015. 敦煌本《新菩萨经》、《劝善经》、《救诸众生苦难经》残卷缀合研究. 复旦学报（社会科学版）， 57（6）： 12-20 ［DOI： 10.3969/j.issn.0257-0289.2015.06.002http://dx.doi.org/10.3969/j.issn.0257-0289.2015.06.002］
Zhang Y Q and Luo M J. 2016. Key factors of patching up fragmentary Dunhuang Buddhist scriptures. Journal of Zhejiang University （Humanities and Social Sciences）， 46（3）： 5-20
张涌泉， 罗慕君. 2016. 敦煌佛经残卷缀合释例. 浙江大学学报（人文社会科学版）， 46（3）： 5-20 ［DOI： 10.3785/j.issn.1008-942X.CN33-6000/C.2016.01.252http://dx.doi.org/10.3785/j.issn.1008-942X.CN33-6000/C.2016.01.252］
Zhang Y Q， Luo M J and Zhu R X. 2021. Exploring the Dunhuang Sutra cave riddle. Social Sciences in China， 3： 180-203， 208
张涌泉， 罗慕君， 朱若溪. 2021. 敦煌藏经洞之谜发覆. 中国社会科学， 3： 180-203， 208
Zhang Y Q and Zhu R X. 2015. A study on the patching-up of the fragments of Golden Light Sutra in the Russian collections of Dunhuang manuscripts. Fudan Journal （Social Sciences）， 57（6）： 1-11， 20
张涌泉， 朱若溪. 2015. 俄藏《金光明经》敦煌残卷缀合研究. 复旦学报（社会科学版）， 57（6）： 1-11， 20 ［DOI： 10.3969/j.issn.0257-0289.2015.06.001http://dx.doi.org/10.3969/j.issn.0257-0289.2015.06.001］
Zhao F Q， Zhou M Q and Geng G H. 2017. Fracture surface matching method of rigid blocks. Journal of Image and Graphics， 22（1）： 86-95
赵夫群， 周明全， 耿国华. 2017. 刚体碎块的断裂面匹配. 中国图象图形学报， 22（1）： 86-95 ［DOI： 10.11834/jig.20170110http://dx.doi.org/10.11834/jig.20170110］
Zhong J Q and Wang R S. 2001. Image registration using edge-based methods. Computer Engineering and Science， 23（6）： 25-29
钟家强， 王润生. 2001. 基于边缘的图象配准改进算法. 计算机工程与科学， 23（6）： 25-29 ［DOI： 10.3969/j.issn.1007-130X.2001.06.008http://dx.doi.org/10.3969/j.issn.1007-130X.2001.06.008］
Zhou F and Huang X M. 2007. Algorithm of 2D contours matching based on angle-sequence. Science Technology and Engineering， 7（15）： 3757-3760
周丰， 黄晓鸣. 2007. 基于角序列的2维碎片轮廓匹配算法. 科学技术与工程， 7（15）： 3757-3760 ［DOI： 10.3969/j.issn.1671-1815.2007.15.027http://dx.doi.org/10.3969/j.issn.1671-1815.2007.15.027］
Zhou P， Tan Y and Xu S S. 2002. A new method of image registration based on corner detection. Journal of University of Science and Technology of China， 32（4）： 455-461
周鹏， 谭勇， 徐守时. 2002. 基于角点检测图像配准的一种新算法. 中国科学技术大学学报， 32（4）： 455-461 ［DOI： 10.3969/j.issn.0253-2778.2002.04.013http://dx.doi.org/10.3969/j.issn.0253-2778.2002.04.013］
Zhu Y J， Zhou L S and Liu Y. 2007. Matching algorithm of two-dimensional irregular fragments. Computer Engineering， 33（24）： 7-9
朱延娟， 周来水， 刘毅. 2007. 2维非规则碎片匹配的算法. 计算机工程， 33（24）： 7-9 ［DOI： 10.3969/j.issn.1000-3428.2007.24.003http://dx.doi.org/10.3969/j.issn.1000-3428.2007.24.003］
相关作者
相关机构
京公网安备11010802024621