Print

发布时间: 2021-08-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.210165
2021 | Volume 26 | Number 8




    高光谱图像目标检测与识别    




  <<上一篇 




  下一篇>> 





高光谱图像深度模糊核聚类的洋底锰结核识别
expand article info 张启忠1,2, 郑恩迪1,2, 王叶剑3, 高发荣1,2
1. 杭州电子科技大学水下智能装备实验室, 杭州 310018;
2. 杭州电子科技大学自动化学院, 杭州 310018;
3. 自然资源部第二海洋研究所, 杭州 310012

摘要

目的 海洋资源调查是海洋科学研究的重要组成部分,对于开发利用海洋资源、保护海洋环境有重要意义。将深海高光谱图像用于调查洋底锰结核资源,相比传统图像方法信息更为全面,识别更为准确。但是高光谱方法中用于有监督分类识别的分类器需要人工标定的标签,这在深海环境中是较为困难的。针对这一局限性,本文提出了一种融合深度网络与模糊核聚类的深度模糊核聚类(deep kernel fuzzy C-means,DKFCM)算法,实现对洋底锰结核高光谱图像的无监督聚类。方法 DKFCM由随机深度卷积网络(Rdnet)及改进的模糊核聚类算法两大模块组成。Rdnet通过降维、随机图块卷积及非线性激活操作的循环,实现对高光谱图像浅层及深层特征的提取,融合这两类特征作为后续聚类识别的输入。改进的模糊核聚类算法先用欧氏距离计算初始聚类中心,再用模糊核聚类的方法以实现海洋资源的准确分类。结果 实验结果表明,DKFCM无监督聚类能有效聚类洋底资源,对锰结核的聚类准确率达到76.59%,相比单用K-means聚类提高了20.99%,相比经Rdnet提取特征后再用K-means聚类提高了13.76%,对比实验表明DKFCM算法在无标签数据的情况下也能达到良好的准确率。结论 本文所提的高光谱深度模糊核聚类方法,实现了深海锰结核的无监督聚类,可以用于海洋资源量的评估。

关键词

高光谱图像; 深度学习; 卷积网络; 特征提取; 聚类; 锰结核

Recognition of ocean floor manganese nodules by deep kernel fuzzy C-means clustering of hyperspectral images
expand article info Zhang Qizhong1,2, Zheng Endi1,2, Wang Yejian3, Gao Farong1,2
1. Laboratory of Underwater Intelligent Equipment, Hangzhou Dianzi University, Hangzhou 310018, China;
2. School of Automation, Hangzhou Dianzi University, Hangzhou 310018, China;
3. Second Institute of Oceanography, Ministry of Natural Resources, Hangzhou 310012, China
Supported by: Open Foundation of Key Laboratory of Submarine Geosciences, Ministry of Natural Resources of China (KLSG2002)

Abstract

Objective Marine resource survey is an important component of marine scientific research, which is of great significance to the development and utilization of marine resources and the protection of the marine environment. Polymetallic nodules, otherwise known as manganese nodules, are commonly distributed in the submarine plains of the water depth of 4~6 km. These nodules contain metallic elements, such as manganese, nickel, copper, and cobalt. Polymetallic nodules are regarded as an important oceanic mineral resource. The rich metallic elements of these nodules are relatively rare in terrestrial resources, but they are widely used. Influential countries and research institutions are currently conducting forward-looking investigations on the potential of deep-sea manganese nodules in view of its crucial strategic value. Traditional methods for investigating manganese nodules on the ocean floor are based on mechanical sampling, multi-beam acoustic remote sensing, and optical images. In recent years, the application of hyperspectral imaging technology in deep-sea resource surveys has gradually attracted the attention of researchers. Hyperspectral image refers to the integration of hundreds of continuous spectral bands and high-resolution image data. Each pixel corresponds to a continuous spectral curve, and objects of different materials obtain their unique "optical fingerprints". Using deep-sea hyperspectral images to investigate manganese nodule resources on the ocean floor has more comprehensive information and accurate identification than traditional image methods. This situation is precisely because many prospecting methods based on hyperspectral images have been proposed and applied to the investigation of ocean floor manganese nodules, such as the active hyperspectral imager mounted underwater, due to the superiority of these images in spectral characteristics compared with ordinary images. Platforms or remotely operated submersibles conduct surveys of seabed resources. At present, most processing methods for underwater hyperspectral images use supervised learning methods. However, supervised classification requires the addition of prior data. The following two problems occur in the investigation of marine resources: first, samples are sometimes difficult to obtain, and a perfect spectral database of seabed resources is lacking; second, underwater data are often complicated, and the result of manual calibration largely depends on the experience of the calibration personnel. This condition is vulnerable to interference from certain factors, such as fatigue, chromatic aberration, and environment, and the result will be a larger error. To address this limitation, this work proposes a deep kernel fuzzy C-means (DKFCM) clustering algorithm that combines deep network and fuzzy kernel clustering to realize unsupervised clustering of hyperspectral images of ocean floor manganese nodules. Method To extract more effective hyperspectral deep features, the DKFCM algorithm adds a random deep convolutional network Rdnet before improving the fuzzy kernel clustering algorithm to extract the deep spectral information about deep-sea hyperspectral images and use them for hyperspectral image clustering. In the feature extraction network part, the information redundancy is large because the hyperspectral image is composed of a substantial amount of relevant narrow-band spectral information. The huge spectral information can be compressed, the calculation speed is raised, and the calculation cost of the convolution operation is reduced through the dimensionality reduction operation with the principal component analysis(PCA). Then, data after PCA are convolved by randomly selecting some pixels from the data and cutting out a square image around it as the convolution kernel. After the random block convolution operation, the ReLU nonlinear activation function is added to improve the overall feature sparsity. Finally, the first layer of features is obtained. The above-mentioned dimensionality reduction, convolution, and nonlinear activation operations are repeated to extract deeper features. The shallow and deep features are merged as input features for subsequent classification. The clustering algorithm easily becomes unstable and fall into a local optimum because the initial clustering center of the KFCM algorithm is randomly selected. To improve this problem, the improved KFCM algorithm proposed in this work uses the Euclidean distance to measure the similarity and sets the distance between the initial cluster centers as far as possible. The initial cluster centers are finally iterated depending on this rule, and the clustering operation is performed. Finally, the accuracy of manganese nodules was obtained by separating and comparing each kind of substance. Result The experiment is divided into three groups for comparison. The clustering algorithms used are K-means clustering, DKmeans (K-means clustering through Rdnet), and the DKFCM clustering proposed in this work. Results show that DKFCM unsupervised clustering can effectively cluster ocean floor resources. In combination with the image data, the accuracy rate of manganese nodules is 76.59%. The overall number of correct nodules increases, the number of false clustering is relatively minimal, and the cluster results are the best. The accuracy of this algorithm is increased by 20.99% compared with K-means clustering. Meanwhile, the accuracy of the algorithm is increased by 13.76% compared with DKmeans clustering. This finding proves that the DKFCM algorithm can achieve high accuracy even without labeled data. Conclusion The hyperspectral deep fuzzy kernel clustering method proposed in the thesis, which combines deep convolutional network and improved kernel fuzzy clustering method, can extract deep features from deep sea hyperspectral data and use it for clustering. Experimental results show that the DKFCM algorithm realizes unsupervised clustering of deep-sea manganese nodules, which can be utilized for the assessment of marine resources, in the absence of seabed tag data.

Key words

hyperspectral image; deep learning; convolutional network; feature extraction; clustering; manganese nodules

0 引言

多金属结核(polymetallic nodule,PMN)又称锰结核,主要分布在4~6 km水深的洋底平原,是一种重要的洋底矿产资源(Kuhn等,2017),通常含有锰、镍、铜和钴等金属元素。其富含的金属元素在陆地资源中相对稀少,但用途广泛:例如锰在钢铁工业中发挥重要作用;钴和镍是目前新能源产业不可或缺的储能材料;钛密度小、强度高、硬度大,在医疗和航空航天等领域中有着广泛的应用(Wang等,2021)。鉴于深海多金属结核的战略重要性,已成为深海采矿的主要对象,多个国家机构和矿业公司正着手开发洋底多金属结核资源(Rona,2012吴时国等,2020),并积极开展洋底资源调查。传统上对锰结核资源的调查手段有基于机械取样、多波束声学遥感和光学图像等方法,如Mucha等人(2013)通过箱芯抽样器对洋底锰结核进行物理采样,并用于估计结核丰度;Ji等人(2020)通过多波束声学遥感对洋底沉积物进行分类;Schoening等人(2017)通过光学图像的分割算法对结核丰度进行评估。

高光谱成像技术在深海资源调查中的应用逐渐引起了科研人员的重视。高光谱图像是指集成数百个连续光谱带并具有高分辨率的图像数据,其每个像素都对应着一条连续的光谱曲线(Goetz等,1985),不同材质的物体因此获得其独特的“光学指纹”(Dumke等,2018a)。与传统光学图像相比,目前的高光谱成像系统最高可以达到近1 nm的光谱分辨率(Dumke等,2018b)。如此庞大的光谱数据可以提供更大容量的环境信息,有助于识别深海的矿物资源。

正是由于高光谱图像相较于普通图像在光谱特征上的优越性,许多基于高光谱图像的方法相继提出并运用于洋底锰结核的调查。如Johnsen等人(2013)通过将主动高光谱成像仪(underwater hyperspectral imagings,UHIs)搭载在水下平台,对洋底资源进行调查,验证了洋底矿物的沉积物类似于陆地上的矿物,可以通过其特定的反射光谱特征进行探测。Dumke等人(2018a)将UHIs搭载在有缆遥控潜水器(remote operated vehicles, ROV)上进行深海高光谱图像的获取,并使用有监督分类方法实现对图像的分类,评估被调查区域的结核覆盖率。这些研究都表明,水下高光谱图像数据具有很大的潜能用于洋底矿物资源的调查。

然而,目前这些对于水下高光谱图像的处理方法大都采用有监督学习方法。首先,需要通过人工标定将感兴趣区域从高光谱数据中标记出,作为训练数据,再通过支持向量机(support vector machine, SVM)等分类器对高光谱图像进行分类(Dumke等,2018b)。有监督分类需要先验数据,然而海洋资源的调查存在着两个方面的问题:一是样品的获取比较困难,缺乏完善的洋底资源光谱库;二是水下的数据往往是复杂的,人工标定的结果很大程度上取决于标定人员的经验,容易受到疲劳、色差和环境等因素干扰,结果会出现较大误差(Schoening等,2012Durden等,2016)。针对海洋资源调查的这一特殊性,研究适合于洋底数据分析的算法,先对各种资源进行无监督聚类,再用其他方法获得的信息来确定各类别物质的种类,是一种更为高效的途径。

为此,本文提出了一种深度模糊核聚类算法(deep kernel fuzzy C-means,DKFCM),分为特征提取网络Rdnet和特征聚类两部分。所提方法目的是提取有效深海高光谱图像的光谱信息,再用于高光谱图像聚类。首先,为了解决高光谱数据“维数灾难”问题,用主成分分析(principal component analysis,PCA)对其进行降维;其次通过随机图块卷积与非线性激活提取浅层特征,反复上述操作进而提取深层特征,并融合浅、深层特征作为后续聚类算法的输入;然后,选择对非线性数据聚类效果更好的模糊核聚类算法(kernel fuzzy C-means, KFCM),为了解决其对初始值的敏感性,防止聚类算法不稳定,陷入局部最优,先用欧氏距离计算融合特征的相似度,迭代获得初始聚类中心,再进行聚类操作;最后,将每一类物质分离对比得出锰结核的精度。DKFCM方法解决了深海高光谱标签数据缺乏的缺点,不需要通过手动标定,以实现洋底高光谱图像的无监督聚类,有助于实现高效的洋底矿产资源调查。

1 方法

1.1 总体框架

提出的DKFCM算法总体结构如图 1所示,主要包括两部分:1)特征提取网络(Rdnet);2)特征聚类(改进KFCM)。

图 1 DKFCM框架
Fig. 1 Frame of DKFCM

1.2 特征提取网络

Rdnet采用层叠结构,如图 2所示,网络主要包括4个步骤以实现特征的提取:1)主成分分析(PCA);2)随机图块卷积;3)非线性激活;4)深层特征提取。

图 2 Rdnet主要结构
Fig. 2 Main structure of Rdnet

1.2.1 PCA降维

由于高光谱图像由大量相关的窄波段光谱信息组成,信息冗余大,通过PCA降维操作,可以压缩庞大的光谱信息,提高运算速度,减少卷积运算的计算成本(Lazcano等,2017)。

$\mathit{\boldsymbol{X}} \in {{\bf{R}}^{rc \times b}}$为原始高光谱数据(已将3维数据转为2维),其中$r、c、b$分别表示高光谱数据的行数、列数和波段数${\mathit{\boldsymbol{X}}_i} \in {{\bf{R}}^{rc}}$为第$i$个波段图像矩阵。首先将原始数据减去样本均值, 即

$ \boldsymbol{X}=\boldsymbol{X}-\frac{1}{b} \sum\limits_{i=1}^{b} \boldsymbol{X}_{i} $ (1)

计算出的协方差矩阵$\mathit{\boldsymbol{C}} \in {{\bf{R}}^{b \times b}}$,即

$ \boldsymbol{C}=\frac{1}{r c} \boldsymbol{X} \boldsymbol{X}^{\mathrm{T}} $ (2)

通过奇异值分解(singular value decomposition,SVD)计算协方差矩阵的特征向量,即

$ \boldsymbol{C}=\boldsymbol{U} \times \boldsymbol{\varSigma} \times \boldsymbol{V}^{\mathrm{T}} $ (3)

式中,$\mathit{\boldsymbol{U}} \in {{\bf{R}}^{b \times b}}$称为左奇异向量,内部的正交向量对应协方差矩阵$\mathit{\boldsymbol{C}}$的特征向量,并根据特征值大小由大到小进行排序。$\mathit{\boldsymbol{∑}} \in {{\bf{R}}^{b \times b}}$中主对角线上的每个元素都称为奇异值,其余元素全为0。$\mathit{\boldsymbol{V}} \in {{\bf{R}}^{b \times b}}$称为右奇异向量。保留$\mathit{\boldsymbol{U}}$中前$p$列特征向量,组成矩阵$\mathit{\boldsymbol{P}} \in {{\bf{R}}^{b \times p}}$,计算降维数据${\mathit{\boldsymbol{X}}_p} \in {{\bf{R}}^{rc \times p}}$,即

$ \boldsymbol{X}_{p}=\boldsymbol{X P} $ (4)

1.2.2 随机图块卷积

PCA降维处理后,接着对数据进行卷积操作提取特征。随机从数据${\mathit{\boldsymbol{X}}_p} \in {{\bf{R}}^{rc \times p}}$中选择$k$个像素点,并且以像素为中心,截出边长为$w$,层数为$p$的正方形图块,从而获得$k$个随机图块${\mathit{\boldsymbol{P}}_1}, {\mathit{\boldsymbol{P}}_2}, \cdots, {\mathit{\boldsymbol{P}}_{k}} \in {{\bf{R}}^{ww \times p}}$对于分布在图像边缘的像素,超出的空白像素用镜像图像来填充。将$k$个随机图块作为卷积核,对PCA白化后的数据进行卷积操作,获得$k$个特征图。

$ \boldsymbol{I}_{i}=\sum\limits_{j=1}^{p} \boldsymbol{X}_{p}^{(j)} * \boldsymbol{P}_{i}^{(j)}, i=1,2, \cdots, k $ (5)

式中,*为2维卷积操作,其步幅(即卷积期间滑动窗口的步长)设置为1。${\mathit{\boldsymbol{I}}_i} \in {{\bf{R}}^{r \times c}}$是第$i$个卷积特征$\mathit{\boldsymbol{X}}_p^{\left(j \right)} \in {{\bf{R}}^{r \times c}}$是PCA降维数据里第$j$层数据,$\mathit{\boldsymbol{P}}_i^{\left(j \right)} \in {{\bf{R}}^{w \times w}}$是指第$i$个随机图块的第$j$层数据。

1.2.3 非线性激活

在随机图块卷积后得到第1层的卷积特征$\mathit{\boldsymbol{I}} \in {{\bf{R}}^{rc \times k}}$,加入线性整流函数(rectified linear unit, ReLU)$f\left(\mathit{\boldsymbol{I}} \right)$),以提高整体特征的稀疏性,即

$ \begin{gathered} f(\boldsymbol{I})=\max (0, \boldsymbol{I}-\boldsymbol{M}) \\ \boldsymbol{M}=\left[m_{2}, \cdots, m_{2}\right] \in {\bf{R}}^{rc \times k} \end{gathered} $ (6)

式中,${\mathit{m}_2} \in {{\bf{R}}^{rc \times 1}}$表示卷积特征$\mathit{\boldsymbol{I}}$第2个维度的均值矢量,$\mathit{\boldsymbol{M}}$是由$k$${\mathit{m}_2}$复制组成的均值矩阵。

最终, 第1层特征可表示为${\mathit{\boldsymbol{Z}}^{\left(1 \right)}} = f\left(\mathit{\boldsymbol{I}} \right) \in {{\bf{R}}^{rc \times k}}$

1.2.4 深层特征提取

将上一层得出的特征${\mathit{\boldsymbol{Z}}^{\left(1 \right)}} \in {{\bf{R}}^{rc \times k}}$作为新的输入数据$\mathit{\boldsymbol{X}}$,重复以上3个步骤,从而得到第2层特征${\mathit{\boldsymbol{Z}}^{\left(2 \right)}} \in {{\bf{R}}^{rc \times k}}$,如此反复, 最终获得$l$层特征$\left\{ {{\mathit{\boldsymbol{Z}}^{\left(1 \right)}}, {\mathit{\boldsymbol{Z}}^{\left(2 \right)}}, \cdots {\mathit{\boldsymbol{Z}}^{\left(l \right)}}} \right\} \in {{\bf{R}}^{rc \times kl}}$,将其与原始数据结合获得融合特征${\mathit{\boldsymbol{X}}_j} \in {{\bf{R}}^{rc \times \left({kl + b} \right)}}$

1.3 特征聚类

1.3.1 模糊核聚类(KFCM)

模糊聚类(fuzzy C-means, FCM)算法是一种基于目标函数优化的数据聚类算法, 是最常用的无监督算法之一。基本原理是让目标函数往最小值的方向迭代,不断更新聚类中心和隶属度矩阵,每个像素对应每个聚类中心都有各自的隶属度,最后选用最大隶属度对应的类别对像素集进行分类(Gao等,2009邱云飞等,2020)。模糊核聚类(KFCM)是用非线性变换$\phi \left({{x_k}} \right)$)把数据${x_k}$映射到更高维度的特征空间,然后在高维空间中进行模糊聚类,较传统模糊聚类算法具有一定的鲁棒性(Zhang和Chen, 2003)。

1.3.2 改进KFCM算法

由于KFCM算法的初始聚类中心是随机选取的,容易使聚类算法不稳定,陷入局部最优。为了改善此问题,本文提出的改进KFCM算法,通过欧氏距离测量相似度,将初始聚类中心之间的距离设置得尽可能远,依照此种规律最终迭代得到初始聚类中心。欧氏距离定义为

$ D(\boldsymbol{X}, \boldsymbol{Y})=\sqrt{\sum\limits_{i=1}^{n}\left(\boldsymbol{x}_{i}-\boldsymbol{y}_{i}\right)^{2}} $ (7)

将融合特征${\mathit{\boldsymbol{X}}_j} = \left\{ {{\mathit{\boldsymbol{x}}_1}, {\mathit{\boldsymbol{x}}_2}, \cdots, {\mathit{\boldsymbol{x}}_{rc}}} \right\}$划分为$C$类,其中${\mathit{\boldsymbol{x}}_i}$表示高光谱数据中第$i$个像素对应长度为(${kl + b}$)特征曲线,${\mathit{\boldsymbol{v}}_i}\left({i = 1, 2, \cdots, C} \right)$为第$i$个聚类的中心,已知KFCM算法的目标函数为

$ \boldsymbol{J}=\sum\limits_{i=1}^{C} \sum\limits_{k=1}^{N} u_{i k}^{m}\left\|\phi\left(\boldsymbol{x}_{k}\right)-\phi\left(\boldsymbol{v}_{i}\right)\right\|^{2} $ (8)

式中${u_{ik}} \in \left[ {0, 1} \right]$是第$k$个样本属于第$i$类的隶属度函数, $m$是模糊加权指数,且

$ \sum\limits_{i=1}^{C} u_{i k}=1 $ (9)

$ \begin{gathered} \left\|\phi\left(\boldsymbol{x}_{k}\right)-\phi\left(\boldsymbol{v}_{i}\right)\right\|^{2}=K\left(\boldsymbol{x}_{k}, \boldsymbol{x}_{k}\right)+K\left(\boldsymbol{v}_{i}, \boldsymbol{v}_{i}\right)- \\ 2 K\left(\boldsymbol{x}_{k}, \boldsymbol{v}_{i}\right)=2-2 K\left(\boldsymbol{x}_{k}, \boldsymbol{v}_{i}\right) \end{gathered} $ (10)

选用高斯核函数作为内核函数

$ K(\boldsymbol{x}, \boldsymbol{y})=\exp \left(-\frac{\|\boldsymbol{x}-\boldsymbol{y}\|^{2}}{2 \sigma^{2}}\right) $ (11)

式中,$\sigma $为高斯函数的特征参数。

在此约束条件下,通过迭代更新隶属度矩阵$\mathit{\boldsymbol{U}} = \left\{ {{u_{ik}}} \right\}$以及聚类中心矩阵$\mathit{\boldsymbol{V = }}\left\{ {{\mathit{\boldsymbol{v}}_i}} \right\}$来最小化目标函数,得到隶属度和聚类中心的表达式为

$ u_{i k}=\frac{\left(1-K\left(\boldsymbol{x}_{k}, \boldsymbol{v}_{i}\right)\right)^{-\frac{1}{m-1}}}{\sum\limits_{j=1}^{c}\left(1-K\left(\boldsymbol{x}_{k}, \boldsymbol{v}_{j}\right)\right)^{-\frac{1}{m-1}}} $ (12)

$ v_{i}=\frac{\sum\limits_{k=1}^{N} u_{i k}^{m} K\left(\boldsymbol{x}_{k}, \boldsymbol{v}_{i}\right) x_{k}}{\sum\limits_{k=1}^{N} u_{i k}^{m} K\left(\boldsymbol{x}_{k}, \boldsymbol{v}_{i}\right)} $ (13)

改进KFCM总体算法步骤如下:

输入:融合特征${\mathit{\boldsymbol{X}}_j}$、聚类数目$C$、最大迭代次数$T$和迭代终止阈值$\varepsilon $;

输出:最终分类结果;

1) 从融合特征${\mathit{\boldsymbol{X}}_j}$中随机选取一个样本点作为首个聚类中心$v_i$;

2) for $i$ = 2; $i \le C$; $i$++

3) 计算每个样本与当前已有聚类中心之间的欧氏距离$\mathit{D}\left(\mathit{\boldsymbol{x}} \right)$;

4) 计算每个样本成为下一个聚类中心的概率${P_v}\mathit{ = }\frac{{\mathit{D}{{\left(\mathit{\boldsymbol{x}} \right)}^2}}}{{\sum\limits_{i = 1}^n {\mathit{D}{{\left({{\mathit{\boldsymbol{x}}_i}} \right)}^2}} }}$;

5) 用轮盘法选出下一个聚类中心$v_i $;

6) end for

7) for $n$ = 1; $n \le T$; $n$++

8) 根据式(12)更新隶属度矩阵$\mathit{\boldsymbol{U}}$;

9) 根据式(13)更新聚类中心矩阵$\mathit{\boldsymbol{V}}$;

10) if $\left\| {\mathit{\boldsymbol{U}}\left({n + 1} \right) - \mathit{\boldsymbol{U}}\left(n \right)} \right\| \le \varepsilon $

11) break;

12) end for

13) 取最大隶属度类别作为最终分类结果。

1.4 聚类数目评价指标

聚类数目$C$是KFCM重要参数,只有选取正确的聚类数目才能得到良好的聚类效果。在几何意义下,聚类的目的就是将数据分类并使类间距离尽可能大,而类内的数据点距离尽可能小。选用函数

$ L(C)=\frac{\sum\limits_{i=1}^{C} \sum\limits_{k=1}^{n} \frac{u_{i k}^{m}\left\|\boldsymbol{v}_{i}-\overline{\boldsymbol{x}}\right\|^{2}}{C-1}}{\sum\limits_{i=1}^{C} \sum\limits_{k=1}^{n} \frac{u_{i k}^{m}\left\|\boldsymbol{x}_{k}-\boldsymbol{v}_{i}\right\|^{2}}{n-C}} $ (14)

式中,${\mathit{\boldsymbol{\bar x}}}$为总体样本的中心向量,即

$ \overline{\boldsymbol{x}}=\frac{\sum\limits_{i=1}^{C} \sum\limits_{k=1}^{n} u_{i k}^{m} \boldsymbol{x}_{k}}{n} $ (15)

函数$\mathit{L}\left(C \right)$的分子表征类与类之间的距离,分母表征类内数据点与该类中心之间的距离,因此$\mathit{L}\left(C \right)$的值越大,说明分类越合理,对应$\mathit{L}\left(C \right)$值最大的$C$为最佳值(Li和Yu,2009)。

1.5 评价指标

为了确定聚类结果的准确性,通常将其与真实结果进行比较。由于深海情况下只有高光谱数据以及额外的视频数据,无真实结果用于对比, 本文只能根据现有UHI伪RGB图像确定结核数量,并用视频数据进行验证。其中正确率为聚类结果中正确的结核占手动计数的百分比,准确率为聚类结果中正确的结核占聚类结果总计数的百分比。

2 实验数据与结果

2.1 实验数据

本文选用的水下高光谱数据集是由Ecotone AS(Trondheim, Norway)开发的水下高光谱成像仪,在德国太阳号科考船“RV SONNE”巡航SO242/2期间获取的(Dumke和Nornes,2017)数据,潜水深度为4 km。此数据记录了399~712 nm之间的83个光谱带,光谱分辨率为4 nm,数据格式为BSQ,包括7条洋底高光谱轨迹数据(序号1~7)。

数据已经过伪反射处理与地理校正,选用其中部分图像进行对比实验。

2.2 实验参数设置与预处理

对于Rdnet,Xu等人(2018)已对此类卷积网络进行参数分析,参照其方法对本文的网络参数进行设置。

随机图块数量$k$和图块大小$w$是两个重要的参数,为了方便对比,先将网络层数$l$设置为1层,主成分分析参数$p$设置为3,对4号高光谱数据进行对比实验。如图 3所示。随机图块数量在太少的情况下,聚类无法获得高精度。根据运算效率和聚类正确率的加权,将随机图块数量$k$设置为20。对于图块大小$w$,较大的$w$有助于提高聚类正确性,但也会增加过度平滑的可能性,所以将图块大小$w$设置为13。

图 3 不同$k$$w$情况下DKFCM的性能
Fig. 3 The performance of DKFCM under different $k$ and $w$

主成分分析参数$p$的大小也会影响DKFCM的聚类精度。如图 4所示,随着$p$值的增加,聚类的正确率有上升的趋势,在$p$值达到3后逐渐平缓,根据运算效率和聚类正确率的加权,将$p$值设置为3。

图 4 不同$p$情况下DKFCM的性能
Fig. 4 The performance of DKFCM under different $p$

接着对网络层数$l$进行评估,如图 5所示,DKFCM的整体正确率随着层数的加深而逐渐提高,这也表明从高光谱图像中提取出的深度特征确实能帮助后续的聚类效果。但是当层数大于4层后,正确率无明显提升,且结果中会出现较多的噪声,根据运算效率和聚类正确率的加权,将$l$值设置为3。

图 5 不同$l$情况下DKFCM的性能
Fig. 5 The performance of DKFCM under different $l$

对于特征聚类部分,通过自适应函数$\mathit{L}\left(C \right)$得出,当聚类数目为10时,$\mathit{L}\left(C \right)$达到最大值,故设置聚类数目$C$=10。

在聚类之后为了获得更好的准确度,只需通过UHI伪RGB图像确定一块属于锰结核的图块,并将其整个类别从聚类结果中提取出。再通过3×3模板的腐蚀操作,将那些非常小的像素点去除,以减小其对结果的影响。最终的结果与确定的参考结核数量进行对比,以此计算出最终聚类正确率和准确率。

2.3 洋底锰结核聚类结果

图 6将原始高光谱伪RGB数据(序号4)与基于DKFCM聚类结果进行比较。通过结合伪RGB数据(图 6(a))以及视频数据,手动标定出17个结核(红圈),这些结核在DKFCM聚类的图像中也很明显(图 6(b))。在右侧聚类结果中共检测到24个结核,其中真实结核有16个(红圈),其余8个为误测(将其他物质错误归类为结核,绿圈),漏测1个(遗漏检测,蓝圈)(图 6(b)表 3)。部分非结核生物被归类为结核。

图 6 聚类结果比对图
Fig. 6 Comparison image of clustering results
((a) UHI pseudo RGB image; (b) clustering results of nodules categories)

表 1 K-means聚类结果
Table 1 K-means clustering results

下载CSV
序号 手动计数 图块计数 正确数 误测数 漏测数
1 32 43 27 16 5
2 38 34 18 16 20
3 25 36 16 20 9
4 17 30 16 14 1
5 36 50 27 23 9
6 34 51 31 20 3
7 28 42 26 16 2

表 2 DKmeans聚类结果
Table 2 DKmeans clustering results

下载CSV
序号 手动计数 图块计数 正确数 误测数 漏测数
1 32 41 29 12 3
2 38 25 17 8 21
3 25 30 17 13 8
4 17 26 15 11 2
5 36 43 26 17 10
6 34 50 32 18 2
7 28 39 28 11 0

表 3 DKFCM聚类结果
Table 3 DKFCM clustering results

下载CSV
序号 手动计数 图块计数 正确数 误测数 漏测数
1 32 39 31 8 1
2 38 33 20 13 18
3 25 23 18 5 7
4 17 24 16 8 1
5 36 32 27 5 9
6 34 36 32 4 2
7 28 34 28 6 0

2.4 无监督聚类结果对比

用现有的7条洋底高光谱轨迹数据,分别进行K-means聚类, 经过深度特征提取网络的K-means聚类DKmeans和DKFCM聚类,三类不同的无监督聚类方法对比实验的结核聚类结果与手动计数的数据进行比较(表 1表 3)。重复10次实验,根据评价指标计算出每组实验正确率和准确率,并取均值标准差确保算法的稳定性(表 4表 5)。

表 4 无监督聚类结果1
Table 4 Comparison of unsupervised clustering results 1

下载CSV
序号 正确率/%
K-means DKmeans DKFCM
1 83.13±1.61 89.58±1.56 95.31±1.65
2 50.26±2.3 45.61±1.32 56.32±4.33
3 66.8±1.93 69.33±2 76±4.22
4 91.76±3.04 86.27±2.94 93.53±1.86
5 76.11±1.43 71.3±1.39 75.56±2.55
6 89.12±1.42 93.14±1.47 92.06±2.42
7 91.79±1.73 97.62±3.57 99.64±1.13
平均 78.42 78.98 84.06
注:加粗字体表示每行最优结果。

表 5 无监督聚类结果2
Table 5 Comparison of unsupervised clustering results 2

下载CSV
序号 准确率/%
K-means DKmeans DKFCM
1 58.5±3.9 68.3±2.5 76.08±1.82
2 55.38±1.9 66.68±1.13 60.73±1.6
3 45.13±0.71 55.92±0.83 76.61±1.23
4 51.89±4.59 57.91±0.32 71.06±2.72
5 56.77±1.95 59.74±1.49 82.24±3.99
6 59.71±2.15 63.43±3.08 84.84±2.16
7 61.79±1.7 67.82±3.07 >84.58±1.97
平均 55.60 62.83 76.59
注:加粗字体表示每行最优结果。

表 4表 5中可以看出,K-means算法具有最低的正确率和准确率,分别为78.42%和55.60%,因为该算法对于非稀疏的高维数据效果较差,且只能发现球状簇。虽然正确率与其他算法相比并未相差太大,但结合表 5的准确率与表 1可以得出,K-means算法聚类结果中正确的图块数量略少于其他算法,整体错误归类的结核数量大幅增加,尤其是对第5号数据,误测数达到23,聚类的效果较差。

DKmeans算法和DKFCM都是基于深度网络的聚类算法,相较传统聚类,效果更佳,这主要是由于Rdnet具有降维以及深浅特征融合的能力,使得基于深度网络的聚类算法模型性能优于传统聚类。DKmeans算法正确率提升了0.56%,准确率提升了7.23%,结合表 2可见其正确图块数稍有增加,误测数也相对减少,聚类效果更佳。

本文DKFCM算法获得最好的聚类效果,将两项分类准确度提升到了84.06%和76.59%,优于DKmeans算法。在表 3中也可以看到,DKFCM算法对大部分数据都有较好的聚类效果,误测数大幅减少。这是因为DKmeans算法使用K-means聚类,而DKFCM算法使用KFCM方法,软聚类效果相较于硬聚类稍好。

为了从直观上验证本文提出的DKFCM算法,以7号高光谱数据为例,图 7给出了对比算法和DKFCM算法在其上的聚类效果。

图 7 无监督聚类结果
Fig. 7 Unsupervised clustering results
((a) UHI pseudo RGB image; (b) K-means clustering results; (c) DKmeans clustering results; (d) ours)

与UHI伪RGB图像(图 7(a))相比较,K-means的聚类结果(图 7(b))较为杂乱,出现较多的噪点,不同类别的像元混杂在一起,无法达到很好的效果。在经过Rdnet深度特征网络之后再次进行K-means算法的聚类结果(图 7(c))消除了较多噪声,聚类结果相比更加集中,图中已经将结核的大致轮廓聚类出,但是仍然不能很好地将裸露的结核与土壤分开,整体还是较为混乱。DKFCM算法的聚类结果(图 7(d))相比K-means算法提升较为明显,通过核函数的非线性变换,使得结果中表面裸露的结核能够很好地被聚类出。相比DKmeans算法,DKFCM算法的聚类结果可以较为清楚地分为背景(紫色)、泥土(黄色,蓝色)和结核(红色)3类,结果清晰,但部分非结核的生物没有被分类出来,也被归类为结核。对比充分表明了本文DKFCM算法的有效性。

在效率上,由于DKFCM算法是基于深度学习的模糊聚类算法,在特征提取上所用时间会增加,相较于传统聚类算法K-means,效率会有所下降; 但是,DKFCM中的Rdnet特征提取网络中使用随机的卷机图块作为卷积核,大大降低了时间成本,在特征提取的效率上会优于传统深度特征提取算法,使得总体效率达到一个较好的水平(Xu等,2018);由于KFCM的软聚类相较于硬聚类效率稍低,使得与同样基于深度学习的DKmeans算法相比,总体效率稍低。

3 结论

为了有效利用高光谱图像的光谱信息来进行无监督深海资源调查,提出了一种深度模糊核聚类方法(DKFCM)。该方法考虑了深海环境资源调查的特殊性,相比传统有监督的方法,在实际应用中更有优越性,并且有较好的准确率。

该算法通过降维,随机图块卷积,提取高光谱深浅特征并进行融合,从而提高后期聚类的精度。在高光谱图像聚类中,DKFCM算法利用改进的KFCM聚类算法,改善了对初始数据的依赖度,并增加了聚类真实性。实验结果表明,DKFCM算法能够有效聚类洋底资源,并且在聚类效果上明显优于传统聚类算法,相比普通带有深度网络的聚类算法也有优势。

然而本文算法中基于KFCM的聚类部分,作为一种软聚类算法,需要多次迭代更新目标函数,导致其聚类效率相较于硬聚类算法偏低。下一步工作是对算法聚类部分进行进一步优化,添加迭代的条件以改进算法对于大数据处理时间较长的问题,进一步提升聚类效率。

参考文献

  • Dumke I, Nornes S. 2017. Hyperspectral imager (UHI) data files acquired on SONNE cruise SO242/2, ROV dive SO242/191-1. Pangaea [DOI:10.1594/PANGAEA.874408]
  • Dumke I, Nornes S M, Purser A, Marcon Y, Ludvigsen M, Ellefmo S L, Johnsen G, Søreide F. 2018a. First hyperspectral imaging survey of the deep seafloor: high-resolution mapping of manganese nodules. Remote Sensing of Environment, 209: 19-30 [DOI:10.1016/j.rse.2018.02.024]
  • Dumke I, Purser A, Marcon Y, Nornes S M, Johnsen G, Ludvigsen M, Søreide F. 2018b. Underwater hyperspectral imaging as an in situ taxonomic tool for deep-sea megafauna. Scientific Reports, 8(1): #12860 [DOI:10.1038/s41598-018-31261-4]
  • Durden J M, Bett B J, Schoening T, Morris K J, Nattkemper T W, Ruhl H A. 2016. Comparison of image annotation data generated by multiple investigators for benthic ecology. Marine Ecology Progress Series, 552: 61-70 [DOI:10.3354/meps11775]
  • Goetz A F, Vane G, Solomon J E, Rock B N. 1985. Imaging spectrometry for Earth remote sensing. Science, 228(4704): 1147-1153 [DOI:10.1126/science.228.4704.1147]
  • Gao Y G, Wang S C and Liu S B. 2009. Automatic clustering based on GA-FCM for pattern recognition//2009 International Symposium on Computational Intelligence and Design. Changsha, China: IEEE: 146-149[DOI: 10.1109/ISCID.2009.184]
  • Ji X, Yang B S, Tang Q H. 2020. Seabed sediment classification using multibeam backscatter data based on the selecting optimal random forest model. Applied Acoustics, 167: #107387 [DOI:10.1016/j.apacoust.2020.107387]
  • Johnsen G, Volent Z, Dierssen H, Pettersen R, Van Ardelan M, Søreide F, Fearns P, Ludvigsen M and Moline M. 2013. 20-underwater hyperspectral imagery to create biogeochemical maps of seafloor properties//Watson J and Zielinski O, eds. Subsea Optics and Imaging. Cambridge: Woodhead Publishing: 508-540[DOI: 10.1533/9780857093523.3.508]
  • Kuhn T, Wegorzewski A, Rühlemann C, Vink A. 2017. Composition, formation, and occurrence of polymetallic nodules//Sharma R, ed. Deep-Sea Mining. Cham: Springer, 2017: 23-63
  • Lazcano R, Madroñal D, Salvador R, Desnos K, Pelcat M, Guerra R, Fabelo H, Ortega S, Lopez S, Callico G M, Juarez E, Sanz C. 2017. Porting a PCA-based hyperspectral image dimensionality reduction algorithm for brain cancer detection on a manycore architecture. Journal of Systems Architecture, 77: 101-111 [DOI:10.1016/j.sysarc.2017.05.001]
  • Li Y and Yu F S. 2009. A new validity function for fuzzy clustering//Proceedings of 2009 International Conference on Computational Intelligence and Natural Computing. Wuhan, China: IEEE: 462-465[DOI: 10.1109/CINC.2009.100]
  • Mucha J, Wasilewska-Błaszczyk M, Kotlinski R A and Maciąg Ł. 2013. Variability and accuracy of polymetallic nodules abundance estimations in the IOM area-statistical and geostatistical approach//The 10th (2013) ISOPE Ocean Mining and Gas Hydrates Symposium. Szczecin, Poland: ISOPE: 27-31
  • Qiu Y F, Pan B, Zhang R, Wang W L, Wei X. 2020. Embedded deep neural network hyperspectral image clustering. Journal of Image and Graphics, 25(1): 193-205 (邱云飞, 潘博, 张睿, 王万里, 魏宪. 2020. 嵌入式深度神经网络高光谱图像聚类. 中国图象图形学报, 25(1): 193-205) [DOI:10.11834/jig.190129]
  • Rona P A. 2012. Seabed authority implements regime for mining marine minerals from deep seabed. EOS, 93(49): 514-516 [DOI:10.1029/2012EO490005]
  • Schoening T, Bergmann M, Ontrup J, Taylor J, Dannheim J, Gutt J, Purser A, Nattkemper T W. 2012. Semi-automated image analysis for the assessment of megafaunal densities at the Arctic deep-sea observatory HAUSGARTEN. PLoS One, 7(6): #381796 [DOI:10.1371/journal.pone.0038179]
  • Schoening T, Jones D O B, Greinert J. 2017. Compact-Morphology-based poly-metallic nodule delineation. Scientific Reports, 7(1): #13338 [DOI:10.1038/s41598-017-13335-x]
  • Wang M W, Wu Z Y, Best J, Yang F L, Li X H, Zhao D N, Zhou J Q. 2021. Using multibeam backscatter strength to analyze the distribution of manganese nodules: a case study of seamounts in the Western Pacific Ocean. Applied Acoustics, 173: #107729
  • Wu S G, Zhang H Y, Jiao D F, Yang C Y, Li X J. 2020. Prospect analysis of submarine mineral resources exploitation in South China Sea. Science Technology and Engineering, 20(31): 12673-12682 (吴时国, 张汉羽, 矫东风, 杨朝云, 李学杰. 2020. 南海海底矿物资源开发前景. 科学技术与工程, 20(31): 12673-12682)
  • Xu Y H, Du B, Zhang F, Zhang L P. 2018. Hyperspectral image classification via a random patches network. ISPRS Journal of Photogrammetry and Remote Sensing, 142: 344-357 [DOI:10.1016/j.isprsjprs.2018.05.014]
  • Zhang D Q, Chen S C. 2003. Clustering incomplete data using kernel-based fuzzy C-means algorithm. Neural Processing Letters, 18(3): 155-162 [DOI:10.1023/B:NEPL.0000011135.19145.1b]