indian sex5 增强的张量鲁棒主因素分析模子相配应用

鲁棒主因素分析(RPCA)是低秩收复问题的一种。Candès等[1]无情基于矩阵的RPCA设施(matrix RPCA， MRPCA)， 省略从被寥落大噪声损坏的不雅测数据中收复出隐含的低秩重量；MRPCA将不雅测数据认识为低秩重量和寥落重量，用矩阵核范数束缚低秩重量，矩阵范数束缚寥落重量。该模子浅薄且易于求解，被闲居应用在视觉处理任务中，如图像收复和布景建模[1-2]。可是MRPCA设施会将不雅测数据矩阵化，这么的预处理法子会导致无用要的信息赔本，带来次优的收复收尾。针对此问题indian sex5，好多基于张量的RPCA设施被接踵无情，如基于Tucker认识[3]的乞降核范数(sum nuclear norm， SNN)模子[4]、基于张量火车认识[5]的张量火车核范数(tensor train nuclear norm， TTNN)模子[6]和基于张量环(tensor ring， TR)认识的鲁棒张量环补全(robust tensor ring completion， RTRC)模子[7]等。为了描摹张量不同模子之间的关联性，接头者们在SNN、TTNN和RTRC中通过特等的矩阵化战略将张量张开为一组矩阵，无情了可用轮流地方乘子算法(ADMM)求解的张量鲁棒主因素分析(tensor-RPCA， TRPCA)模子。Kilmer等[8]无情了一种新的张量乘法t积(tensor-tensor product)和张量奇异值认识(tensor singular value decomposition， t-SVD)战略。在t积和t-SVD的张量框架下，Lu等[2]无情了张量核范数(tensor nuclear norm， TNN)见识，Zhou等[9]无情了张量低秩示意(low rank tensor representation， LRTR)模子。在TNN和LRTR模子中，以基于t积的张量核范数t-TNN四肢tubal秩的凸包络，t-TNN等价于张量的总计前切片构成的块轮回矩阵的核范数或者张量按模3地方作龙套傅里叶变换所得张量的总计前切片构成的块对角矩阵的核范数，因此t-TNN不错看作一种特等的矩阵化方式，用来描摹张量的空间信息和第三通谈的关联性。此外，t-SVD不错诓骗快速傅里叶变换加快缱绻，况兼tubal秩不错描摹张量子空间结构。上述模子在图像收复和布景建模中取得了较好的收尾，可是对输入数据低秩结构的强依赖性问题仍然莫得得到责罚。

针对上述问题，本文在t积和t-SVD的张量框架下无情一个增强的张量鲁棒主因素分析模子(E-TRPCA)用于图像收复和布景建模。当先学习得到一个字典张量，并构造了一个增强的张量核范数(E-TNN)正则项；其次，在低秩张量示意的基础上，无情了一个去速即噪声的模子；终末，联想了一个高效的轮流地方乘子算法来责罚所无情的问题。在图像收复和布景建模上的实考解释了所提设施的优胜性。

给定张量$\mathscr{A} \in \mathbb{R}^{h \times w \times s} $，$\mathscr{A} $(1， : ， : )、$\mathscr{A} $(: ， 1，: )以及$\mathscr{A} $(: ， : ， 1)区别是$\mathscr{A} $的第一个横切片、第一个侧切片和第一个前切片，$\mathscr{A} $i， j， k是$\mathscr{A} $在(i， j， k)位置的元素。unfold()运算将张量张开为矩阵， old()运算是其逆运算。

$\bar{\mathscr{A}} $=fft($\mathscr{A} $， []， 3)记为对$\mathscr{A} $的每个管谈的龙套傅里叶变换。

bdiag()运算将张量$\bar{\mathscr{A}} $变为块对角矩阵A

bcirc()运算是将张量$\mathscr{A} $变为块轮回矩阵的运算

界说1(t积)   给定张量$\mathscr{A} \in \mathbb{R}^{h \times l \times s}$， $\mathscr{B} \in \mathbb{R}^{l \times w \times s}$，则t积界说为[8]

界说2(正交张量)   若是$ \in \mathbb{R}^{n \times n \times l} $知足T* = * T= $\mathscr{T} \in \mathbb{R}^{n \times n \times l}$，则为正交张量。进一步，若是$ \in \mathbb{R}^{p \times q \times l}$知足T* = $\mathscr{T} \in \mathbb{R}^{q \times q \times l}$，则为部分正交张量。

界说3(张量奇异值认识)[2]   给定张量$\mathscr{A} $∈$\mathbb{R}^{h \times w \times s} $，它不错认识为如下阵势

式中，$\mathscr{U} \in \mathbb{R}^{h \times h \times s}$， $\mathscr{V} \in \mathbb{R}^{w \times w \times s}$是正交张量，$\mathscr{S} \in \mathbb{R}^{h \times w \times s}$是f-diagonal张量。

界说4(管谈秩)   给定张量$\mathscr{A} \in \mathbb{R}^{h \times w \times s}$，则张量的管谈秩为$\mathscr{S}$中非零管谈的个数[10]，记为rankt($\mathscr{A}$)

式中，$\mathscr{A}=\mathscr{U} * \mathscr{S} * \mathscr{V}$T是$\mathscr{A}$的t-SVD认识。

界说5(张量核范数)[2]   $\mathscr{A}=\mathscr{U} * \mathscr{S} * \mathscr{V}$T是$\mathscr{A}$的t-SVD，$\mathscr{A} \in \mathbb{R}^{h \times w \times s}$，则$\mathscr{A}$的核范数示意为

其中， r=rankt($\mathscr{A}$)。

引理1   张量$\mathscr{A} \in \mathbb{R}^{h \times w \times s}$，$\mathscr{B} \in \mathbb{R}^{w \times h \times s}$，令$\mathscr{F}$=$\mathscr{A} * \mathscr{B}$，则有：

① ‖$\mathscr{A}$‖F2=$\frac{1}{s}\|\overline{\boldsymbol{A}}\|_F^2$，况兼〈$\mathscr{A}， \mathscr{B}$〉=$\frac{1}{s}$〈$\overline{\boldsymbol{A}}， \overline{\boldsymbol{B}}$〉；

② $ \mathscr{F}=\mathscr{A} * \mathscr{B}$，则F =AB。

引理2[11]   $ \forall \boldsymbol{A} \in \mathbb{R}^{m \times n}* \mathscr{B}$，则问题

有全局解V*= BCT，A=BCDT是A的奇异值认识。

阐明引理1，本文给出了引理2的张量握行阵势。

定理1   任给张量$\mathscr{A} \in \mathbb{R}^{h \times w \times s} $，问题

的全局解为$\mathscr{V}=\mathscr{B} * \mathscr{D}^{\mathrm{T}} $，$\mathscr{A}=\mathscr{B} * \mathscr{C}* \mathscr{D}^{\mathrm{T}} $是$\mathscr{A}$的t-SVD。

解释   由引理1以及B、C的块对角结构可知，问题(2)不错认识为以下子问题

由引理2知，式(3)中各子问题的全局解存在，$\overline{\mathscr{V}}_{(:， :， k)} $=$\overline{\mathscr{B}}_{(:， :， k)} \overline{\mathscr{D}}_{(:， :， k)}^{\mathrm{T}} $， $\overline{\mathscr{A}}_{(:， :， k)}$=$\overline{\mathscr{B}}_{(:， :， k)} \overline{\mathscr{C}}_{(:， :， k)} \cdot$ $\overline{\mathscr{D}}_{(:， :， k)}^{\mathrm{T}}$是$ \overline{\mathscr{A}}_{(:， :， k)}$的t-SVD。由引理1中的$ \mathscr{F}$=$ \mathscr{A}*\mathscr{B}$， 则F =AB可知，$\overline{\mathscr{V}}=\overline{\mathscr{B}} * \overline{\mathscr{D}}^{\mathrm{T}} $， $\mathscr{V}=\mathscr{B} * \mathscr{D}^{\mathrm{T}}$。因此$\mathscr{A}=\mathscr{B} * \mathscr{C} * \mathscr{D}{ }^{\mathrm{T}}$是$\mathscr{A} $的t-SVD。

如图 1所示，矩阵不错认识为两个矩阵的积[12]

借助t积，不错把矩阵的情形握行到张量情形

事实上indian sex5，若是对$ \mathscr{V}$施加一个正交束缚，则有$ \mathscr{U}=\mathscr{L} * \mathscr{\mathscr { V }}$。与传统的核范数最小化(nuclear norm minimization，NNM)问题研究，对重量U施加低秩束缚，则不错构造如下E-TNN正则项

第一个是束缚在变换收尾$ \mathscr{L} * \mathscr{V}$上的Frobenius范数，这有助于幸免变换引起的信息赔本；第二个是对$ \mathscr{V}$的正交束缚，倾向于使变换后的收尾$ \mathscr{L} * \mathscr{V}$尽可能保留低秩张量$ \mathscr{L}$的信息，此外它还不错匡助获取该变量的闭式解。由于扼制易径直求解上述问题，因此将式(6)再行表述为以下第价问题

与TNN一样，E-TNN相通作用在重量$\mathscr{L} $上，不同之处在于E-TNN不径直束缚$\mathscr{L} $自己，而是束缚从$\mathscr{L} $中学习得到的一组基，这组基是$\mathscr{L} $的总计侧切面的一个线性示意[9]。矩阵认识不错把矩阵认识为字典和寥落矩阵的积，因此，借助上述张量器用，把重量$\mathscr{L} $认识为字典张量$\mathscr{U} $和投影张量$\mathscr{V} $的共轭转置的乘积。字典张量$\mathscr{U} $由重量$\mathscr{L} $经过正交变换得到: $\mathscr{U} $=$\mathscr{L} $*$\mathscr{V} $，$\mathscr{V} $是正交变换张量，维度为w×r×s， r < w。另外，字典张量$\mathscr{U} $的限制老是小于低秩重量$\mathscr{L} $，这使得它们受到噪声损坏的影响较小，从而不错获取更鲁棒的收复收尾。

将E-TNN正则项镶嵌到TRPCA模子，得到如下低秩张量收复模子

式中$\mathscr{X}， \mathscr{L}， ℯ \in \mathbb{R}^{h \times w \times s} $区别为不雅测张量、低秩张量和寥落张量，l1范数来束缚寥落张量，λ为超参数。

本节中，通过ADMM算法[13]求解模子(8)。由模子(8)得到以下增广拉格朗日函数。

式中，μ为处分项总计。ADMM不错把上述问题认识为如下的5个子问题，在每一个子问题中，固定其余变量不变，只更新一个变量。

$\mathscr{L} $子问题  从式(9)中找出总计包含$\mathscr{L} $的项，得到如下更新公式

$\mathscr{U} $子问题  从式(9)中找出总计包含$\mathscr{U} $的项，得到如下问题

这个子问题不错通过张量奇异值阈值算子[2]求解

$\mathscr{V} $子问题  从式(9)中找出总计包含$\mathscr{V} $的项，令$\mathscr{P}=\mathscr{L}+\frac{\mathscr{Y}_2}{\mu} $，得到如下问题

由定理1可知

$ℯ $子问题  从式(9)中找出总计包含$ℯ $的项，得到如下问题

这个子问题不错通过软阈值迟滞算子[14]来得到闭式解

拉格朗日乘子$\mathscr{Y}_1 $， $\mathscr{Y}_2 $通过如下公式来更新

总而言之，求解E-TRPCA模子(8)的ADMM算法(算法1)督察经由如下。

输入: $\mathscr{X} \in \mathbb{R}^{h \times w \times s} $，r， λ， μ=10-2， μmax=106，p=1.3，$ℯ $=107

输出: $\mathscr{L}， ℯ， \mathscr{U}， \mathscr{V} $

脱手化参数: 脱手化$\mathscr{L}， ℯ， \mathscr{Y}_1， \mathscr{Y}_2=0 \in \mathbb{R}^{h \times w \times s} $，亚州色$\mathscr{U} \in \mathbb{R}^{h \times w \times s} $， $\mathscr{V} \in \mathbb{R}^{w \times r \times s}$

1: while 不知足照管条款

2:       通过式(10)更新$\mathscr{L} $

3:       通过式(12)更新$\mathscr{U} $

4:       通过式(14)更新$\mathscr{V} $

5:       通过式(16)更新$ℯ $

6:       检验照管条款

7:       通过式(17)更新$ \mathscr{Y}_1$，$ \mathscr{Y}_2$

8: end while

算法1以三阶张量$\mathscr{X} \in \mathbb{R}^{h \times w \times s} $四肢输入，主要的缱绻本钱是在更新$ \mathscr{U}$， $ \mathscr{V}$时产生的。更新$ \mathscr{U}$需要缱绻一个大小为h×w×s张量的t-SVD，更新$ \mathscr{V}$时需要缱绻一个大小为w×r×s张量的t-SVD， 那么算法1的时代复杂度为O(max(h， w)rslogs+(max(h， w)r2s))。

以图像收复四肢仿真现实、布景建模四肢委果现实来测试所提设施，并与RPCA设施[1]、基于Tucker认识的SNN设施[4]、基于t-SVD的TNN设施[2]、基于张量火车认识的TTNN设施[6]和基于张量环认识的RTRC设施[7]这5种设施进行对比。其中，RTRC设施被用来责罚张量补全问题，在本文顶用于张量鲁棒主因素分析，记为TRNN(tensor ring nuclear norm)。图像收复现实中的图片和布景建模中的视频区别用三阶张量和四阶张量存储，它们的值均被缩放到[0， 1]。

使用伯克利分割数据集[15]中的彩色图像进行测试。图片的大小为321×481×3或481×321×3。RPCA、TNN、TRNN和本文设施不错径直处理三阶张量，TTNN设施在数据输入模子之前遴选ketaugmentation (KA)技艺作了数据增强处理，因此需要把图片大小调换为320×480×3，再诓骗KA设施将图片尺寸更动为[4×4×4×5×4×4×5×6×3]。

噪声模拟本文主要去除图像中的速即噪声，速即噪声比例p区别设为0.1、0.2、0.3，以p=0.1为例，即图像有10%的像素被设为区间[0， 1]之间的一个速即值，被苟且的像素的位置是速即的。

评价主义  为了评价比较设施去除速即噪声的性能，中式峰值信噪比(peak signal-to-noise ratio， PSNR)和结构相似度(structural similarity index， SSIM)四肢评价主义[16]，PSNR值和SSIM值越高，示意收复收尾越好。

参数分析  本文无情的模子包含正则项参数λ和tubal秩r。正则项参数λ用来杀青速即噪声对收复收尾的影响。由图 2知，当p=0.1时，在λ为0.045处PSNR取得最大值，p=0.2时，在λ为0.041处取得最大值，p=0.3时，在λ为0.032处取得最大值。p=0.1时，本文设定$\lambda=\frac{1}{\sqrt{\min (h， w)}} $， p=0.2， 0.3时，本文设定$\lambda=\frac{1}{\sqrt{\min (h， w) s}} $。

Tubal秩r用于描摹图像的低秩性。本文通过遍历r来分析tubal秩对PSNR的影响。由图 3(b)可知，跟着r的增大，图像的收复收尾也越来越好。为了在着力和性能之间取得一个均衡，将r设为$\frac{\min (h， w)}{2} $。

1) 视觉收尾比较

为了直不雅地对比图像的收复收尾，从伯克利分割数据迫临中式了6张示例图片进行可视化展示。从图 4~9中不错看出，RPCA、SNN、TTNN和TRNN算法诚然省略去除图片中的速即噪声和椒盐噪声，但这4种设施弗成很好地保留图像中的细节。图 4(h)~9(h)展示了本文所提模子的收复收尾，不错看到添加的噪声被去除，况兼图像中的纹理和旯旮也得到了很好的保留。这证明本文无情的E-TNN正则项要比t-SVD张量框架下的张量核范数更有用。

2) 定量收尾比较

表 1~3区别是6张示例图片在不同速即噪声比例p=0.1、0.2、0.3下的PSNR值和SSIM值。不错看出，本文所提模子的PSNR评价主义在总计的噪声比例中齐取得了最佳的收尾，而且在SSIM评价主义上也基本上取得了最优或次优的收尾。

图 10给出了在p=0.1时伯克利分割数据集50张图片的PSNR值和运行时代的比较。不错看出，与其他几种算法比拟，本文所提设施取得的PSNR值最高， 况兼运行所需时代也仅次于TRNN设施，远低于其他设施。

此外，由表 1~3可知，在示例图片1和示例图片5中，总计设施齐莫得取得比较好的收复收尾，而示例图片4和示例图片6的收复收尾较好。

RPCA、SNN、TNN、TTNN、TRNN等设施齐假定数据具有低秩结构，对低秩性有强依赖性。咱们发现，关于结构比较复杂、纹理较为丰富的示例图片5(图 11(a))，其张量奇异值并莫得飞速接近于0(图 11(b))，这标明其tubal秩相对较大，上述设施难以取得好的收复收尾。而在布景空旷的示例图片6(图 11(c))中， 其奇异值则飞速接近于0(图 11(d))，标明tubal秩较小，上述设施不错取得较好的收复收尾。对此，本文新增了一个参数r用于杀青tubal秩对数据收复收尾的影响，E-TRPCA模子中的λ参数不错互助核范数正则项和l1正则项，参数r则不错进一步杀青核范数正则项。由图 3可知，当速即噪声比例p=0.1时，在不改动其他参数的情况下，r从0增多300，PSNR也从25增多到42，这为处理不同场景的图像提供了一个优化妙技。

为了更好地评估本文模子的泛化性，图 12给出了r=150和r=300两种情况下本文设施与其他5种设施的PSNR值比较。从图中不错看出，当r取150和300时，本文所提设施取得的PSNR值齐要高于RPCA、SNN、TNN、TTNN和TRNN设施，而且r=300时所得的收尾要好于r=150时的收尾。这证明在数据是否具有低秩性的先验信息未知的情况下，本文所提设施具有较好的泛化性。

视频的出路和布景分离任务一直以来齐是接头的热门。视频由网络的帧图像序列构成，其中结构结识、变动很小的场景实质是视频的布景。由于布景之间的关联性，不错将其视作一个低秩重量，而在视频中所占像素较小且变动权臣的物体，如汽车或行东谈主，即为视频的出路，不错视为寥落重量。本文中式了driverway(117帧)[17]和shop(100帧)[18]两个视频。在RPCA算法中，将视频张量h×w×3×f张开为矩阵hw×3f; 在SNN、TNN、TRNN算法中，将视频张量的大小更动为hw×3×f; 在本文所提设施中，将视频张量更动为hw×f×3，f示意视频的帧数。

表 4为RPCA、SNN、TNN、TRNN和本文设施运行时代的比较，图 13~16给出了5种设施在两个视频上的收尾(TTNN设施难以找到一个合乎的KA参数，故不参与比较)。可知5种设施齐不错将畅通的行东谈主从布景中索要出来，但本文设施的用时最短。

本文在原有模子的基础上新增了一个正则项$ \|\mathscr{N}\|$21来描摹高斯噪声。通过最小化核范数、l1范数和l21的组合，分离出被羼杂噪声苟且的干净数据。

l21范数界说如下。

$\|\boldsymbol{A}\|_{21}=\sum\limits_k^{n_3} \sum\limits_j^{n_2} \sqrt{\sum\limits_i^{n_1}\left|a_{i j k}\right|^2} $，这里A =(aijk)n1×n2×n3。

此时，模子(8)不错改写为

模子(18)的增广拉格朗日函数为

式(19)也曾遴选ADMM算法求解，与算法1比拟，求解模子(8)多出一个子问题，即求解‖ $\mathscr{N} $ ‖21子问题， 该子问题不错写成如下阵势。

令$\mathscr{C}=\mathscr{X}-\mathscr{L}-ℯ+\frac{\mathscr{Y}_1}{\mu} $，则有

本文将模子(18)应用于图片收复。图 17给出了本文设施去除羼杂噪声的可视化收尾。图 17(b)是添加了均值为0、方差为0.05的高斯噪声和速即噪声比例p=0.2的示例图片2。从图 17(c)~(e)不错看出，图像的低秩部分、速即噪声部分和高斯噪声部分齐被很好地分离出来。

本文引入了增强的TNN正则项(E-TNN)，无情一种增强的TRPCA模子。与TNN比拟，E-TNN省略在张量数据的子空间投影上缱绻低秩性，可描摹张量数据中各因素的关联性和相反，从而更委果地反应张量数据的潜在低秩结构。与张量鲁棒主因素分析设施比拟indian sex5，本文所提算法不错有用地收复出被噪声苟且的图像， 并裁减运行所需时代。下一步不错基于不同维度的张量数据自动调换字典张量的维度。此外，基于广义线性变换的t积张量框架在张量低秩收复问题中的应用将是改日的接头地方之一。