端木春江左德遥赵頔
摘要：由于传统的基于插值的图像超分辨率算法容易使图像的边缘部分出现模糊或过度平滑的现象，对此提出一个仅沿图像边缘方向进行插值的算法，使垂直于边缘方向上的像素点不参与插值和滤波，从而减少图像过度平滑的几率。该算法首先检测图像的边缘，然后对边缘点沿量化的边缘方向进行三次样条（ubspl）插值；对平滑点，先用双立方（b-ub）插值算法进行插值，再用各向异性算子进行滤波。实验表明，所提出算法的性能好于原有的超分辨率插值算法。
关键词：图像处理；图像超分辨率；图像放大；图像插值
中图分类号：TP37文献标志码：A文章编号：006-8228（208）03-0-03
Thdpsupr-rslutlrthfrrl-tpplts
DuuChu，ZuDy，ZhD
（ZhNrlUvrsty，Jhu，Zh32004，Ch）
Abstrt：Sthblurdthvr-sthphsftpprsthtrdtltrplt-dsupr-rslutlrthsthltrtur，supr-rslutlrthsprpsd，hhlytrpltsthpxlslthddrtIthsy，thpxlslyprpdulrtthdsdtprtptthtrpltdfltr，sthtthvr-sthurrprbbltybrdudIthslrth，thdsrfrstlydttdTh，thubspltrpltsrrdutlthddrtfrthdpxls，dthb-ubtrpltd-strpfltrrrrdutfrthsthpxlsExprtlrsultsshthtthprpsdlrthprfrsbttrththrltrplt-dsupr-rslutlrths
Kyrds：prss；supr-rslut；ft；trplt
0引言
通过单幅参考图像的超分辨率方法可以把一幅低分辨率的图像放大为一幅高分辨率的图像，以提高图像的分辨率和清晰度。因而，其成为近年来的研究热点，并具有广泛的应用，如：对遥感图像、医学图像、监控图像、互联网中图像等所做的提高其分辨率的清晰化处理。传统的超分辨率放大的方法分为：基于插值的方法[5]、基于样例的方法[2]、基于稀疏表示的方法[]、和基于深度学习的方法[4]。由于只有基于插值的方法具有较小的计算复杂度，适合于实时的应用，这里主要考虑对已有最优的插值方法[6]的改进。
传统的基于插值的超分辨率处理算法具有简单快速的特点。因而，可广泛地应用于实时地高清视频放大的场合。其他的超分辨处理的算法，由于计算复杂度高，耗时久，而不适于实时场合下应用。但是，传统的基于插值的算法容易使图像的边缘部分出现模糊或过度平滑的现象。为了在插值算法中降低图像边缘的模糊程度，提出了一个仅沿图像边缘方向进行插值的算法。这样，在垂直于边缘方向上的像素点在放大的时候就不参与插值和滤波，从而减少这些像素使图像过度平滑的几率。
在第2节将给出所提出方法的详细的介绍，第3节给出所提出方法的实验结果，并在第4节给出总结。
所提出的方法
我们所提出的方法，首先对低分辨率的像素进行边缘检测。然后，对图像边缘采用沿着边缘方向的插值处理以保持图像的边缘；对于图像平滑部分，采用各向异性的滤波进行处理。其中的详细步骤描述如下。
边缘像素点的检测
首先采用如下2个算子来检测图像中的边缘：
⑴
⑵
检测图像的边缘时，先将低分辨率图像f（，）与算子Gx、Gy作卷积，得到图像的梯度的模值G（，），然后将G（，）与预定义的阈值T比较，阈值T一般是根据经验取值。若G（，）&t;T，则判定像素点（，）为边缘点，否则认为像素点（，）为非边缘点（即平滑点）。模值G（，）的计算式为：
⑶
梯度的角度的计算式为：
⑷
式⑶、式⑷中，?表示卷积运算。
2边缘像素点的处理
对于灰度值大于T的边缘点，首先标记其周围的待插值点为边缘点，然后以待插值的边缘点为中心，构建5×5的窗口，再沿边缘方向进行三次样条插值对该边缘点进行处理。其中边缘方向将由边缘像素点的梯度方向来确定，并被量化为这些角度。
三次样条插值在样条插值中运用最广泛。三次样条插值曲线是一个平滑的分段函数。在此，将沿边缘方向对边缘像素点进行三次样条插值，即用三次样条插值曲线沿这些角度和5×5窗口内像素点的灰度值进行方向滤波，以估计高分辨率图像上待插值点的灰度值。
给定+个已知像素点，则存在个区间，一维的三次样条插值曲线S（x）在每个区间[x，x+]上满足以下三个条件：①S（x）是一个三次函数；②函数值等于像素点的灰度值，即y=S（x）；③S（x）的一阶导数S'（x）、二阶导数S''（x）在每个区间[x，x+]上连续。所以，区间[x，x+]上的三次样条插值曲线函数S（x）可表示为：
⑸
其中、b、、d为4个未知系数，可通过上述的三个条件以及边界条件求解。边界条件包括自然边界、非节点边界和固定边界。
其中，自然边界端点处的二阶导数为0，固定边界端点处一阶导的值为给定的已知值，非节点边界端点处的三阶导数与端点邻点的三阶导数相等。
3对判定的平滑像素点的处理
在低分辨率的图像中未被标记为边缘点的待插值点即为平滑点。对于待插值的平滑点，首先找到该平滑点的6个近邻像素点，然后利用双立方插值算法对平滑点插值，再利用各向异性滤波算子滤波以更好地估计平滑点的灰度值。
各向异性滤波算子的思想来源于物理模型中的扩散模型，将图像的灰度看作杂质或温度。杂质浓度不均匀时，会从高浓度区域向低浓度区域扩散；温度不均匀时，会从高温度向低温度扩散。当扩散为各向同性时，扩散过程表示为：
⑹
其中dv表示散度算子，表示图像的梯度。当=时，式⑹的解为：
⑺
其中f（x，y，t）表示擴散后的图像，f（x，y，0）表示原图像，是高斯滤波器，其中。
由式⑹、⑺可知，各向同性扩散相当于用高斯滤波器滤波图像，而高斯滤波器不能很好地保护图像的边缘。为此，根据P-M扩散方程的思想，设计了一个各向异性的滤波算子，可表示为：
⑻
其中α是一个参数，函数（s）设置为一个单调递减函数。
⑼
其中为需要通过实验来优化的参数。本文利用式⑻所示的各向异性滤波算子更新像素点的灰度值，其滤波表达式为：
⑽
其中β是一个参数，f（，，）、f（，，+）分别是图像f（，）在第、+次迭代的值，直到f（，，）和f（，，+）的差值非常小时，迭代终止。f（，，）的初始值为像素点（，）双立方插值后的值。
2实验结果
本文首先采用了以往文献中经常用来比较超分辨率图像处理的测试图，即名为L、Buttrfly、Prth、R、Bb、Ppprs的彩色图像作为彩色图像的标准测试图，并采用名为Hus、El的灰度图像作为测试图。本文利用MATLAB软件来仿真算法的重建效果，并根据大量的实验结果，将本章所提出的方法中参数优化地设置如下：阈值T设为00，设置为2，参数α、β分别设置为0和2。
表测试图像的实验结果（PSNR（dB））
[图像 双立方
（b-ub）
插值方法 SAI插值
方法[6] 所提出的
方法 提出方法相对于SAI方法所提高的性能ΔPSNR） L 306 370 39 02 Buttrfly 224 2385 2409 023 Prth 2496 266 2684 023 R 279 2879 290 022 Bb 2240 24 2434 023 Ppprs 2924 3080 30 02 Hus 2769 2928 2950 022 El 3048 320 3222 02 平均 2678 2839 286 022 ]
表2测试图像的实验结果（SSIM）
[图像 双立方
（b-ub）
插值方法 SAI插值
方法 本章所提
出的方法 本章方法相对于SAI方法所提高的性能（ΔSSIM） L 837 8762 8795 033 Buttrfly 7338 7977 8030 053 Prth 633 722 7285 073 R 6477 7323 7393 070 Bb 4734 5998 603 05 Ppprs 8339 8738 877 033 Hus 7875 8385 8428 043 El 7335 7975 8028 053 平均 700 7796 7854 058 ]
表3各种算法的平均运行时间（s）
[ 双立方
（b-ub）插值方法 SAI插值
方法[6] 基于深度
学习的
方法[4] 基于邻域
嵌入的
方法[2] 基于稀疏
字典的
方法[3] 所提出
的方法 平均用时
（以秒为
单位） 0009 5 4233000 55220 2436 00 ]
由表和表2可以看出，所提出的算法在PSNR和SSIM指标上都要高于双立方插值算法和目前最优的插值算法（SAI插值算法[6]）。从表3可以看出，所提出的算法的用时较短，和双立方插值方法的用时大致相等，可以用于实时超分辨率放大应用的场合。
3結论
提出了一种新的插值算法，其具有如下创新点：①对图像中的边缘像素点，仅沿边缘方向进行三次样条插值，减少了边缘的模糊程度。②边缘方向被量化为这些角度，复杂度低。③设计的各向异性滤波算子更好地估计了平滑像素点（非边缘像素点）插值后的灰度值。仿真结果显示其比双立方插值算法和SAI插值算法具有更好的性能，且其具有较低的计算复杂度，能胜任实时视频放大应用的场合。
参考文献（Rfrs）：
[]MPrttrR，MEldSltrplt
vdptvllsprsty-ddl[J]IEEETrsIPrss，20423（7）：3085-3098
[2]WTFr，TRJs，ECPsztrExpl-
dsupr-rslut[J]IEEECputrGrphsdApplts，200222（2）：56-65
[3]JhY，JhWrht，ThsSHu，YM
ISupr-RslutVSprsRprstt[J]IEEETrstsIPrss，2009（）：286-2873
[4]ChD，ChChLy，KH，Xu
TISupr-RslutUsDpCvlutlNtrs[J]IEEETrstsPttrAlyssdMhItll，20638（2）：295-307
[5]XL，MTOrhrdNd-drtdtrplt[J]
IEEETrstsIPrss，2000（0）：52-527
[6]K-WHu，W-CSuRbustsft-ds
trpltushtdlstsqurs[J]IEEETrstsIPrss，2022（3）：06-069
文章来源于：计算机时代