2023年12月29日发(作者：联想笔记本型号一览表)

2023年5月1日第46卷第9期现代电子技术ModernElectronicsTechniqueMay2023Vol.46No.9引用格式：孙春云，李祥祥，孙甜甜.融合LBP和卷积神经网络的摩尔纹检测[J].现代电子技术，2023，46（9）：73⁃77.

DOI：10.16652/.1004⁃373x.2023.09.01473融合LBP和卷积神经网络的摩尔纹检测孙春云，李祥祥，孙甜甜（昌吉学院信息工程学院，新疆昌吉摘831100）要：摩尔纹是一种由数字网格重叠引起的不规则混叠干扰条纹。屏摄类图像中摩尔纹的出现不仅降低了图像质量，并会对后续的图像处理任务产生不良的影响。为了有效、快速、准确地检测这种摩尔纹，文中提出一种利用局部二值模式（LBP）和多输入卷积神经网络（CNN）结合的检测模型。LBP特征计算速度快且能很好地描述摩尔纹纹理，该方法首先使用LBP提取特征，并将提取特征后的图像与原始图像一起送入设计好的多输入卷积神经网络。实验结果证明，将经过LBP特征提取的图像作为摩尔纹纹理的强化信息与原始图像一起送入网络，比单独将原始图像送入网络的网络收敛速度更快、准确率更高，可以达到99.6%，比经典的InceptionV3分类模型准确率提高了4%。关键词：摩尔纹检测；LBP；卷积神经网络；检测模型；特征提取；收敛速度中图分类号：TN911.73⁃34文献标识码：A文章编号：1004⁃373X（2023）09⁃0073⁃05MoirepatterndetectionbasedonLBPandconvolutionneuralnetwork（DepartmentofInformationEngineering，ChangjiUniversity，Changji831100，China）SUNChunyun，LIXiangxiang，SUNTiantianAbstract：Moirepatternisanirearanceofmoirepatterninscreenedphotographynotonlyreducestheimagequality，butalsomayproduceadverseimpactontheinputconvolutionneuralnetwork（CNN）turecalculationisfartodetectthemoirepatterneffectively，anewdetectionmodelbasedonLBPandmulti⁃isusedtoextractfeature，andsentboththeimageafterfeatureextractionandtheoriginalimagetothedesignedmulti⁃erimentalresultsprovethatboththeimagessentintothenetworktogethercanbringaboutfasterconvergencespeedandhigheraccuracy（upto99.6%），incomparisonwiththesituationthatonlytheoriginalimageissentintothenetwork，andtheaccuracyrateoftheproposedmodelis4%ds：Moirepattern；LBP；CNN；detectionmodel；featureextraction；convergencerate0引言不同拍摄角度、不同距离拍摄出来的摩尔纹纹理都会有所不同，没有明显的分布规律。目前已有的摩尔纹检测研究方法较少，传统的方法主要遵循用于检测的规则阈值。如文献[4⁃5]认为摩尔纹纹理是一种高频噪声，探讨分析了摩尔纹图像频率域并使用滤波器处理带有摩尔纹的图片。文献[6⁃7]从RAW图像去马赛克算法入手，提出了基于插值的去摩尔纹算法。随着屏摄类摩尔纹图像越来越多，基于深度学习的方法也逐步被提出。文献[8]提出一种将小波变换与CNN（ConvolutionalNeuralNetwork，卷积神经网络）结合的方式来检测摩尔纹的方法。学术界也举办了相关竞赛[9⁃10]，促进对摩尔纹图像的研究。为贴近日常摩尔纹产生场景，本文首先用不同型号手机、不同品牌计算机显示屏制作了2460张图像作为数据集，用于网络的训练；然后对图像进行LBP（Local随着智能手机和电子屏幕的普及，人们可以方便快捷地拍摄记录下身边各类事物，屏摄即对着屏幕拍照，在日常生活中也越来越常见。从计算机或其他电子屏幕捕获图像不同于捕捉现实世界中的场景，因为它会产生人们不需要的条纹噪声，这种不规律的水波纹似的噪声就是摩尔纹。摩尔纹的出现不仅降低了图像质量，而且对后续的图像处理任务产生不良的影响，如超分辨率[1]、面部识别[2]、光学字符检测（OpticalCharacter[3]Recognition,OCR）等，检测出图像中的摩尔纹从而进一步去除能有效提高图像处理准确率。摩尔纹在空间域的检测是非常复杂的，不同场景、收稿日期：2022⁃08⁃07修回日期：2022⁃08⁃23Copyright©博看网. All Rights Reserved.

74现代电子技术2023年第46卷

，BinaryPattern局部二值模式）特征提取，将原始图像与LBP特征提取后的图像一一对应，作为网络的输入，经过CNN网络训练后，该模型在测试集上能达到99.6%的准确率，比目前流行的InceptionV3分类卷积模型[11]准确率提高了4%。s(⋅)为ip为邻域像素的灰度值；ic为中心像素的灰度值；(xc,yc)为中心像素的坐标；p为邻域的第p个像素；式中：符号函数。s(x)={11.1相关工作在屏摄类图片中，摩尔纹纹理出现的根本原因是图摩尔纹原理1,x≥00,else（2）片本身、显示器屏幕与数码相机三者之间频率的混叠。摩尔纹纹理类似某种具有透明间隙的，覆盖在原始清晰图像上的大尺寸干涉图案，如图1所示。图2基本的LBP算子将屏摄类图像进行LBP特征提取后，如图3所示。其中：图3a）为正常情况拍摄的图像；图3b）为其相应的LBP特征提取后的图像；图3c）为手机对着电脑屏幕拍摄产生的摩尔纹图像；图3d）为其相应的LBP特征图像。可以看出，摩尔纹纹理可以很好地由LBP特征描述，经过LBP特征提取后，摩尔纹的半透明纹理得到显化。因此，将屏摄类图像会出现的大尺度、大范围（几乎覆盖整个图像）摩尔纹经过LBP特征提取后，作为强化信息送入网络，可以获取更高的准确率。图1放大的摩尔纹纹理由于拍摄距离和拍摄角度的不同，产生的摩尔纹纹理是不同的。当图像出现部分精细纹理时，这些高频率的纹理与摩尔纹纹理的高频竞争，使得很难区分是图像本身某些高频部分产生的摩尔纹纹理还是由于拍摄屏幕而产生的摩尔纹纹理。将图像本身的高频细节纹理与屏摄产生的摩尔纹纹理进行有效区分，也是屏摄类图像处理中的难点。1.2LBP是一种用来描述图像局部纹理特征的算子，它LBP具有较高的特征鉴别力、较低的计算复杂度、灰度不变性以及旋转不变性等显著的优点。它首先在文献[12]提出，用于纹理特征提取。随着对LBP算子研究的逐渐深入，该方法已广泛应用于图像内容识别方向[13]，在机器视觉检测领域也取得了很好的识别效果。LBP具有多种模式，包括标准模式、圆形LBP、旋转不变模式及等价模式[14]等。为阈值，将相邻的8个像素的灰度值与其进行比较，若为1，否则为0。这样，3×3邻域内的8个点经比较可产生8位二进制数（通常转换为十进制数即LBP码，共256种），即得到该窗口中心像素点的LBP值，并用这个值来反映该区域的纹理信息，如图2所示。用公式表示为：LBP(xc,yc)=∑2ps(ip-ic)P-1p=0LBP算子定义为在3×3的窗口内，以窗口中心像素1.3图3图像及其LBP特征周围像素值大于中心像素值，则该像素点的位置被标记近几年来，在计算机视觉领域，深度学习已取得了卷积神经网络（CNN）巨大的突破，尤其是卷积神经网络（CNN），CNN在大规模图像分类中具有优异的表现，主要有三种类型的层：卷积层、池化层和全连接层。卷积层是卷积神经网络最重要的层，也是“卷积神经网络”名字的来源。卷积层使（1）用多个滤波器卷积图像区域来提取特征，当卷积层数增加时，会相应抽象组合成更高阶的特征，CNN理解图像Copyright©博看网. All Rights Reserved.

第9期孙春云，等：融合LBP和卷积神经网络的摩尔纹检测75

的能力也逐步增强。卷积层的两个要点是局部连接和权值共享，局部连接和权值共享降低了参数量，使训练复杂度大大下降。池化层在连续的卷积层中间，用于压缩数据和参数的量，具有特征不变性，可对特征降维，在一定程度上防止过拟合。多输入CNN已经被用于诸如对花卉质量进行分级[15]和分析表面纹理[16]等方面。品牌计算机屏幕（DELL、苹果显示屏、联想）以不同距离、不同角度对着计算机屏幕进行拍摄获取图像，以涵盖不同设备制造商的相机软件预处理及不同屏幕的差异性。本文所选取的图像不论拍摄的距离与角度，对拍摄屏摄类图像的要求是屏摄内容覆盖整个画面，不能露出计算机屏幕边框及屏幕以外的场景。2.3本实验在操作系统为Windows10，CPU为i7⁃实验环境2本文提出的方法本文提出了一种利用LBP与原始图像一一对应，作为卷积神经网络的两个输入来检测摩尔纹的新方法。完整的卷积神经网络结构如图4所示。7700K，RAM64GB，GPU为NVIDIAGeForceGTX1080的计算机上进行。使用Python中的Keras库，后端为供微调，为本次实验奠定了基础。TensorFlow。Keras建模简单，并提供了很多经典模型可整个数据被分为2000张用作训练、460张用于测试，训练进行了100个epoch，batchsize为32，损失函数使用Keras中的多分类损失函数categorical_crossentropy，优化器使用Adam。Adam优化算法是随机梯度下降算法的扩展式，近年来其被广泛用于深度学习应用中，尤其是计算机视觉和自然语言处理等任务。Adam优化器可以自动调节学习率，且对超参图4双输入卷积神经网络结构数的选择相当鲁棒。设置参数为lr=0.001，beta_1=0.9，beta_2=0.999，epsilon=0.0001。2.4为了证明方法的有效性，实验中首先使用目前典型实验结果及分析2.1基于传统架构的CNN网络，本文提出了一种新型双输入卷积神经网络模型的双输入卷积神经网络，如图4所示。卷积层C1采用32个7×7的卷积核，步长为1，分别对屏摄类图像与经过LBP然后将这两组特征拼接在一起。C2为3×3的64个卷积S2以步长为4的大小汇聚特征。S4层后使核，步长为1，的InceptionV3网络[14]进行测试，作为实验数据的对比基准，然后对文献[8]提出的三输入卷积神经网络和本文采用的LBP双输入卷积神经网络的结果进行对比，验证了提出模型对摩尔纹检测的优越性。2.4.1InceptionV3是由Google提出，用于实现ImageNetInceptionV3迁移学习预处理的屏摄类图像进行特征提取，池化层S1步长为2，用全局平均池化（GlobalAveragePooling,GAP）来替代该全连接层（即使用池化层的方式来降维），这样可以保留前面各个卷积层和池化层提取到的特征信息，后接全FC2为最终的输出层，连接层FC1有32个神经元，激活大规模视觉识别任务（ImageNetLargeVisualRecognitionChallenge）的一种神经网络。采用预先训练好的InceptionV3模型，保留训练好模型中的所有卷积层参数，将瓶颈层输出的1000个特征向量作为提取的特征向量，替换最后的全连接层，对屏摄类图像进行分类检测，以达到较高的分类准确率。在实验中设置了三种不函数为softmax函数。2.2数据集为更符合屏摄图像使用场景，制作了一个含2460张图像的数据集，用于训练和测试神经网络。这些数据集包含正图像样本（正常拍摄的图像）和负图像样本（从计算机屏幕拍摄的图像），比例为1∶1。随机从ImageNet测试数据集中选取了1230张图像作为正图像样本，对于负图像样本考虑到获取图像的多样性与泛化性，随机在网上和ImageNet验证数据集上抽取高清图像，这些图像包括不同场景、不同类别、不同对比度等信息，以模拟实际屏摄应用情景。使用不同的移动设备（iPhoneX、iPhone7、华为NOVA5、华为NOVA5i、努比亚）在不同同类型的输入，分别是未经处理的原始图像、经过LBP特征提取后的图像和经过小波变换的图像。因为InceptionV3网络要求输入为（299，299，3），所以将小波图6所示。由图6a）可以看出，经过图像预处理后再送入网络比直接将图像送入网络学习效果更好，其中，经过小波变换后的图像要比经过LBP特征提取后的效果要好，同样在图6b）的训练loss中也可以体现出来。图6c）和变换的图像做如图5处理，再送入网络。实验结果如Copyright©博看网. All Rights Reserved.

76现代电子技术2023年第46卷

图6d）为测试准确率和测试loss，可以看出LBP特征提取后的图像表现最差，准确率低且浮动很大，很不稳定。小波变换后的图像在测试集上表现较为平稳，但是准确率在93%就达到了饱和，从长远来看，直接将图片送入网络虽然表现不是很平稳，但是依然有进步的空间，在经过100个epoch后获得了95.89%的准确率。力较差，经过100个epoch后准确率在80%左右。将epoch增加至400时，可以达到96.3%的准确率，也可以验证此小型卷积神经网络分类的有效性。将经过LBP特征提取后的图像送入网络，效果明显优于未经处理直接送入网络，测试集准确率达到了近95%，由此可以看出LBP特征能很好地描述摩尔纹纹理，强化摩尔纹信息，使网络更快的收敛。第三种输入即本文提出的方法，由图7可以看出，能更快的收敛，在第30个epoch就基本已经稳定，且达到99.6%的准确率。图5小波变换后送入InceptionV3图7CNN实验组曲线图对比为与本文提出的方法作对比，复现了文献[8]提出的方法，在本数据集上训练测试，得到的结果与论文结果图6InceptionV3实验组曲线图对比较为符合。现将在Inception实验组中获得的较好实验结果与文献[8]提出的方法和本文提出的方法进行对比，结果如图8所示。由这组实验可以看出，对于像InceptionV3这样比较深的网络，可以很好地提取图像的特征，获得了较高的准确率。将经过图像预处理的图像送入此类较深的网络可能加快或平稳学习能力，但是在图像预处理时也损失了部分信息，不一定能提升效果。如经过LBP特征提取后虽然强化了摩尔纹纹理信息，但是同时也损失了很多图像信息，经过InceptionV3后效果也是最差的。2.4.2本组采用上文提到的简单卷积网络，同样设置三种简单卷积神经网络不同的输入，分别是未经处理的原始图像、经过LBP特征提取后的图像和本文提出的方法，即将原始图像和经过LBP特征提取后的图像一起送入网络。将原始图像及经过LBP处理后的图像送入卷积网络时，此时网络输入为单输入卷积神经网络。实验效果如图7所示。由图7实验结果可知，将图像直接送入小型卷积神经网络，此时网络卷积层较少，对图像高阶特征提取能图8不同模型曲线对比图Copyright©博看网. All Rights Reserved.

第9期孙春云，等：融合LBP和卷积神经网络的摩尔纹检测arXiv/1701.09037[P].[2017⁃01⁃31].77

可以看出，由图8InceptionV3虽然具有良好的特征提取能力，但是在摩尔纹纹理检测分类中，文献[8]方法和本文提出的方法更有效，与文献[8]相比，本文提出的方法能更快收敛，性能更稳定，各个模型准确率如表1所示。表1不同模型的准确率对比模型InceptionV3文献[8]模型本文模型准确率95.8998.499.6[5]WEIZ，WANGJ，NICHOLH，n⁃Gaussianfil⁃croscopyimage[J].Micron，2012，43（2/3）：170⁃176.京理工大学，frameworkforMoirépatternnoiseremovalfromX⁃raymi⁃[6]邱菊.基于插值算法的去彩色摩尔纹效应的研究[D].南京：南[7]邱香香.基于CCD静态图像的摩尔纹去除算法研究[D].南京：南京理工大学，2012.[8]épatterndetectionusingwaveletdecomposi⁃tionandconvolutionalneuralnetwork[C]//onComputationalIntelligence.[S.l.]：IEEE，2018：1275⁃[9]YUANS，TIMOFTER，SLABAUGHG，2019chal⁃lengeonimagedemoireing：Methodsandresults[C]//2019shop.[S.l.]：IEEE，2019：3534⁃/CVFInternationalConferenceonComputerVisionWork⁃[10]YUANS，TIMOFTER，LEONARDISA，2020%3结语由于图像本身、数字屏幕与数字照相机之间的网格重叠，摩尔纹在屏摄类图片中不可避免。本文提出了一种利用LBP特征和卷积神经网络检测屏摄类图像中摩尔纹的方法。所提出的CNN模型的优点是，它使用LBP特征提取后的图像作为摩尔纹纹理的强化信息，与原始图像一同输入网络，不仅提高了模型检测的准确率，也加快了模型收敛的速度。实验结果证明，此CNN模型的性能要优于目前典型使用的InceptionV3分类模型。电视机、室内外大屏等屏摄类图片虽然不在训练集中，但是也可以进行有效检测，模型泛化能力较好。注：本文通讯作者为孙春云。参考文献challengeonimagedemoireing：methodsandresults[C]//Pro⁃ceedingsoftheIEEE/CVFConferenceonComputerVisionandPatternRecognitionWorkshops.[S.l.]：IEEE，2020：460⁃461.[11]SZEGEDYC，VANHOUCKEV，IOFFES，kingtheinceptionarchitectureforcomputevision[C]//k：IEEE，2016：2818⁃EEEConferenceonComputerVisionandPatternRec⁃[12]OJALAT，PIETIKINENM，manceevaluationoftexturemeasureswithclassificationbasedonKullbackdiscriminationofdistributions[C]//Proceedingsofrusalem，Israel：IEEE，1994：582⁃⁃[13]王玲.基于LBP的特征提取研究[D].北京：北京交通大学，[14]OJALAT，PIETIKAINENM，esolutioncalbinarypatterns[J].IEEEtransactionsonpatternanalysisandmachineintelligence，2002，24（7）：971⁃987.[1]KIMJiwon，LEEJungKwon，teimagesuper⁃resolutionusingverydeepconvolutionalnetworks[C]//as，NV，USA：IEEE，2016：1646⁃1654.2016IEEEConferenceonComputerVisionandPatternRecog⁃[2]HERan，ZHENGWeishi，mcorrentropycriterionforrobustfacerecognition[J].nanalysisandmachineintelligence，2011，33（8）：1561⁃[3]缪少君.移动智能终端证件信息识别系统的开发与实现[D].武汉：武汉工程大学，2016.[4]HAZAVEISeyedeMahya，ay⁃scaleandrotationinvarianttextureclassificationwithlo⁃[15]SUNYu，LINZhu，GUANWang，⁃inputconvolu⁃tionalneuralnetworkforflowergrading[J].Journalofelectri⁃calandcomputerengineering，2017（2）：1⁃8.[16]FUJIEDAS，TAKAYAMAK，tcon⁃CornellUniversity，forremovingthemoirepatternsfromimages：10.48550/volutionalneuralnetworksfortextureclassification[D].USA：作者简介：孙春云（1989—），女，河南西平人，主要研究领域为计算机网络、图像识别。李祥祥（1995—），男，安徽亳州人，主要研究领域为机器学习、人工智能。孙甜甜（1994—），女，江苏徐州人，主要研究领域为模式识别、计算机教育。Copyright©博看网. All Rights Reserved.