<div id="5pdmo"></div>
    <center id="5pdmo"></center>
      <wbr id="5pdmo"><legend id="5pdmo"></legend></wbr><dd id="5pdmo"><address id="5pdmo"></address></dd>
          <dd id="5pdmo"><address id="5pdmo"><div id="5pdmo"></div></address></dd>
              <nav id="5pdmo"><table id="5pdmo"></table></nav>
              <nav id="5pdmo"><optgroup id="5pdmo"></optgroup></nav>

              一种妆容迁移方法及电子设备与流程

              文档序号:29869967发布日期:2022-04-30 18:21来源:国知局
              一种妆容迁移方法及电子设备与流程

              1.本技术涉及图像处理领域,尤其涉及一种妆容迁移方法及电子设备。


              背景技术:

              2.随着技术的发展,对单张图像的处理已变得越来越复杂,需要调节的参数越来越多,且各种参数对用户来说掌握比较困难,不利于用户使用。比如对人脸图像的上妆等需要用户调节各种参数(例如眼影大小,嘴唇颜色,鼻翼高度)来对人脸图像进行上妆。
              3.对人脸图像进行上妆需要用户对各种参数有一定的熟悉程度并需要一定的时间来进行调参,这会降低用户的使用体验感。上述对人脸图像进行上妆的处理方法耗时长,且对用户的使用门槛较高。因此,如何提供一种高效的对人脸图像进行上妆的方法成为亟待解决的技术问题。


              技术实现要素:

              4.本技术实施例提供一种妆容迁移方法及电子设备,可以更高效更准确的对人脸图像进行上妆。
              5.第一方面,本技术提供一种妆容迁移方法,包括:获取源图像和参考图像,该源图像和参考图像分别包括人脸图像;提取该源图像的显著性区域的特征得到第一显著特征,提取该参考图像的显著性区域的特征得到第二显著特征;该显著特征包括五官特征、类别特征和妆容特征;去除该第一显著特征中的类别特征得到去类别源图像特征,去除该第二显著特征中的类别特征得到去类别参考图像特征;将该去类别参考图像特征中的妆容特征融合至该去类别源图像特征的五官特征,得到目标图像。
              6.生成的目标图像由于在之前的过程中保留了妆容风格,去除了类别特征,即避免了源图像和参考图像五官不一致所带来的影响。
              7.在第一方面的一种可能的实现方式中,该提取该源图像的显著性区域的特征得到第一显著特征,包括:将该源图像输入第一提取子模型,输出该第一显著特征;其中,该第一提取子模型具备提取该源图像的显著性区域的特征的能力;该提取该参考图像的显著性区域的特征得到第二显著特征,包括:将该参考图像输入第二提取子模型,输出该第二显著特征;其中,该第二提取子模型具备提取该参考图像的显著性区域的特征的能力。
              8.通过提取子模型来提取出图像的显著性区域,提取子模型不单独分割出人的五官区域,而是只提取人脸图像中具有突出性特点的显著性区域,简化了提取流程,节省了分割时间和运算速度。
              9.在第一方面的另一种可能的实现方式中,该去除该第一显著特征中的类别特征得到去类别源图像特征,去除该第二显著特征中的类别特征得到去类别参考图像特征,包括:将该第一显著特征输入掩码子模型,输出去类别源图像特征;将该第二显著特征输入掩码子模型,输出去类别参考图像特征;该掩码子模型具备去除显著特征中的类别特征的能力。
              10.掩码子模型通过掩码操作去除了类别特征,避免了类别特征带来的妆容迁移误
              差。
              11.在第一方面的另一种可能的实现方式中,该显著特征为多维矩阵,该多维矩阵中的一行或一列为类别特征。
              12.在第一方面的另一种可能的实现方式中,该该将该去类别参考图像特征中的妆容特征融合至该去类别源图像特征的五官特征,得到目标图像,包括:将该去类别源图像特征和该去类别参考图像特征输入融合子模型,输出融合显著特征;该融合子模型具备将该去类别参考图像特征中的妆容特征融合至该去类别源图像特征中的五官特征的能力;将该融合显著特征输入解码子模型,输出该目标图像。
              13.通过融合子模型来进行图像融合,利用了神经网络在图像处理中的优势,能够生成具有高清晰度和高真实度的目标图像。
              14.在第一方面的另一种可能的实现方式中,该五官特征包括五官各部位大小,五官各部位在脸中的位置,五官形态,五官轮廓中至少一项。
              15.在第一方面的另一种可能的实现方式中,该妆容特征包括妆容颜色,妆容位置和妆容形态中至少一项。
              16.第二方面,提供了一种电子设备,包括:处理器;所述处理器用于与存储器耦合,并读取存储器中的指令之后,根据所述指令执行如上述第一方面中任一项所述的方法。
              17.第三方面,提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机可以执行上述第一方面中任一项所述的方法。
              18.第四方面,本技术实施例提供一种的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面及其可能的实现方式中任意之一所述的方法。
              19.应当理解的是,本技术实施例的第二方面至第四方面技术方案及对应的可能的实施方式所取得的有益效果可以参见上述对第一方面及其对应的可能的实施方式的技术效果,此处不再赘述。
              附图说明
              20.图1为本技术实施例提供的一种妆容溢出的示意图;图2为本技术实施例提供的一种妆容迁移的示意图;图3为本技术实施例提供的妆容迁移方法所适用的一种电子设备的结构示意图;图4为本技术实施例提供的一种妆容迁移方法的流程示意图;图5为本技术实施例提供的一种妆容迁移方法的流程示意图;图6为本技术实施例提供的一种第一训练的流程示意图;图7为本技术实施例提供的一种第二训练的流程示意图;图8为本技术实施例提供的一种电子设备的结构组成示意图。
              具体实施方式
              21.下面结合本技术实施例中的附图,对本技术实施例中的技术方案进行描述。其中,在本技术实施例的描述中,以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本技术的限制。如在本技术的说明书和所附权利要求书中所使用的那样,单数表达形式“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这
              种表达形式,除非其上下文中明确地有相反指示?;褂Φ崩斫?,在本技术以下各实施例中,“至少一个”、“一个或多个”是指一个或两个以上(包含两个)。术语“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系;例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b的情况,其中a、b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
              22.在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本技术的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。术语“连接”包括直接连接和间接连接,除非另外说明?!暗谝弧?、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。
              23.在本技术实施例中,“示例性地”或者“例如”等词用于表示作例子、例证或说明。本技术实施例中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。
              24.用户在日常生活中经常进行自拍或拍摄他人的人脸照片,由于拍摄的人脸照片可能是未上妆的人脸图像,而未能达到用户想要实现的妆容效果,所以用户会通过美颜软件或人脸上妆软件对未上妆的人脸图像进行上妆。
              25.在一种实现方式中,可以基于单张图像的人脸识别来进行上妆。例如,美颜软件可以通过对人脸图像进行识别,对五官进行精准定位,然后用户手动添加五官的妆容来进行上妆。在一种示例中,美颜软件可以通过人脸识别划分出眼睛的位置,用户手动对眼睛添加眼睫毛。又例如,美颜软件可以通过划分出嘴巴的位置,用户手动对嘴巴进行添加口红的操作。
              26.在该实现方式中,用户需要对人脸图像的各种参数(例如眉毛大小,口红颜色)有一定的熟悉程度并需要一定的时间来进行调参,这会降低用户的使用体验感且耗时较长。
              27.在一种实现方式中,可以基于对抗神经网络将参考图像的妆容迁移到源图像中。例如,可以基于对抗神经网络单独分割出参考图像的人脸五官特征,有针对的提取出眼睛、眼睫毛、鼻子、嘴唇等区域的妆容,再将各个区域的妆容直接添加到源图像对应的人脸五官上。人脸五官包括眉、眼、耳、鼻、口。
              28.在该实现方式中,由于是单独分割提取的参考图像的人脸五官特征,再提取人脸五官上各自的妆容。如果参考图像中五官特征与源图像中的五官特征差距较大,将参考图像中的五官妆容迁移到源图像的人脸五官上,则可能会导致五官不匹配而形成的妆容不匹配现象。其中,源图像表示需要进行上妆的图像,参考图像表示带有妆容作为参考的图像,目标图像为将参考图像中的妆容迁移至源图像后生成的图像。如图1所示,图像101为参考图像,图像102为源图像,参考图像中人脸五官携带长睫毛、粉红色的嘴唇等妆容,需要将参考图像的妆容迁移到源图像的人脸五官上生成目标图像103。由于参考图像101的五官较大较宽,例如参考图像101的眼睛、嘴唇比源图像102眼睛、嘴唇偏大。如果是采取单独分割,直
              接将参考图像的眼睫毛、嘴唇妆容迁移到源图像上,则会导致目标图像103中眼睫毛、嘴唇妆容超出对应的五官范围。由图1可以看出,妆容迁移后的目标图像中眼睫毛超出眼睛范围而到了眉毛处,嘴唇妆容超出嘴唇范围,这种现象称为颜色溢出。同理,如果源图像比参考图像中的五官更大更宽,可能会导致参考图像中的妆容不足以覆盖源图像中的五官,从而表现为妆容缺失。本实现方式操作比较麻烦,需要在图像中预先分割五官再提取特征,且会因为参考图像和源图像中人的五官不匹配,而产生妆容不匹配的现象。
              29.本技术实施例提供一种妆容迁移方法,可以提取出参考图像中的妆容特征,而不提取具体的妆容大小。比如,妆容包括颜色、位置、形态、具体尺寸等。而妆容特征包括妆容的颜色、位置和形态,妆容特征不包括妆容的具体尺寸。将参考图像的妆容特征迁移至源图像,避免了颜色溢出现象或妆容缺失现象。示例性的,本方案妆容迁移后的效果如图2所示,图像201为参考图像,图像202为源图像,图像203为目标图像。需要将参考图像的妆容迁移到源图像上并生成目标图像。参考图像的妆容为长睫毛,粉红色的嘴唇,参考图像的眼睛、嘴唇比源图像眼睛、嘴唇偏大,但生成的目标图像的妆容能够很好的贴合源图像的五官。
              30.在一种实现方式中,可以基于图像处理模型提取出参考图像的显著性区域和源图像中的显著性区域。显著性区域表示人脸图像中具有突出特点的区域。比如,人脸中眼睛所在区域,鼻子所在区域,嘴巴所在区域,眉毛所在区域等。在一种示例中,人脸五官所在区域即显著性区域。图像处理模型根据显著性区域的信息获取人脸的五官特征、妆容特征、类别特征等。进一步的,去除参考图像和源图像中的类别特征之后,再将参考图像中妆容特征迁移到源图像中。避免了颜色溢出现象或妆容缺失现象。并且本方案无需预先分割出五官,只需要提取出人脸的显著性区域,所以在实现方式上更为简单。
              31.本技术实施例提供的妆容迁移方法,可以应用于终端设备(比如手机)、平板电脑、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,umpc)、手持计算机、上网本、个人数字助理(personal digital assistant,pda)、可穿戴设备(如智能手表、智能眼镜或者智能头盔等)、增强现实(augmented reality,ar)\虚拟现实(virtual reality,vr)设备、智能家居设备、车载电脑等电子设备中,本技术实施例对此不做任何限制。
              32.以手机100为上述电子设备举例,图3示出了手机100的结构示意图。
              33.如图3所示,手机100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,usb)接口130,充电管理???40,电源管理???41,电池142,天线1,天线2,移动通信???50,无线通信???60,音频???70,扬声器170a,受话器170b,麦克风170c,耳机接口170d,传感器???80,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识???subscriber identification module,sim)卡接口195等。
              34.其中,上述传感器???80可以包括距离传感器,接近光传感器,指纹传感器,温度传感器,触摸传感器,环境光传感器等传感器。
              35.可以理解的是,本实施例示意的结构并不构成对手机100的具体限定。在本技术另一些实施例中,手机100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
              36.处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器
              (application processor,ap),调制解调处理器,图形处理器(graphics processing unit,gpu),图像信号处理器(image signal processor,isp),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,dsp),基带处理器,和/或神经网络处理器(neural-network processing unit,npu)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
              37.其中,控制器可以是手机100的神经中枢和指挥中心,是指挥手机100的各个部件按照指令协调工作的决策者??刂破骺梢愿葜噶畈僮髀牒褪毙蛐藕?,产生操作控制信号,完成取指令和执行指令的控制。
              38.应用处理器上可以安装有手机100的操作系统,用于管理手机100的硬件与软件资源。比如,管理与配置内存、决定系统资源供需的优先次序、管理文件系统、管理驱动程序等。操作系统也可以用于提供一个让用户与系统交互的操作界面。其中,操作系统内可以安装各类软件,比如,驱动程序,应用程序(application,app)等。示例性的,手机100的操作系统可以是android系统,linux系统等。
              39.处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
              40.在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,i2c)接口,集成电路内置音频(inter-integrated circuit sound,i2s)接口,脉冲编码调制(pulse code modulation,pcm)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,uart)接口,移动产业处理器接口(mobile industry processor interface,mipi),通用输入输出(general-purpose input/output,gpio)接口,用户标识??椋╯ubscriber identity module,sim)接口,和/或通用串行总线(universal serial bus,usb)接口等。
              41.充电管理???40用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理???40可以通过usb接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理???40可以通过手机100的无线充电线圈接收无线充电输入。充电管理???40为电池142充电的同时,还可以通过电源管理???41为电子设备供电。
              42.电源管理???41用于连接电池142,充电管理???40与处理器110。电源管理???41接收电池142和/或充电管理???40的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信???60等供电。电源管理???41还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理???41也可以设置于处理器110中。在另一些实施例中,电源管理???41和充电管理???40也可以设置于同一个器件中。
              43.手机100的无线通信功能可以通过天线1,天线2,移动通信???50,无线通信???60,调制解调处理器以及基带处理器等实现。
              44.天线1和天线2用于发射和接收电磁波信号。手机100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用
              diode,oled),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的,amoled),柔性发光二极管(flex light-emitting diode,fled),miniled,microled,micro-oled,量子点发光二极管(quantum dot light emitting diodes,qled)等。在一些实施例中,手机100可以包括1个或n个显示屏194,n为大于1的正整数。本技术实施例中,显示屏194可以用于显示图像,比如,源图像、参考图像等。
              51.手机100可以通过isp,摄像头193,视频编解码器,gpu,显示屏194以及应用处理器等实现拍摄功能。在一些实施例中,手机100可以通过isp,摄像头193,视频编解码器,gpu以及应用处理器对人脸进行拍摄并将拍摄获取的人脸图像作为源图像。
              52.isp 用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给isp处理,转化为肉眼可见的图像。isp还可以对图像的噪点,亮度,肤色进行算法优化。isp还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,isp可以设置在摄像头193中。
              53.摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,ccd)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,cmos)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到dsp加工处理。dsp将数字图像信号转换成标准的rgb,yuv等格式的图像信号。在一些实施例中,手机100可以包括1个或n个摄像头193,n为大于1的正整数。
              54.数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当手机100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
              55.视频编解码器用于对数字视频压缩或解压缩。手机100可以支持一种或多种视频编解码器。这样,手机100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,mpeg)1,mpeg2,mpeg3,mpeg4等。
              56.npu为神经网络(neural-network ,nn)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过npu可以实现手机100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
              57.在一些实施例中,npu计算处理器可以运行图像生成模型对源图像和参考图像进行处理从而生成目标图像。
              58.外部存储器接口120可以用于连接外部存储卡,例如micro sd卡,实现扩展手机100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
              59.内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行手机100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储手机100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,ufs)等。
              60.手机100可以通过音频???70,扬声器170a,受话器170b,麦克风170c,耳机接口170d,以及应用处理器等实现音频功能。例如音乐播放,录音等。
              61.音频???70用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频???70还可以用于对音频信号编码和解码。在一些实施例中,音频???70可以设置于处理器110中,或将音频???70的部分功能??樯柚糜诖砥?10中。
              62.扬声器170a,也称“喇叭”,用于将音频电信号转换为声音信号。手机100可以通过扬声器170a收听音乐,或收听免提通话。
              63.受话器170b,也称“听筒”,用于将音频电信号转换成声音信号。当手机100接听电话或语音信息时,可以通过将受话器170b靠近人耳接听语音。
              64.麦克风170c,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170c发声,将声音信号输入到麦克风170c。手机100可以设置至少一个麦克风170c。在另一些实施例中,手机100可以设置两个麦克风170c,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,手机100还可以设置三个,四个或更多麦克风170c,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
              65.耳机接口170d用于连接有线耳机。耳机接口170d可以是usb接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,omtp)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the usa,ctia)标准接口。
              66.按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。手机100可以接收按键输入,产生与手机100的用户设置以及功能控制有关的键信号输入。
              67.马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
              68.指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
              69.sim卡接口195用于连接sim卡。sim卡可以通过插入sim卡接口195,或从sim卡接口195拔出,实现和手机100的接触和分离。手机100可以支持1个或n个sim卡接口,n为大于1的正整数。sim卡接口195可以支持nano sim卡,micro sim卡,sim卡等。同一个sim卡接口195可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。sim卡接口195也可以兼容不同类型的sim卡。sim卡接口195也可以兼容外部存储卡。手机100通过sim卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,手机100采用esim,即:嵌入式sim卡。esim卡可以嵌在手机100中,不能和手机100分离。
              70.下面结合附图,以手机作为电子设备为例,对本技术实施例提供的妆容迁移方法进行详细介绍。
              71.图4为本技术实施例提供的一种妆容迁移方法的流程示意图。图4所示的妆容迁移
              方法可以包括以下步骤:s401、获取源图像和参考图像。
              72.源图像为需要进行上妆的人脸图像。示例性的,源图像可以为男性或女性的人脸图像。源图像可以为数字图片或数字视频帧。源图像中的人脸图像不包括妆容。比如,图1中源图像102没有眼睫毛、口红。
              73.参考图像表示带有妆容的人脸图像。示例性的,参考图像可以为男性或女性的人脸图像。参考图像可以为数字图片或数字视频帧。比如,如图1所示,参考图像101包括妆容,参考图像101的妆容包括眼睫毛,口红。
              74.人脸图像表示图像中包括有至少一张人脸,人脸图像中人脸可以为正面朝向,侧面朝向等。
              75.参考图像与源图像的人的类别存在差别。人的类别表示基于性别、年龄、地理位置、相貌特征等进行分类所产生的类别。人的类别可以包括男性、女性、成年人、老年人、不同地区的人。例如,参考图像为男性,源图像为女性。又例如,参考图像为高原地区的人,源图像为沿海地区的人。又例如,参考图像为高纬度地区的人,源图像为低纬度地区的人。又例如,参考图像为成年女人,源图像为未成年女人。
              76.在一些实施例中,手机100可以通过常用的方式获取源图像和参考图像,例如,手机100可以通过数据接口,网络等来获取源图像和参考图像。
              77.s402、提取源图像的显著性区域得到源图像显著特征,提取参考图像的显著性区域得到参考图像显著特征。
              78.显著性区域表示人脸图像中有突出特点的区域,例如,人脸图像中的显著性区域可以包含人脸图像中的五官所在区域。又例如人脸图像中的显著性区域可以为人脸图像中五官的其中一个或多个部位所在区域,例如嘴巴所在区域,眼睛所在区域等。
              79.显著特征表示显著性区域所包含的特征。在一些实施例中,显著特征可以用矩阵,向量,数值来表示。显著特征包括了人脸五官所具有的信息。例如,显著特征包括妆容特征,五官特征,类别特征等。
              80.妆容特征表示人脸中对五官进行上妆后所具有的特征。在一些实施例中,妆容特征包括眼影特征,嘴唇颜色特征,眼睫毛特征等。眼影特征可以包括眼影的颜色、大小、轮廓、形状等。眼睫毛特征可以包括眼睫毛的长度、弯曲程度、数量等。在一些实施例中,妆容特征可以为无妆容。
              81.五官特征包括五官各部位大小,五官各部位在脸中的位置,五官形态,五官轮廓等。
              82.类别特征表示不同类别的人所具有的人的生理特征(比如五官形态、五官轮廓)。类别可以基于人的五官特征和其他生理特征来进行确定。示例性的,可以根据不同的类别特征将人划分为多种类别。例如,可以通过类别特征将人分为三类,第一类人的类别特征为鼻梁较高,眼睛较大,五官较突出。第二类人的类别特征表示鼻梁较低,眼睛较小,五官较扁平。第三类人的类别特征为颧骨较平,鼻梁中等大小,低鼻梁,浅眉毛。又例如,男人包含的类别特征为眶上缘较圆且厚重,颧骨较突出,下颌骨偏方,额头较后倾,眉弓较高,女人包含的类别特征为眶上缘较锐利,颧骨不明显,下颌骨较圆,额头较平,眉弓较低。
              83.不同人五官不一致导致了不同人的类别特征不同,不同人的类别特征不同是造成
              如图1所示的妆容迁移过程中妆容溢出或妆容缺失的主要原因。
              84.第一显著特征为源图像显著特征。第二显著特征为参考图像显著特征、在一些实施例中,源图像显著特征包括源图像的五官特征,妆容特征,类别特征。源图像中的妆容特征可以为无妆容。在一些实施例中,参考图像显著特征包括参考图像的五官特征,妆容特征,类别特征。
              85.s403、去除源图像显著特征中的类别特征得到去类别源图像特征,去除参考图像显著特征中的类别特征后得到去类别参考图像特征。
              86.去类别源图像特征表示去除了源图像显著特征中的类别特征后所保留的特征。例如去类别源图像保留了源图像的五官特征。
              87.去类别参考图像特征表示去除了参考图像显著特征中的类别特征后所保留的特征。例如去类别参考图像特征保留了参考图像中的五官特征和妆容特征。
              88.去除类别特征表示去除了源图像和参考图像中人的类别不同而所导致的妆容不匹配。仅作为示例,一个成年人的脸部妆容要迁移到一个未成年人人脸上。提取出成年人的妆容特征和类别特征以及提取出未成年人的五官特征和类别特征后,去除成年人的类别特征后就留下了妆容特征即知道了成年人的妆容实质是什么样的(如眼睫毛很长,口红是粉红色的),而不再关注成年人的妆容在成年人的五官上的具体位置和具体大小。去除成年人和未成年人的类别特征后再进行妆容迁移,可以避免减少五官大小所带来的妆容迁移的影响。
              89.去除类别特征可以避免后续进行妆容迁移时,因源图像和参考图像中五官不一致而导致的妆容不匹配现象。
              90.s404、基于去类别源图像特征和去类别参考图像特征生成目标图像。
              91.目标图像为参考图像的妆容迁移到源图像之后的图像。目标图像中包含了参考图像中的妆容特征。
              92.图4所示的步骤有多种实现方式,在一种实现方式中,可以基于训练后的图像生成模型来实现上述图4所示的方法。如图5所示,上述s401-s405的对应实现方式为s501-s505。
              93.图像生成模型为深度学习模型,图像生成模型包括提取子模型、掩码子模型,融合子模型,解码子模型。图像生成模型的输入为源图像和参考图像,输出为目标图像。图像生成模型的训练可以参见图6,图7及其相关描述。
              94.s501、获取源图像和参考图像。
              95.s501的具体实现方式可以参考s401,此处不再赘述。
              96.s502、第一提取子模型提取源图像的显著性区域得到源图像显著特征,第二提取子模型提取参考图像的显著性区域得到参考图像显著特征。
              97.提取子模型为神经网络模型,提取子模型包括第一提取子模型和第二提取子模型。第一提取模型和第二提取模型可以是相同的模型或不相同的模型。第一提取子模型用于提取源图像的显著性区域得到源图像显著特征。第二提取子模型用于提取参考图像的显著性区域得到参考图像显著特征。第一提取子模型的参数可以与第二提取子模型的参数可以不一致。在一些实施例中,提取子模型包括用于提取显著性区域的两个以上残差块,提取子模型的残差块可以为残差神经网络中的残差块。两个以上残差块通过级联连接。级联连接表示上一个残差块的输出可以作为下一个残差块的输入。在另一些实施例中,提取子模
              型可以包括一个或以上卷积核。在另一些实施例中,提取子模型还可以包括图神经网络。
              98.训练后的提取子模型通过训练可以使其更关注于图像中的显著性区域,并能提取出图像中的显著性区域。仅作为示例,训练后的提取子模型可以基于两个以上残差块对源图像和参考图像执行卷积操作、应用激活函数等多种操作提取出显著性区域并输出得到源图像显著特征矩阵和参考图像显著特征矩阵。卷积操作包括输入图像与权重矩阵之间的矩阵乘运算。
              99.示例性的,如图5所示,显著特征用显著特征矩阵来表示,显著特征矩阵为多维矩阵。矩阵中包括了五官特征、妆容特征、类别特征等信息。在一些实施例中,矩阵中某一行或某一列可以表示为类别特征。比如,图5中显著特征矩阵410的最左侧一列表示类别特征(用虚线表示)。在一些实施例中,第二提取子模型可以提取参考图像的妆容特征,可以使用妆容特征矩阵来表示妆容特征。在一些实施例中,妆容特征矩阵为格拉姆(gram)矩阵。
              100.s503、掩码子模型去除源图像的类别特征得到去类别源图像特征,掩码子模型去除参考图像的类别特征后得到去类别参考图像特征。
              101.在一种实现方式中,掩码子模型为神经网络模型,掩码子模型可以包括多个全连接层。掩码子模型用于执行掩码操作。掩码操作表示选择样本数据并选择性的去除样本数据中的一些特征。
              102.训练后的掩码子模型可以基于源图像显著特征和参考图像显著特征进行处理,识别出类别特征,并执行掩码操作后去除类别特征,分别得到去类别源图像特征和去类别参考图像特征。
              103.在一些实施例中,掩码子模型去除类别特征可以为去除了显著特征矩阵中类别特征所存在的部分。示例性的,如图5所示,掩码子模型去除了显著特征矩阵中的类别特征(最左侧一列,用虚线表示)。
              104.s504、融合子模型基于去类别源图像特征和去类别参考图像特征进行融合得到融合显著特征。
              105.在一种实现方式中,融合子模型为神经网络模型。在一些实施例中,融合子模型可以包括一个或以上卷积核和全连接层。示例性的,卷积核的大小为1
              ×
              1。在一些实施例中,融合子模型可以为全连接层。融合子模型的输入为去类别源图像特征和去类别参考图像特征,输出为融合显著特征。
              106.在一些实施例中,训练后的融合子模型将去类别源图像特征中的五官特征和去类别参考图像特征中的妆容特征进行融合得到融合显著特征。比如,将图2中参考图像中口红颜色融合至源图像嘴唇的位置,将参考图像中眼睫毛迁移至源图像眼睛的位置。融合显著特征融合了源图像特征中的五官特征和去类别参考图像特征中的妆容特征即可以认为将参考图像中的妆容迁移到了源图像中的五官。
              107.示例性的,如图5所示,融合子模型将去类别源图像特征矩阵和去类别参考图像特征矩阵融合为一个融合显著特征矩阵。
              108.s505、解码子模型将融合显著特征进行解码生成目标图像。
              109.解码子模型为神经网络模型,在一些实施例中,解码子模型可以为神经网络中编码器-解码器架构中的解码器。解码子模型的输入为融合显著特征,输出为目标图像。
              110.生成的目标图像由于在之前的过程中保留了妆容风格,去除了类别特征即避免了
              源图像和参考图像五官不一致所带来的影响,融合子模型可以更好的将参考图像中妆容迁移到源图像上,避免了目标图像中的妆容不匹配现象,即生成的目标图像的妆容会自适应源图像的五官大小。
              111.图像生成模型经过第一训练和第二训练得到,图6为第一训练示意图。图7为第二训练示意图。
              112.第一训练为对提取子模型和掩码子模型的训练。第一训练的目的是为了提取出图像中的显著性区域,并识别出类别特征所在的位置再去除类别特征。图像生成模型包括了多个子模型,先对其中的提取子模型和掩码子模型单独拿出来进行第一训练可以优化整体的训练流程。第一训练完成后再进行第二训练,第二训练可以直接使用提取子模型和掩码子模型的参数再进行训练,避免了直接对所有子模型进行训练造成的训练参数过多,训练效果较差,训练进度过慢。
              113.第一训练可以包括s601-s605。
              114.s601、第一提取子模型提取源图像的显著性区域得到源图像显著特征,第二提取子模型提取参考图像的显著性区域得到参考图像显著特征。
              115.提取子模型包括第一提取子模型和第二提取子模型。其中s601与s502相同,此次不再赘述。
              116.s602、掩码子模型根据预设规则,去除源图像显著特征和参考图像显著特征中的相同维度特征后分别得到去除相同维度后的源图像显著特征和参考图像显著特征。
              117.预设规则表示去除源图像显著特征和参考图像显著特征时的相同维度特征时所按照的逻辑规则。作为示例,源图像显著特征矩阵和参考图像显著特征矩阵中相同维度可以为该两个矩阵中相同的某一列或某一行区域。例如,预设规则可以为依次去除源图像显著特征和参考图像显著特征所对应的多个矩阵中每个矩阵的相同的一列或一行,作为示例,如图5所示,s502去除了两个矩阵中的最左边一列。又例如,预设规则可以为依次去除源图像显著特征和参考图像显著特征所对应的多个矩阵中的相同的一个矩阵。又例如,预设规则可以为去除源图像显著特征和参考图像显著特征所对应的多个矩阵中的中心区域。
              118.s603、判别神经网络判断去除相同维度后的源图像显著特征和参考图像显著特征所对应的人是否属于相同类别。
              119.判别神经网络为训练后的神经网络。在一些实施例中,判别神经网络可以为一个二分类的神经网络,判别神经网络的输入为去除相同维度后的源图像显著特征和参考图像显著特征,输出为相同类别或不同类别,判别神经网络可以判断去除相同维度后的源图像显著特征和参考图像显著特征所对应的人是否属于相同类别。
              120.由于掩码子模型是根据预设规则来去除的显著特征中的相同维度特征,所以用户并不知道去除的相同维度特征其具体是指代的图像中的什么内容。所以通过判别神经网络来判断去除这相同维度特征后得到的源图像显著特征和参考图像显著特征所对应的人是否属于相同类别,可以进而判断去除的这相同维度特征是属于类别特征。例如,类别特征位于多个显著特征矩阵中的最左边一列,去除最左边这一列后判别神经网络判别去除相同维度特征后的源图像显著特征和参考图像显著特征所对应的人是属于相同类别,则可以认为去除的是类别特征,如果判别神经网络判别去除相同维度特征后的源图像显著特征和参考图像显著特征所对应的人不属于相同类别,则可以认为去除的不是类别特征。
              121.如果判别神经网络判断去除相同维度特征后的源图像显著特征和参考图像显著特征是属于相同类别,则执行s604。如果判别神经网络去除相同维度特征后的源图像特征和参考图像特征不属于相同类别,执行s605。
              122.s604、固定当前第一提取子模型、第二提取子模型和掩码子模型参数,第一训练完成。
              123.如果判别神经网络判断去除相同维度特征后的源图像显著特征和参考图像显著特征所对应的人是属于相同类别,则将提取子模型和掩码子模型的参数进行固定,第一训练完成。此时的提取子模型和掩码子模型参数就能够被认为能提取出图像中的显著性区域得到显著特征,并从显著特征中识别出类别特征所在的位置再去除类别特征,即能够完成s502-s503。
              124.s605、继续调整第一提取子模型、第二提取子模型和掩码子模型参数,重复执行s601-s605。
              125.判别神经网络如果判断去除相同维度特征后的源图像显著特征和参考图像显著特征所对应的人不属于相同类别,则继续调整提取子模型和掩码子模型的参数,并重复执行s601-s605。例如,提取子模型和掩码子模型通过梯度下降不断调整提取子模型和掩码子模型的参数。作为示例,掩码子模型去除了源图像显著特征和参考图像显著特征所对应的矩阵中的最左边一列,如判断出该最左边一列不是类别特征,就根据预设规则继续调整提取子模型和掩码子模型的参数去除左边第二列,去除左边第二列后再继续执行步骤s603。
              126.第二训练为对图像生成模型的训练,第二训练可以包括s701-s704:s701、将多个样本源图像和样本参考图像输入到图像生成模型,得到输出图像。
              127.样本源图像和样本参考图像表示作为训练样本的输入。输出图像表示训练完成前图像生成模型的输出图像。
              128.s702、确定对抗损失函数值;确定妆容损失函数值;确定感知损失函数值。
              129.在一些实施例中,可以将输出图像和标签图像通过对抗神经网络中的判别器,并基于判别器判别的真伪来构建对抗损失函数值。标签图像为人为设置的妆容特征迁移后的真实图像,标签图像作为训练时的标签。对抗损失函数包括第一对抗损失和第二对抗损失。在一些实施例中,可以先基于标签图像和输出图像构建第一对抗损失训练判别器,训练完成后再基于标签图像和输出图像再构建第二对抗损失来训练图像生成模型。在一些实施例中,可以基于构建的对抗损失函数确定对抗损失函数值。对抗损失函数值可以表示输出图像的真实程度大小。对抗损失函数值越大表示图像的真实程度越小,对抗损失函数值越小表示图像的真实程度越大。
              130.妆容损失函数值反映参考图像的妆容特征矩阵与标签妆容特征矩阵之间的差异。标签妆容特征矩阵表示作为标签图像中的妆容特征矩阵。在一些实施例中,可以提取出标签图像中的妆容特征矩阵来作为标签妆容特征矩阵。参考图像中的妆容特征矩阵基于第二提取子模型提取得到。妆容损失函数可以基于参考图像的妆容特征矩阵与标签妆容特征矩阵之间的差异进行构造。在一些实施例中,可以基于构建的妆容损失函数确定妆容损失函数值。
              131.感知损失函数值反映输出图像与标签图像之间的差异。感知损失函数可以基于参考图像与标签图像中之间的差异进行构造,在一些实施例中,可以基于构建的感知损失函
              数确定感知损失函数值。
              132.s703、调整图像生成模型的参数,以使得对抗损失函数值、妆容损失函数值和感知损失函数值的和最小化。
              133.训练时,可以调整图像生成模型的参数,以最小化总损失函数值为目标。总损失函数值=对抗损失函数值+妆容损失函数值+感知损失函数值。在一些实施例中,可以通过梯度下降来调整更新图像生成模型的参数。例如,可以通过调整图像生成模型中的各个子模型的参数来使得总损失函数值最小。
              134.s704、调整结束后,固定图像生成模型的参数。
              135.当调整后的图像生成模型的参数使得总损失函数最小时,训练结束。将此时的图像生成模型作为训练完成后的图像生成模型。
              136.可以理解的是,上述电子设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件???。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本技术实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本技术实施例的范围。
              137.本技术实施例可以根据上述方法示例对上述电子设备进行功能??榈幕?,例如,可以对应各个功能划分各个功能???,也可以将两个或两个以上的功能集成在一个处理??橹?。上述集成的??榧瓤梢圆捎糜布男问绞迪?,也可以采用软件功能??榈男问绞迪?。需要说明的是,本技术实施例中对??榈幕质鞘疽庑缘?,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
              138.在采用集成的单元的情况下,图8示出了上述实施例中所涉及的电子设备的一种可能的结构示意图。该电子设备800包括:处理单元801、存储单元802和显示单元803。
              139.其中,处理单元801,用于对电子设备800的动作进行控制管理。例如,可以用于执行图4中,s401、s402、s403 和s404的处理步骤;和/或用于本文所描述的技术的其它过程。
              140.存储单元802,用于保存电子设备800的指令和数据,处理单元801调用存储单元802存储的程序代码,以执行以上方法实施例中的各个步骤。例如,上述指令可以用于执行如图4及相应实施例中的各个步骤。上述数据可以包括源图像、参考图像、目标图像等。
              141.显示单元803,用于显示电子设备800的图像或视频。例如显示单元803可以用于源图像、参考图像、目标图像。
              142.当然,上述电子设备800中的单元??榘ǖ幌抻谏鲜龃淼ピ?01和存储单元802。例如,电子设备800中还可以包括通信单元、电源单元等。通信单元,用于支持电子设备800与其他网络实体的通信;例如,可以用于支持电子设备800与服务器通信,查询服务器保存的源图像或参考图像等。电源单元用于对电子设备800供电。
              143.其中,处理单元801可以是处理器或控制器,例如可以是中央处理器(central processing unit,cpu),数字信号处理器(digital signal processor,dsp),专用集成电路(application-specific integrated circuit,asic),现场可编程门阵列(field programmable gate array,fpga)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。存储单元802可以是存储器。通信单元可以是收发器、收发电路等。
              144.例如,处理单元801为处理器(如图3所示的处理器110);存储单元802可以为存储器(如图3所示的内部存储器121);通信单元可以称为通信接口,包括移动通信??椋ㄈ缤?所示的移动通信???50)和无线通信??椋ㄈ缤?所示的无线通信???60)。本技术实施例所提供的电子设备800可以为图3所示的手机100。其中,上述处理器、存储器、通信接口等可以连接在一起,例如通过总线连接。处理器调用存储器存储的程序代码,以执行以上方法实施例中的各个步骤。
              145.本技术实施例还提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序代码,当上述处理器执行该计算机程序代码时,电子设备执行上述实施例中的方法。
              146.本技术实施例还提供了一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述实施例中的方法。
              147.其中,本技术实施例提供的电子设备800、计算机可读存储介质或者计算机程序产品均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
              148.通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能??榈幕纸芯倮得?,实际应用中,可以根据需要而将上述功能分配由不同的功能??橥瓿?,即将装置的内部结构划分成不同的功能???,以完成以上描述的全部或者部分功能。
              149.在本技术所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述??榛虻ピ幕?,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
              150.另外,在本技术各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以使用硬件的形式实现,也可以使用软件功能单元的形式实现。
              151.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中?;谡庋睦斫?,本技术实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、rom、磁碟或者光盘等各种可以存储程序代码的介质。
              152.以上所述,仅为本技术的具体实施方式,但本技术的?;し段Р⒉痪窒抻诖?,任何在本技术揭露的技术范围内的变化或替换,都应涵盖在本技术的?;し段е?。因此,本技术的?;し段вσ运鋈ɡ蟮谋;し段?。
              当前第1页1 2 
              网友询问留言 已有0条留言
              • 还没有人留言评论。精彩留言会获得点赞!
              1
              彩票快三