摘自南开新闻网单反相机的“大光圈”能拍出“前清后虚”的效果,记录非常漂亮的散景,为画面营造艺术氛围,因此人们倍加喜爱。今年10月,华为公司在新发布的手机“华为mate10”上,实现了让用户期待的“大光圈智能拍照”功能。这项功能使人们可以摒弃沉重的单反相机,用轻巧的手机拍摄出艺术水准很高的图片。而该功能的实现,采用的是南开大学计算机与控制工程学院教授程明明科研团队的“显著性物体检测技术”。
记者了解到,相比普通手机拍照功能,使用“显著性物体检测技术”的手机在拍摄图像过程中,能自动找到与“主体物”对应的像素,结合后期处理技术,使“主体物”更加清晰突出,背景更加虚化模糊。
左图为普通手机拍照效果,右图为手机采用“显著性物体检测技术”拍照效果
程明明在介绍时谈到,“显著性物体检测技术”对算法性能要求极高,既然是“显著性物体”,说明用户对这些“主物体”非常关注,任何一点错误,哪怕是几十万个像素中的1%,都容易被用户注意到,影响用户拍照体验,因此难度很大,该技术在经过华为公司内部严苛的测试后才被采用。
程明明坦言,科学研究最大的难点是打破思维定势。在“显著性检测技术”研究中,他与科研团队主要进行了两个阶段的研究。第一阶段,是研究并揭示传统局部分析的非完备性,提出基于全局分析的显著性物体检测算法,提高显著性物体检测的精度。第二阶段,是利用物体的闭合轮廓属性,设计一套基于闭合轮廓分析的候选物体生成算法,在保证检测率不降低的前提下,将候选物体生成效率相对传统方法提升了1000多倍。与此同时,科研团队在研究中还借鉴了儿童学习过程里从简到难并利用视觉注意机制自主判断物体范围的机制,利用显著性物体检测机制从互联网图像中自动生成目标分割结果,并自动为机器学习算法生成大量像素级精度标注样本,摆脱了图像理解算法对于大量精确人工标注的依赖。
程明明谈到,他与科研团队从认知机理入手,结合脑认知科学与计算机科学的研究成果,在理论、算法及应用等方面开展研究,剖析并解决视觉显著性物体检测、候选物体快速生成、智能分析与交互技术中的一些关键问题,以此进行科研技术突破创新。
程明明透露,“显著性物体检测技术”只是他与科研团队研究的“冰山一角”,在这项技术“幕后”真正的支撑研究是“图像内容理解与智能处理”。
“开展‘图像内容理解与智能处理’研究具有重要的理论意义和实用价值。”程明明指出,人类大脑获取的信息,80%以上来自于视觉通道,视觉是人类进行各种智能活动的重要基础,进行“图像内容理解与智能处理”研究,不仅将推动手机中数字图像信息研究的发展进程,还将对机器人视觉信息处理、抗震救灾中的物体识别与监测等研究领域产生重要影响,实现例如人脸识别、旅游场景识别、植物分类识别、学生作业内容识别与分析等人们日常生活中的一系列智能需求。
程明明指出,进行“图像内容理解与智能处理”研究的目的是给手机及各种机器设备安装一双“智慧的眼睛”,做用户的知己,为用户服务,该研究几乎能与所有传统研究领域结合,带来的福祉没有边际。
过去10年里,程明明科研团队一直专注从事“图像内容理解与智能处理”研究,在计算机视觉和计算机图形学领域的顶级学术会议和期刊上发表30余篇学术论文,获得10余项国家发明专利授权。因“显著性物体检测技术”在手机“华为mate10”上的成功应用,程明明科研团队还荣获了由华为颁发的“2017年优秀合作成果奖”。
谈到下一步的研究计划时,程明明表示,未来他与科研团队还将在语义理解、图像处理、无监督学习等方面进行探索,拓展相关技术应用范围,努力对接国家重大科技需求,为社会经济发展贡献南开人的智慧与力量。