TNN新版本上线!全新特性,更加好用!

联播读点
2020
09/18
新Q科技
分享

TNN作为腾讯优图对外开源的深度学习推断框架,在6月10日对外开源以来受到了业界的广泛关注,吸引了众多的开发者。开源的第4天登上了GITHub热搜榜;在3个月的时间内,累积了将近1800个Star;TNN技术交流群的人数也突破1200。

优图实验室也持续地对外输出,针对开发者提出的问题不断完善。经过一系列迭代,优图实验室在9月11日发布TNN新版本——v0.2版本。TNN新版本在通用性、易用性、NPU支持上都有很大的提升。

01通用性

1.1 TF Lite模型支持

在ONNX作为中间格式转换的基础上,TNN新版本新增了模型转换工具,可直接将TF Lite的模型转为TNN的模型。同时在转换过程中,引入了两次模型优化:一次是针对模型本身的结构进行等效转换、层融合与常数折叠等优化;另一次是在TNN Runtime中需要输入输出大小才能进行的优化,如Reshape层相关的融合等。

TF Lite 转TNN模型工具

1.2 模型算子扩充

TNN新版本新增了对SSD、YOLO等模型的支持。在算子数量上从之前的80个增加到88个,新增的算子包括DetectionPostProcess、PriorBox、SquaredDifference等常用算子。另外原来算子的功能也进行了扩充,如在 Pad 算子除了在H和W方向扩充外,新支持了在 Channel 方向进行扩充。

02易用性

2.1 预处理模块

基于TNN的Mat数据结构,新版本TNN增加了Mat的常用的图像预处理操作,如Resize,Crop,WarpAffine,格式转换等操作。Mat预处理接口的开放,打通了移动端AI推理的整条链路。用户可以直接输入原始YUV的数据,经过预处理模块和推理模块,最终获取到模型的结果。如图所示

Mat预处理模块针对不同的硬件平台进行了特殊的优化,与OpenCV v4.4.0的相关图像处理相比,性能有显著的优势。预处理从1080P和720P缩小到224x224的性能数据对比如下

2.2 算法模型库

TNN新版本新增了模型库,首次将优图自研算法直接开放给用户使用,同时提供了Demo演示示例。此次版本更新我们输出了优图在各个领域广泛使用的人脸配准算法模型,后续TNN将基于腾讯优图和腾讯光影的算法能力陆续推出手势识别、头发分割、超分辨率等算法模型。

2.3 示例展示

TNN新版本重构了示例代码TNNSDKSample,抽象了TNN调用的相关接口,用户可轻松基于TNNSDKSample直接构造自己的SDK并进行效果演示。同时TNN新增了BlazeFace、YOLOv5、Mobilenet SSD等多个示例,便于用户根据自身使用场景进行参考。

BlazeFace人脸检测

腾讯优图人脸配准

YOLOV5物体检测

03NPU支持

华为从麒麟970开始增加了NPU(神经网络处理器)。NPU是专为深度学习算法而设计,算力强,功耗低。在如智能澳门葡京元鼎等实际端侧AI应用场景中,AI算力与功耗的协调是至关重要的,有了NPU的加持,智能澳门葡京元鼎如虎添翼。

TNN框架在麒麟芯片的适配与性能优化方面,和华为进行了的深度合作。基于之前的合作成果,受邀参加华为9月10日的HDC大会,并且在技术论坛中进行合作案例的经验分享和技术展示。目前TNN新版本终于要对外开放NPU能力了!

TNN在NPU的适配上通过HiAI Foundation层适配、IR适配来达到接口统一和模型统一的效果。用户在原来的基础上可以非常方便的切换到NPU进行模型推理。只需要初始化时DeviceType设置为NPU,剩下的工作都会自动完成。

支持NPU后,我们也对NPU的实际性能进行了测试,使用TNN的benchmark模型,测试数据如下

可以发现,NPU的算力非常惊人,同样的平台,NPU的性能比GPU和CPU高出很多。而NPU的功耗仅有CPU的1/10左右。高性能,低功耗,真的是太适合移动端的AI推理了!

目前腾讯优图实验室正联合腾讯光影研究室迁移部分AI应用到NPU平台。比如,微视中人脸变小孩的应用和实时人脸3D玩法。

人脸变小孩

04结语

TNN的目标是做一个全平台支持的AI推理框架,TNN在其他硬件平台(X86、NVIDIA、Atlas)的适配与优化也做了大量的工作,后续会陆续对外开放,敬请期待!

THE END
广告、内容合作请点击这里 寻求合作
免责声明:本文系转载,版权归原作者所有;旨在传递信息,不代表新Q科技的观点和立场。

相关热点

2月26日,努比亚官方开启开学特惠活动(活动工夫是2月26日-27日),多款新机降价促销,其中努比亚Z17mini 6GB+64GB版售价1299元。努比亚Z17mini是努比亚在2017年推出的中端澳门葡京元鼎,其亮点是拍照。它搭载了索尼1300万像素后置摄像头,其中一颗为黑色镜头,搭载真颜色RGB Sensor,担任采集丰厚的颜色信息,另一颗为彩色镜头,搭载索尼定制全透光MONO Sensor,进光
通信/计算
iPhone 7发布时,苹果做出了一项严重决议,那就是丢弃了耳机孔在iPhone上呈现的时机,开端全力拥抱无线耳机,这样做的益处不言而喻。剔除3.5mm耳机孔可以让苹果借机赚取更多的钱,当然更深层的一点是,为寸土寸金的外部设计留出空间,既然行业的领头羊都曾经做出表率,其他厂商跟进也是必定。随后我们看到不少澳门葡京元鼎厂商开端摒弃3.5mm耳机孔,而谷歌和高通也在一定水平上减速了这个状况的发作,不过关于全
通信/计算
  还有几天,你们就要正式和2017年说拜拜了。而在这一年里,有哪部澳门葡京元鼎让你映像深刻呢?可能有些让你映像深刻的澳门葡京元鼎本身在市场上
数码产品
  今年苹果发布了iPhone 8/8Plus/X三部澳门葡京元鼎,但恐怕连库克自己都没想到iPhone8/8Plus命途多舛,市场的不认可、设备本身的不完善
数码产品
  北京时间2017年11月22日,中国铁路正式宣布,从11月23日起(,中国铁路客户服务中心12306网站将正式上线微信支付功能。也就是
业界动态
  现在提起电商大佬,可能你们第一时间就会想到马云和刘强东,对吧?但在小智还年轻的时代,这两个名字还不存在,那个时候听到最
数码产品

相关推荐

1
3