Snap合伙人峰会:强化AR试穿、云AR和ML技术研发,智能无人机亮相

Esther|编辑

4月29日,一年一度的Snap合伙人峰会再次来袭,本届峰会有几大重点:1)公布业务进展;2)展示由品牌、开发者创造的大量有趣的AR滤镜应用;3)升级Lens Studio,并推出云端AR服务Lens Cloud;4)专为服装试穿打造的AR功能;5)与Live Nation合作,为现场活动开发AR互动体验;6)未发布新AR硬件,而是推出便携的智能无人机,以推动AR短视频创作。

和往年一样,Snap在合伙人峰会上公布Snapchat等业务的最新数据,汇总如下:

  • ◎ Snapchat月活用户已经突破6亿人,日活则超过3亿人(连续三年实现同比增长);
  • ◎ Snapchat用户每天使用AR滤镜功能的次数达到60亿;
  • ◎ Snapchat已经深入年轻人市场,在20多个国家中,年龄在13到34岁的人群有75%以上都在使用Snapchat;
  • ◎ Snapchat AR滤镜创作者已经超过25万人,累计创作250万个AR滤镜;
  • ◎ Snapchat AR滤镜累计浏览量达5万亿次以上,超300位创作者开发的AR滤镜已经累计获得10亿次以上浏览量;
  • ◎ 来自30个国家的数百名开发者已经在使用Spectacles开发AR。

升级Lens Studio

Snap表示:在过去几年里,Snapchat经历了大量改变,它正在从一种基于摄像头的社交方式,升级成一个AR平台。开发者们在Spectacles AR眼镜和Snapchat应用中探索AR的多种应用场景,比如语音交互AR界面、多人AR、手语输入、基于ML技术的环境识别AR等等。

为了提升AR开发效果,Snap将升级Lens Studio,为AR滤镜带来更好的可定制性、逼真感和互通性。此外,还将结合光追(Ray Tracing)、ML环境识别等技术,来提升光影渲染效果,即使是AR珠宝模型,也能看起来足够逼真。Tiffany&Co、迪士尼和皮克斯等合作伙伴,就利用全新的Lens Studio功能开发了逼真的AR滤镜。

还有全新的AR云服务Lens Cloud,号称将带来次代AR体验。这是一个免费的后端服务集合,包含了远程3D资产渲染、基于地理位置的AR服务、持续的LBS标记、多人服务。接下来,还将推出云端储存服务,用于构建复杂的交互式AR。

此外,Lens Studio还推出API库,可将财经、翻译、天气、星座运势、体育比分等实时数据引入AR。而Event Insights功能,则用于优化摄像头的分析功能,允许开发者了解用户在使用AR滤镜时的行为。

基于ML的AR应用

Snapchat AR滤镜受到年轻人广泛欢迎,因而产生了大量AR创作者,他们设计出各种有创意的AR应用场景。接下来,Snap的研发方向将侧重于ML技术,因此推出全新的GHOST创新计划,专注于ML研发。

目前,gospooky使用机器学习技术,开发了一款环保主题的AR滤镜,可将汽车转化为虚拟花园。此外,Balti Virtual开发了一款基于Bitmoji的多人AR桌游,而MODEM则开发了一款基于姿态识别的AR瑜伽教学滤镜,Ecobatics开发了一款辅助低视力人群的AR界面增强滤镜(采用文字识别和手势识别技术)。

Snap还公布了一些基于Spectacles AR眼镜的应用,比如基于Connective Lens框架的多人魔杖游戏等等。

Camera Kit SDK

Camera Kit是Snap开发的一个SDK,其功能是允许品牌、合作伙伴在自己的应用和网站中引入Snapchat AR滤镜,好处是可以将AR滤镜与其他功能结合,带来全新的应用场景。Camera Kit推出后,已经有越来越多的客户通过它来引入Snapchat AR滤镜库,现有的用户包括迪士尼、微软Flipgrid、三星等等。

比如三星在Galaxy A系列手机的官方相机应用中接入Snapchat AR滤镜,在一年时间里三星用户累计使用Snapchat AR滤镜超10亿次。因此,三星在Galaxy F和M手机中也引入Snapchat AR滤镜。

另外,Zoog利用Lens Studio开发了一些基于通话故事的AR滤镜,并通过Camera Kit将这些AR滤镜引入自己的应用。而Visionaries777则是将Snapchat AR引入其AR教学平台,smule将Snapchat AR滤镜与卡拉OK应用结合,提升音乐社交体验。

强化电商AR营销

AR广告是Snapchat平台的关键业务,近年来越来越多的服装品牌开始用AR为消费者提供商品试用等互动体验。自去年1月开始,已经有2.5亿Snapchat用户使用AR购物滤镜,累积体验次数超过50亿。Snap称,Snapchat被评为最热门的购物分享平台。研究调查显示,用AR辅助消费可将退货率降低25%,而AR商品可视化可将转化率提升94%。

Snapchat的TrueSize技术可为AR广告提升42%投资回报率,Zenni Optical就利用该功能开发AR眼镜滤镜,已经获得超6000万次体验。此外,用户开始用Bitmoji虚拟化身来试穿服装,目前已经累计创建10个以上Bitmoji虚拟化身。

利用AR试穿数字虚拟服装的应用DRESSX也受到用户欢迎,每位平均用户每天使用AR试穿滤镜22次,75% DRESSX用户每天都使用AR。

为进一步满足品牌需求,Snap为AR试穿滤镜推出多项新功能:
  • 1)3D Asset Manager
  • 基于网页端UI,可简化3D模型的管理、优化流程;
  • 2)优化AR试穿体验
  • AR滤镜对用户身上的衣服要求更低,无需再穿紧身衣,也能通过AR换装;
  • 3)简化3D AR开发
  • 可通过AI技术,将2D图像自动转化为3D AR,无需用户创建3D资产,从而降低时间和资金成本;
  • 4)专门的试妆板块:Dress Up
  • 整合AR试穿滤镜,允许消费者一键浏览和试穿饰品和服装;
  • 5)Camera Kit for AR Shopping
  • 支持品牌商将Snapchat AR滤镜引入自己的应用和网站。这意味着Snap将打入各大电商平台,与现有的其他AR试穿方案竞争。Puma是该功能的首批用户之一。

与Live Nation合作

在本届峰会,Snap宣布与现场娱乐公司Live Nation达成长期合作,利用AR来优化现场表演,增进表演者与粉丝之间的互动。应用场景包括狂欢节、音乐节等等。首次合作将在今年5月的EDC活动上布局AR。

歌迷可以在音乐会上打开Snapchat,体验与表演互动的沉浸式AR,或是在音乐节等活动上,用AR来试穿商品、寻找朋友、解锁节日场地周围的独家地标。

pixy无人机

数据对于互联网平台非常关键,尤其是AR这种新兴的平台,需要大量的环境数据来优化AR效果。此前,Meta推出了Project Aria项目,通过内部员工、合作伙伴使用有摄像头的眼镜来收集环境数据。由于隐私问题,可收集的数据规模有限,而配备摄像头的眼镜采用穿戴式设计,受众规模远不及智能手机。Snap从此前推出的消费级拍照眼镜Spectacles中,就吸取了经验。因此,这一次Snap决定将摄像头放在受年轻人欢迎的无人机上。

年轻群体欢迎无人机,它可以为用户创造更多价值,带来有趣的高空拍摄体验。专业的无人机设备成本高昂,而pixy这种便携式无人机价格仅229美元起,还能升级AR短视频社交体验。

pixy的特点是有飘浮、旋转、跟随等预设的飞行路线/模式,无需控制器、设置简单,可跟着你的路线持续拍摄。这其实是一个简易、智能的无人机,它可识别你的手掌,可缓慢、自动的降落在你手上。

pixy录制的视频可实时保存在Snapchat Memories中,此外还为你提供快捷的特效剪辑、AR滤镜、音效等功能,允许你快速在Snapchat甚至其他社交平台上分享短视频。

( END)