http://tech.010lm.com

研究动态|语音驱动姿势生成模型来了,肢体语言比总统候选人还丰富

『北京联盟摘要_研究动态|语音驱动姿势生成模型来了,肢体语言比总统候选人还丰富』瑞典皇家理工学院的研究者做到了!你能看出上图中的人物姿势是仅基于一段语音生成的吗?基于语音生成上半身动作甚至全身姿势,并实现速度、对称度等高级的姿势控制,瑞典皇家理工学院的一项研究做到了。该研究提出的方法不仅能够基于语音合成对应的姿势,还可以为同样的...



只输入语音便能生成人体姿势 。 瑞典皇家理工学院的研究者做到了!

本文插图

你能看出上图中的人物姿势是仅基于一段语音生成的吗?
基于语音生成上半身动作甚至全身姿势 , 并实现速度、对称度等高级的姿势控制 , 瑞典皇家理工学院的一项研究做到了 。
该研究提出的方法不仅能够基于语音合成对应的姿势 , 还可以为同样的语音生成不同的姿势:

本文插图


本文插图

上面这两组姿势竟然表达的是同一段话?
仅仅这样还不够 , 该方法还提供高级的风格控制 , 比如速度:

本文插图

左右方姿势的对称度:

本文插图

说话时姿势动作的半径范围 , 动作幅度的大小尽在掌控:
【研究动态|语音驱动姿势生成模型来了,肢体语言比总统候选人还丰富】

本文插图

甚至还能控制一侧手臂的高度位置:

本文插图

此外 , 该方法还可以生成全身的姿势动态 , 包括站姿的变化和脚步的移动:


本文插图

具体效果参见视频:
Demo 展示的效果征服了一批 reddit 网友 。 他们表示 , 如果能将这个技术用在游戏(如《无人深空》)或 VR 产业 , 那么无需昂贵的人体动作捕捉就能生成逼真的高质量动作 , 这可以大大降低游戏的开发成本 , 也能让对话情境下的 VR 人物更加逼真 。

本文插图

那么 , 如此逼真的姿势动作是如何生成的呢?我们来看这项研究的具体细节 。
只用语音生成人物姿势
逼真姿势的自动合成有望改变动画、替身和交际智能体领域 。 在离线应用中 , 新工具可以将动画师的角色转变为导演 , 他只需为期望的动画效果提供高级输入即可 。 之后 , 学得的网络将这些指令转换为适当的身体姿势序列 。 在交互场景中 , 实时生成自然动画的系统是塑造可信和关联角色的关键所在 。
瑞典皇家理工学院的研究者通过对 MoGlow 这一基于深度学习的动作合成方法进行改进 , 提出了一种新的生成模型 , 该模型可实现当前最优的语音驱动姿势生成 。
得益于该方法的概率属性 , 在给定相同输入语音信号的情况下 , 该模型可以生成多个不同且合理的姿势 , 实现动作的自然变化 。


本文插图

  • 论文主页:https://diglib.eg.org/handle/10.1111/cgf13946
  • 项目地址:https://github.com/simonalexanderson/StyleGestures
研究者还展示了该模型对输出风格施加指引性控制的能力 , 如姿势高度、速度、对称度和空间活动范围 。 这类控制可用来传达期望角色的个性或情绪 。 研究者在未对数据做任何手动标注的情况下 , 实现了以上功能 。
在实验部分 , 用户研究表明 , 该方法生成的上半身姿势动作自然 , 并且与输入语音非常匹配 。 该方法的评分高于先前所有的此类系统和基线方法 , 并且接近原始记录动作的评分 。
研究者进一步发现 , 该方法可以在不损失动作的感知自然度的情况下 , 准确地控制姿势风格 。
最后 , 研究者展示了该方法同样适用于行走和站立等全身姿态的动作合成 。
接下来 , 我们来看该模型的实现原理和具体效果 。
实现原理
该研究提出的概率生成模型基于近期关于归一化流的工作构建 , 尤其是 MoGlow [HAB19] 。 该模型可在大型非结构化运动数据集上进行训练 , 且数据无需手动标注 。

与直接基于语音合成动作的方法不同 , 该模型的训练过程中将语音作为输入 , 建模动作的条件概率分布 。 这样就可以基于概率分布采样新的姿势 , 从而每一次都可以生成不同却合理的姿势 。 这与人类行为一致 , 并且可以为虚拟智能体和动画行业提供不错的应用优势 。
该方法的优势包括:
  • 数据集无需手动标注;
  • 具备不确定性(因而可以得到无限种类的姿势变体);
  • 能够输出全身姿势 。
具体而言 , 在实现语音驱动姿势合成的过程中 , 研究者使用了归一化流(normalising flow) 。 完整的动作生成流程如下图 1 所示:

推荐

华为三款新品正式开售,看看有没有你的菜
科技

华为三款新品正式开售,看看有没有你的菜

笔记本上,MateBookD分为14/15两个尺寸的版本,是一款全面屏轻薄本。首次搭载了AMD锐龙4000系列处理器,可选项为R5/R7,存储上为全系16GB+512GB。整机机身材质为金属,厚度为16.9mm,重量为1.53kg,在轻薄本中对比竞品并不占据优势。优势在于和华为手机用户建立“多屏协...

小米官方发布小米智能微烤一体机
科技

小米官方发布小米智能微烤一体机

大功率微波快速加热,无论热饭还是蒸菜都能得心应手。配备双石英烤管,升温迅速,烤串、鸡翅随时尽享美味。米家智能微烤一体机同时配备微波与石英管烧烤功能,在双重火力作用下,让食物口感更佳。在组合模式下,微波可以直达食物内部,使内部充分受热;石英管则可以使炸...

压倒U盘最后一根稻草?ORICO iMatch移动固态硬盘体验
科技

压倒U盘最后一根稻草?ORICO iMatch移动固态硬盘体验

难怪有人预言,以后U盘的“退位”,很可能就是PSSD晋级的结果。今天我给大家分享的这款PSSD,就拥有近940MB/s的极限数据传输速度,同时提醒格外小巧,2种配线或接电脑USB-A口,或直插手机Type-C接口、电脑C口直接做超高速外置硬盘,其速度完全把U盘落在千里开外。...

体育产业急需加码数字营销
科技

体育产业急需加码数字营销

而如今在风云变幻的时代,互联网+、媒体、大数据、社群、VR等新型观念的产生,使得我们必须进行数字化转型。不同于跟着热点走的事件营销,体育营销是一项长期规划,它看重运动项目与体育IP本身,通过挖局品牌与体育IP的结合点,为品牌赋能,共同成长。而体育的数字化有...

华为Mate40确认首发麒麟9000!余承东真情流露:这是绝版
科技

华为Mate40确认首发麒麟9000!余承东真情流露:这是绝版

巧妇难为无米之炊,身为厨师,却要被逼着去养猪,这就是华为的现状。在中国信息化百人会2020年峰会上,余承东正式宣布了一件事,那就是华为Mate40将确认首发5nm麒麟芯片,命名为麒麟9000。坏消息是,这可能是麒麟高端芯片的绝唱。由于众所周知的原因,9月15号之后麒麟芯...

在突破性的“时间反转”基础上,可以实现:让任意物体时间倒流!
科技

在突破性的“时间反转”基础上,可以实现:让任意物体时间倒流!

虽然之前的研究涉及的是预定义量子态,但这一次物理学家们已经设计出了一种方法,可以对处于任意未知状态的物体演化发展进行时间反转(时间倒流或时间逆转),有朝一日,一种改进的时间反转方式,可以让我们确认一台量子计算机的正确功能。这台量子计算机的功能如此强大...

国家电网大力推进北斗系统应用与探索
科技

国家电网大力推进北斗系统应用与探索

江苏开山岛电力北斗地面基站投运这正是北斗系统工程“边建边用、以用促建”带来的诸多变化之一。随着北斗三号全球卫星导航系统开通,与我们生活密切相关的电力系统如虎添翼,利用北斗系统厘米级、毫米级精确定位服务、从毫秒级提升到纳秒级的高精度授时,及其短报文覆盖...

特大快讯!最新手机销量排行榜
科技

特大快讯!最新手机销量排行榜

最近 , 中关村在线发布了一周一次的手机销量排行榜从排名上看 , 苹果荣耀华为仍然分列三个品牌部门 排在第11位的依然是荣耀品牌的机型 , 华为和红米也榜上有名 【特大快讯!最新手机销量排行榜】 从排行榜来看 , 第一名至今无人能敌 11; 千元机领域的“扛把子”荣...

三星 Galaxy 手机可以与 Windows 10 电脑之间更加方便的传输文件了
科技

三星 Galaxy 手机可以与 Windows 10 电脑之间更加方便的传输文件了

这项功能比拟起初的文件传输功能来讲,最明显的差别就是在新版本中,三星Galaxy手机所显示的画面将会显示在Window10电脑的屏幕上,你如不雅想将文件传输给手机的话,直接将文件拖入在屏幕上显示的手机镜像即可;反过来说,如不雅你想要将文件大年夜手机传输给电脑的话,...

互联网带来哲学新发展
科技

互联网带来哲学新发展

这促使人们对主体与客体、思维与存在、现实与虚拟、技术与人文、自由与必然关系等一系列哲学问题进行重新审视。解构现代性互联网不仅是在工业化与现代化基础上的进一步发展,并且蕴含了对工业文明和现代性的辩证否定,展现出某些后现代主义和生态化的思维。互联网诞生之...

合肥建成跨境电商总部基地 货品通关成本将可大降
科技

合肥建成跨境电商总部基地 货品通关成本将可大降

该项目将形成集“关”“汇”“税”等监管和服务部门的综合监管中心、跨境电商总部基地、孵化创业、仓储物流、第三方代运营服务等为一体的跨境电商服务基地。该项目位于千丈路和花峰路交口东南角,占地面积为83亩,总建筑面积13.8万平方米,总投资约8亿元。共建有7个单体...

深耕视频制作17年,这家公司如何成为数字创意时代弄潮儿?
科技

深耕视频制作17年,这家公司如何成为数字创意时代弄潮儿?

何谓古典,专指那些还没有将图文、音频内容进行视频化的原始信息传播形态。嗅觉灵敏的人已经走了很远,甚至赚得盆满钵满。“答案茶”靠抖音平台两个月实现从0到249家加盟店、“代古拉K”靠2000万粉丝年入2亿、京东和快手签约、周杰伦入驻快手……那些还在迟疑的人,大部...

湖南省施工图管理信息系统5.0版本启动上线测试
科技

湖南省施工图管理信息系统5.0版本启动上线测试

1一是面向需求重新定制开发,实现多用户多任务同时办理、施工图二三维协同审查、APP移动业务办公。2二是新增BIM智能化审查功能,可对建筑、结构、水、暖、电等专业共170条规范条文进行自动审查。3三是建立勘察设计行业信用管理档案,实现对全省勘察设计各方主体信用信息...

扶持发展海洋经济
科技

扶持发展海洋经济

7月12日,记者从深圳市发改委获悉,本次扶持计划面向海工船舶智能化及海洋观测和探测领域,重点发展海工船舶的智能化信息化装备、船载传感器、深海观测仪器和运载设备等。资助对象为在深圳市(含深汕特别合作区)注册、具备独立法人资格的从事战略性新兴产业研发、生产...

迎广(InWin)肖邦(Chopin):最美小机箱,不用独显的选择
科技

迎广(InWin)肖邦(Chopin):最美小机箱,不用独显的选择

本文插图 这款肖邦迷你机箱 , 来自国内知名机箱品牌迎广 , 尺寸仅为 244 × 217 × 84mm , 重 2.5kg , 适合追求极限体积的玩家 。 本文插图 机箱设计简洁 , 主体结构为 SECC 镀锌钢板 , 4mm 铝合金一体面板凸显质感 , 表面为细腻的拉丝工艺 。 侧面为冲孔网 ,...

游戏手机佼佼者!黑鲨3评测:270Hz触控采样率|很猛,您喜欢吗
科技

游戏手机佼佼者!黑鲨3评测:270Hz触控采样率|很猛,您喜欢吗

该品牌是第一个以“游戏手机”制造商身份出现的品牌,提供真正强大的内部和硬件,旨在为您提供最佳的移动游戏体验。但是,小编过去发现的是,这类手机确实是物有所值的高性能手机。您不必是所谓的游戏玩家就可以享受速度,电池和功能-黑鲨3也是如此。炫酷的外形尺寸:16...