房晓俊 | AR专利的意识流布局

本文是篇“外行看热闹,内行看门道”的文章,是作者写的“三重作品”,一重是文章中大多数发明创造的发明人(之一)是作者本人,二重是这些发明创造背后的专利布局,三重是本文所要表达的专利布局背后的专利布局思维方式。

思想快,则行为快;

思想慢,则行为慢;

思想乱,则行为乱;

思想错,则行为错

不敢想,则不敢干。

假使把我们生活的世界看作“现实世界”,再通过计算机打造一个“数字世界”。那么VR就是这个“数字世界”;AR就是在“现实世界”当中添加虚拟元素,MR就是让我们分不清那些是现实,哪些是虚拟的“混合世界”。

Virtual Reality这个词,最早出现于1935年美国科幻作家斯坦利·温鲍姆的一本不到40页的小说《皮格马利翁的眼镜》里,描述主人公只要戴上这眼镜,就能沉浸到一个可以模拟视觉、听觉、味觉、嗅觉和触感的电影中。而后,1929年,Edward Link设计出用于训练飞行员的模拟器;1956年,Morton Heilig开发出多通道仿真体验系统Sensorama。

VR/AR/MR三者图示区别


距离2016年VR商业元年,概念虚火至今2021年,时隔数年,虚拟现实VR再次成为炙手可热的赛道,但与2014~2016年不同,这次AR力压VR,成为巨头与资本争相追逐的主角。AR布局者中,除早年间押宝VR的Facebook外,国外大玩家苹果、谷歌、微软、高通、Snapchat、三星、爱普生和任天堂,国内大玩家华为、京东方、歌尔、舜宇、国投等都已纷纷入局。
无论如何,VR/AR是5G时代最核心的应用场景已经形成业内普遍共识,也将会是继计算机PC、智能手机之后下一代主流移动计算平台。从计算机IBM、Intel,到智能手机苹果,美国式创新引领世界科技发展,相比之下中国原创式创新还远远不足,AR/VR或是一个好的切入口,而且从FOV这个主要技术参数上横向对照,中国AR眼镜已经走到第一阵列中了。

                                                  FOV参数示意图


刚结束的上海车展无人驾驶技术和电动车绝对压过了传统燃油车的风头,“车顶女侠”又压过了无人驾驶的风头,其实,AR技术的变革远比无人驾驶技术给人类社会带来的变革更具颠覆性。因为拥有或不拥有一辆无人驾驶车,只是多了一件炫耀的物件。相对而言,AR技术会继PC和移动智能手机之后的重要工具/技能,成为下一个拉开人与人综合能力差距的标志装备。

回到本文主旨,意识流(stream of consciousness)这个词,用来表示意识的流动特性:个体的经验意识是一个统一的整体,但是意识的内容是不断变化的,从来不会静止不动。所谓意识流专利布局,便是要不但突破人的认知局限,,对于大多数人,人走的多了就成了路,对于我们IPer,专利即是头脑里的跑马圈地,对于科企IPR,见路不走,探路的过程就是任由意识流淌,任由智慧闪耀的布局过程。

本文主要依据塔普翊海公司(REALMAX)近些年公开的AR专利,从中分析剖析和推演出的专利布局进行阐述,所用专利皆为公开文献资料,特此声明。

中国专利法第9条规范了专利权的唯一性,是不会出现同样的发明创造的,但是从最初专利撰写中的权利要求书可分为产品类权利要求和方法类权利要求二大类。业内皆知,同样是一个创新方案,(一般,)基于技术本身的专利保护范围最宽,产品的专利保护范围略窄,方法类的保护范围在三者中最窄。产品类权利要求又可分为机械构造类和电子功能类。方法类权利要求又分为该产品的制造方法类和使用方法类(用途供能类)等等。专利布局的基本框架至此开源。也就是说一件创新产品(非生物医药),就要从其结构、功能、制造方法和使用方法等诸多方面进行限定和保护。假若失其一块,缺失的一块又恰好被竞争对手公司拿来申请了专利,就会让己方专利产品的实施过程中变得异常尴尬。原本,这就不是尴尬的问题,而是卧榻之侧已有他人鼾睡的问题了。

专利的布局形式有很多, 从专利伐谋思维出发,分为对自家产品/技术应保尽保,保证自家产品技术的迭代或替代不受制与人,另一方面对友商产品/技术也要关照着,促使友商产品技术的迭代或替代处处受制与我。这便是专利布局的核心思想,因为专利为市场而生,是科技市场争夺的有力武器。有技术分解与布局,功能分解与布局,结构分解与布局,有基于地域范围和时间周期的布局,还有基于核心基础专利或竞争对手现有专利的专利布局,更有基于本公司企业战略进行竞争型或防守型专利布局的。

对于自家产品技术的专利布局,有根据某产品的结构拆解进行布局的,也有根据该产品本身的功能来进行布局的。更有根据该产品在不同场景下的各种应用进行布局的。对于自家产品技术的专利布局思路算是正向,对友商的产品技术专利布局,就算是反向,从专利规避的角度,无外乎要做的是“绕、拆、围、堵”四个字,也就是说,对于友商的专利而进行的专利布局,即是在做这4件事。一般的专利布局也就是这些基础内容了,今天要讲的是专利的意识流布局,欲说明这个问题,就要举例了,我们以AR技术为例来阐述这些个概念。

VR/AR/MR三者概念区别

详细介绍一下AR,增强现实(Augmented Reality,简称 AR),是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术,这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。这种技术1990年提出。随着随身电子产品运算能力的提升,预期增强现实的用途将会越来越广。这里插入区别介绍一下VR,虚拟现实(Virtual Reality,简称 VR)虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统,它利用计算机生成一种模拟环境,是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真,使用户沉浸到该环境中。简单说,就是VR让人置身于纯虚拟的世界里,AR让人在现实世界中感受虚拟影像。对比一下,以混合现实MR作为标准,AR技术相对于VR技术更接近于MR的实现,(MR涉及视觉混合、听觉混合、触觉混合等等,AR眼镜的强项就是视觉混合)就ARVRMR,业界统称XR。

VR/AR/MR等概念交集图示

 AR眼镜,特指具备增强现实功能的可穿戴眼镜形状的移动智能计算设备(可以理解成一体式或分体式的眼镜+电脑),随着手机创新的瓶颈期到来,越来越多的科技公司将研发的目光投入到了AR眼镜领域。

传统手机的屏幕是偏小的,比平板要小很多,因为小所以限制了显示的内容,AR的屏幕要大很多,先不说终极目标是匹配人眼视觉范围,就一般的AR(FOV40°)而言也仅相当于在客厅的沙发上看一台32寸电视,FOV越大佩戴者就越有沉浸感。手机的显示越来越表现出弊端。更重要的是手机里的显示内容2D显示,XR则是3D显示,2D显示是跟着手机移动而移动的,而XR中的3D显示内容可以被移动,更可以被固定,永远地被固定于某个地方,这个不太好理解,为了能尽量让大家听懂,大家想象一个共交车站上的那块液晶屏显示站牌,永远地伫立在那,不论刮风下雨,不论车来车往和人来人往,站牌上显示什么内容?你不来到它近前,你就看不到它上面写的什么。

AR眼镜不同FOV尺寸下,显示效果的对比

双目AR眼镜一般分3条技术路线,也就是基本的AR技术专利布局路线,一曰棱镜单反虚实结合成像技术,结构简单,最容易实现,缺点是体积相对较大,二曰双自由曲面反射折射虚实结合成像技术,三曰光波导(光栅衍射干涉)成像技术

光波导技术的优势十分明显,就是图像非常细腻,现有眼镜成品也比较小巧,但是缺点也十分明显,就是FOV做不大,就目前的40度、50度就已经濒临物理极限,如若这个瓶颈能够被打开,那该技术自然不得了,AR眼镜可以做的又轻又薄,外观上与现在的近视眼镜就没啥差别了。而双自由曲面反射技术路线,目前可以做到100°~120°,目前是三条技术路线中走的最远的,形状类似头盔,但500克的重量(含电池),成年人多少还是可以承受的。从上述三条AR技术路线的基础概念,可知,这是3条已经有开发团队走通,有具体产品落地应用的AR技术。若要抛开这三条路线,另辟蹊径的大多是些概念级的专利,还没有得到事实产品验证。在现有的三条技术路线上做专利布局,就是如何扩大优势,如何减少劣势方面的专利方案提出和申请。

先验,相对于经验而言。思想聚焦不到,行为自然不会跟上。

提出问题——分析问题——解决问题,也是3个层次。对于中国工程师来说,由自己发现问题并提出问题最难!他们习惯于老板或者客户抛来的问题进行解答,技术先于专利,专利先于产品,思想认知先于理念,理念先于技术。思想先于一切!凡人皆有局限性,最大的局限来源于认知的局限和偏见。

本文的内容是关于人们对AR技术/产品认知程度递进而进行的专利布局过程。

众所周知,人类的思想先于一切,没有人类对天空中鸟儿的神往,就没有后来的飞机;没有人类对水中鱼儿的羡慕,就没有之后的轮船。随着人类认知的深入,从天空到太空,从水面到深海,紧跟着,人类就发明创造出宇宙飞船和蛟龙号潜水艇。同样,对AR的认知也在不住地往前推进。同理,根据不同层次的认知,对应地就有不同层次的AR技术方案提出,以及在该层次上的专利布局。AR专利的布局至少分为结构层、功能层、应用层、和认知层四层。


一、结构层的各种AR应用的专利布局

如图是光波导的微软HOLOLENS产品拆解图示:

所谓结构层专利布局,对于AR眼镜的机械结构而言就是其拆解部件进行专利布局的过程。

限于本文主题,我们主要就双目双自由曲面透反射技术路线,我们继续阐述,专利CN109782441A展示了该产品的光学结构,


图中30-投影装置;10/20--半反半透曲面透镜;E-眼睛,80-外部真实世界

在该现有光学结构之下的FOV大概是100.8°,我们研究其结构,发现FOV可以划分为横向FOV和纵向FOV,横/纵向FOV的进一步提升,都可以对FOV的扩大有帮助,从原始专利结构是上我们得到,扩大横向FOV有难度,至少比扩大纵向FOV要难。在原始光学结构基础上,做了2个升级版,用于扩大纵向FOV,专利CN208367337U采用了视场拼接的光学结构。


以及专利CN110824710A采用多层抬高显示方式来提高纵向FOV,从而整体上提高FOV达到120°左右。FOV越大意味沉浸感越佳,虚拟物不会悬空,不缺脚也不缺头,没有违和感。

二、功能层的各种AR应用的专利布局

简单阐述了结构层专利布局,继续聊一下功能层专利布局。我们为什么要买手机,最初是因为手机具有移动通讯功能。现在是因为手机可以拍照、购物、地图、打车等等功能。

2.1笔记本有投屏功能,手机也可以投屏功能,AR眼镜如何投屏?这是一个问题,传统的AR投屏方式是借助位于额头处或鼻梁处的外置摄像头来获取外部影像,然后叠加虚拟画面进行整合,再后一同进行投屏,换个角度看,就是机器视觉,但是问题是机器视觉局限性让机器观看纯物理世界,而不是虚实结合的世界。这些投屏方式实际上是VR式样的AR眼镜做到的投屏功能,存在3D虚拟影像拖屏和跟随3D实物移动不够快等问题,因为每一帧后台GPU都要进行高速运算,对于AR眼镜而言,是不可能装下台式机这样的大显卡和其散热装置的,真正AR眼镜的摄像头必须要同时获得虚实结合的影像,继而投屏,如此这般也大大降低了计算量。

专利CN111158145A公开了“棱镜单反AR”的投屏功能实现,也算是替友商“关心”他的技术发展/功能拓展。


图中20-投影装置;30-半反半透平面透镜;50-微摄像头;31-平面反射镜;32-凹反射镜;80-真实世界;100-眼睛。该专利中还有3种变形,不一一展示了,

专利CN111025644A反应了双自由曲面反射的投屏功能实现,保证了自家产品技术方案落地前的应保尽保。


图中30-投影装置;10/20-半反半透曲面透镜;200-微摄像头(此处摄像头并不是直接获取30的虚拟显示信息,而是从10半反半透曲面透镜获得虚拟物的二次反射信息,以及真实环境的透射信息);100-眼睛;

当然也有变形,保护了纵向FOV提升后的光学结构也能具有投屏功能,不一一展示了。

2.2专利CN109088803A公开了一种AR遥控装置、智能家居遥控系统及方法,即一种基于AR眼镜的智能设备,可以方便地了解不同家居使用说明,并依据手势或语音输入遥控家电进入工作状态。这样的功能,在现有手机的功能里也有。

什么是AR的功能,比照手机而言,除了基本的通讯功能,手机还有各种应用,拍照也是,投屏也是,遥控也是。手机的功能在AR眼镜上都可以实现一遍,当然不是简单的组合式应用,就可以打造一系列的AR功能层的专利布局。AR代替手机只是个时间问题,因为手机的操作局限于手指在屏上的滑动,AR眼镜则允许人手在空中滑动或做手势来操控,毕竟语音操控不够精确,或者不够完全跟上人眼的精度或速度。手势操作、眼球跟踪则能起到2D操作系统中的鼠标功能,指令精确且清晰。能与语音操控形成很好的互补功效。


三、应用层的各种AR应用的专利布局

对于AR眼镜的应用,可谓是“八仙过海各显其能”,专利检索一大把,但多是散兵游勇,很少看到有企业就某一具体领域进行布局的。塔普翊海公司就AR眼镜深耕教育领域,先就基础教育细分领域进行了专利布局

3.1、教育领域

我们先聊聊教育,十年树木百年树人,做什么都要从娃娃抓起。先看一幅从realmax专利背后清理出的AR基础教育的思脉。



3.1.1数学

进一步挖掘其对数学的基础教育进行布局


专利CN111292587A公开的是AR算盘的技术方案;专利CN109215418A公开的是AR魔方的技术方案;专利CN109300365A;公开的是AR二十四点的技术方案;AR眼镜可以代替老师对学生的学习过程进行观察、3D虚拟演示和纠错,甚至出题。别小看算盘、七巧板、24点、魔方和数独的学习,小朋友可以花一个暑假在游戏中学习完这些数学知识,也可以花5年的小学时间来慢慢学。外语和语文也有专利布局图,不一一展示了,我们继续举几个例子,

3.1.2语文

专利CN110859630A和CN111047947A公开了一种基于AR技术的姿态矫正器及其矫正方法和一种基于AR技术的书写指导器及书写指导方法,相当于正确的坐姿、书写姿势的指导提醒,虚拟描红和笔画引导。

3.1.3外语

中国人学外语尤其是口语一直学不好,根本原因是脱离了语音交流的环境,要么送孩子们去该语种的国家环境中学习,要么给他/她一幅AR眼镜作为礼物。

专利CN111028597A公开了混合现实的外语情景、环境、教具教学系统及其方法;专利CN110969905A公开了混合现实的远程教学互动、教具互动系统及其互动方法;专利CN110688005A公开了混合现实的教学环境、教师、教具互动系统及互动方法。这3件专利可以让远程的老师以3D显现的方式出现在学生近前,并进行语音交互,也可以将现场的背景替换成口语训练的场景,比如机场、前台、收银柜台、医院等场景环境之中,还可以将自己和老师在1秒种内打扮成任何场景内的“角色”,虚拟制服可以围绕覆盖显示于人体表面。通过同声翻译的功能,不会外语的家长也可以代替老师来进行角色扮演。如此这般,别说英语,法语、日语或葡萄牙语,甚至纳威语(阿凡达所在的潘多拉星球语言)的学习,都不再是什么难事。

3.2、工业领域

工业领域现有的,多是单目AR眼镜的主打的天下,严格意义上说单目AR一般不具虚实结合功能,只具信息提示或反馈的功能。作为现场给远程进行分享,远程给现场进行指导支持的有力工具。

3.3、游戏娱乐

说了工业,就要说说游戏娱乐了,2016年Pokeman GO手游问世,重新引爆市场对手机AR功能的关注,游戏娱乐可是AR应用的一个大方向,游戏一直引领着技术发展,所以DOTA类游戏已经成为了很多城市的支柱产业。

专利CN110882536A公开了一种棋和基于AR设备的下棋游戏系统,实现了两个不同空间的人在下同一盘实物围棋,解决了不同空间的人对同一虚实结合的事物进行的操作的问题。


专利CN111228791A公开了真人AR射击游戏装备、基于AR技术的射击对战系统及方法,实现了在任意现实空间里警察与匪徒的枪战攻防游戏,这种技术的发展对训练警察在现实场景中的治安执勤有很大的裨益。


真人手持道具抢进行AR-CS游戏

AR-CS不需要什么预制地图,现实场景就是最好的地图。

3.4医疗急救

突发的心梗事件每时每刻都在发生,很多时候不是因为没有好心人,而是好心人不会心肺复苏按压技能,除了拨打120,什么事情都做不了,不耽误掉最初的黄金5分钟的心扉复苏急救将会挽救更多人的性命。专利CN111091732A公开了种基于AR技术的心肺复苏指导器及指导方法, 好心人借助AR眼镜就地实施心肺复苏按压,按压的方位、频次和深度都会被实时指导,若有AED急救设备在场,好施救者也会从容地使用,为120救护车到来之前争取更多的时间。


3.5安防

警察叔叔佩戴的移动“鹰眼”,看到红框框的人影或危险物警示,可以提前进行抓捕等治安行为的准备。这样的应用对于脸盲症患者是很好的提醒或提示,这是不是将AR引入到了社交领域?


AR的应用远不止上述的这些场景,人类生活、工作、学习的方方面面,室内室外,城市郊区,天上地下,体育旅游,农场工厂,都是AR可以应用的场景,都是AR专利可以布局的地方,只有想不到,没有做不到。这么说,学渣与学霸只差一幅AR眼镜,普通人与特工只差一副AR眼镜,买家与卖家只差一副AR眼镜,在上海与在纽约只差一幅AR眼镜,单身狗与情侣只差一幅AR眼镜,生物学家与天文学家只差一幅AR眼镜,最终,人与人的差距也只差一幅AR眼镜而已。未来,已来!你与未来也只差一幅AR眼镜而已。你准备好了吗?


四、认知层的各种AR应用的专利布局

我们讲了这么多,大家对增强现实,越来越了解了吧?你真的都了解AR吗?要是你的认知仅仅限于我们之前的讲解,那你作为专利布局者的焦点范围也只限于你的认知范围。其实,增强现实包括很多方面的对现实世界的认知,虽然人类通过眼睛获得83%的外界信息,但视觉现实增加只是增强现实概念中的一个部分,除了视觉增强,还包括听觉增强和触觉增强、味觉增强等等。

4.1给眼睛做现实增强

专利CN111325602A一种混合现实购物装备、购物可视系统和使用方法,公开了在家中健身器上就可以“穿越”去超市购物,看超市(虚拟)导购员直播讲解带货,相当于将AR技术引入到了消费领域和广告领域。


佩戴MR眼镜在跑步机上边运动边购物,两不耽误

进入虚拟超市的货架中,进行虚拟购物

对虚拟商品作虚拟商品内容显示

观看真人主播或虚拟主播的直播“带盐”或带货

4.2给耳朵做现实增强

不要以为AR仅仅是给视觉做显示增强,AR同样可以对听觉做现实增强,专利CN107334609A一种向目标对象播放音频信息的系统和方法(肇观电子),公开了目标对象可以根据听到的音频信息来确定环境区域中哪些地方存在障碍物,进而避开障碍物,该方案可以将盲杖扫不到的地方的障碍物确定出来,并且也可以将目标对象之前没到过的区域的障碍物确定出来。提示帮助视觉残障人,实时提醒使用者注意上下楼梯,在跑步时也不会偏离跑道。

4.3给物做视觉现实增强

让意识流进一步流淌,自AR问世以来,从没人定义过AR就是给人用的,AR如何给物用?给什么物用?能够解决什么技术问题?从给人做现实增强,跳跃到给物做现实增强,这个跨越很大也很难,人类的成见有多大,跨越的难度就有多大,因为一般情况下人是很难进行跨越式思考的。这也是发明创造的困难之所在。

 专利CN111223354A公开了基于AR和AI技术的无人车实训平台及方法,其实就是将AR视觉增强技术,现实世界(影像)显示给车“看”,再结合毫米波超声波传感器的数据反馈,用纯虚拟数字信息的方式来“投喂”无人驾驶车(系统),通过现实环境的3D数字化信息,给到几十亿公里的真实道路环境的大数据训练,相当于一个驾驶员1百万年的驾驶经验。这样的训练甚至不用把每一辆车送入现实环境中,现实环境中的实时一套数据可以反复被使用,也可以同时“投喂”给多套无人驾驶系统。在增强现实技术以及大数据、人工智能技术的多重培育之下,无人驾驶达到自主驾驶的最高等级第5级是个加速实现的过程。也是无人驾驶加速商业化,以及无人驾驶技术加速增值接着又加速贬值的过程。



AR的专利布局远不止我在本文说过的这些内容,我的例举只是为了说明一种叫“专利意识流布局”的东西。

人类的想象力没有边界,AR专利的意识流流淌就不会终止,AR专利布局自然也不会有边界。好在,技术本身是不完美的!过去、现在、将来,技术都不会完美;倘若技术完美了,技术的发展就停滞了;因为技术不完美,所以技术才不断发展;如是在技术的发展中,专利布局也在不断地延伸,意识流淌到的地方,都可以是专利布局的修罗场,只有那些在当下,就能预见到未来的科技企业,才可能活到未来。专利为市场而生,专利布局为将来的市场竞争而埋雷,失去了专利布局,本质上也就失去了未来市场的占领权。需要提醒的是,“致富千日功,致祸当日空”。地雷引爆的那一刻,就是不把专利当回事,IP战争找上门的日子。



作者:房晓俊
编辑:Shawn


分享到微博
分享到微信
    分享到领英

相关文章