FPGA上面1秒钟就可以处理到60帧。
所以在验证,还有快速的把它做Implementation,它是一个很好的方案。
另外一部分,我们也是把Machine Learning放到FPGA上面。
这边值得一提的就是说,我可以跟各位分享的是,我们在Machine Learning的时候,我们并不是把所有的资料都放到training data里面去。
因为深度有一些蛮重要的线索。
第一个,深度是,就一个物件而言,比如说,手势或体感,深度资讯是连续的,所以你不见得要把所有的资讯都放到一个Machine Learning里面去training。
你可以从深度里面去先做一些segmentation。
这样再放去training的时候,速度是比较快的。
第二是说,物件你要做一些rotate,我们将就是做一些正规化的话。
05
从深度里面做一些正规化,而不用把各种不同的所有的方向都放进去。
所以最主要是把物件多了一个维度的交际轴的资讯给标识出来。
让这个物件可以被描述,而不是说只是一个类似一个外观的大小,这样的Machine Learning这样子training。
这是我们base on Cyclone V SoCKit做出来的一个开发板。
这是一个完成的产品。
它本身包含一个POE的内介,它本身有一个ARM的OS。
所以整个系统都已经放到这里面。
甚至WIFI的部分也放了进去。
它很适合做完全监控。
06
大家可以看到这个实际跑出来的状况是,在复杂情况下,我们都可以把每个人的骨架辨识出来。
这有一个视频,其实是做一些类似人际互动的视频,各位可以到展位上看到这些视频。
这些深度设计可以引用到场景,类似这种安全监控,因为你可以把人的骨骼辨识出来,手势辨识出来,还有这种骨骼相对的位置。
你就可以说什么叫跌倒?
什么叫攻击别人?
什么叫求救信号?
就是用这种骨骼相对应的位置,用很简单的演算法,不需要全力,就可以判别得出来。
而第二个,是做这种AR跟VR,或者是MR的部分。
现在,类似这种戴眼镜的VR,你还需要一个手柄去感受你的手的互动。
07
我们看到,一些公式是用这种深度资讯来去做这种手部的重建,从深度里面。
效果还真的蛮好的。
类似车用的部分的话,可以前车距离的侦测,或者是在车子里面,你要跟车子互动的话,你用手势,可能会比你用touch更好一点。
因为你要touch的话,你就要专心说有没有做互动,用手势的话,你挥了有没有,它的反应其实是很直接的。
另外,这种打瞌睡的侦测,从深度里面去圈定其实是很准确的。
另外就是无人机的部分,现在有两个最重要的商用的课题,第一个是避障,避障它需要深度。
08
第二是做场景重建,可以把场景的部分把它3D重建。
把它变成一个3D的物件。
另外在物流业的应用方面,知道你的包裹的大小。
还有就是一些,你要做仓储,或者是运输做一些货柜,你包裹要放进去的时候,如果是人工这样乱摆的话,会浪费空间。
它用这些深度资讯的话,可以用一些演算法来帮助这些空间的排列。
类似一个电视的操作界面,你不用带一个遥控器,或者用手势或手指来做一些人机界面当作遥控器的部分。
另外就是移动式的3D的扫描器。
如果装在平板或手机上面,它就可以直接做3D扫描板。
09
另外就是像一些人体辨识,或者是视网膜辨识,可以把视网膜的位置给框出来,然后让它做正规化。
所以这个视网膜辨识的速度会提升。
另外做人脸辨识,或者是人脸识别的部分,目前最有效就是活体侦测,而不是说拍一张人脸,就可以欺骗过。
现在做人脸辨识,其实效率还蛮高的,而且是不受场景的干扰。
机器视觉的话,有点像互动式的机器人,工厂用的机器人,或者是家庭用的机器人,它都需要这些深度资讯,做一些场景重建,或者是空间的规划,获取一些视觉坐标。
10
这部分其实是深度蛮大的一个应用场景。
另外就是IoT的部分,就是类似扫地机器人,还有电梯,或者是冷气机,都有这样的应用例子。
其实LIPS本身的开发人员,大部分都是软体背景,或者是硬体背景。
我们很少有人去写这个FPGA部分,当然这方面的人员配置还是有,但是说比起一般专门写ASIC的公司而言,我们的配置人员还算少。
尤其是说从演算法,然后直接porting到SoC的一个部分,我想以前是很少可以很快速地进行。
本帖最后由 lcytms 于 2018-4-21 21:12 编辑
11
因为我们用的OpenCL,我们可以很快地去验证porting到FPGA上面可不可行,还有它速度上面其实是蛮快的。
深度学习的部分,从深度里面,你可以做一些事前的判断,而不是说把所有的东西都丢到深度学习的资料库里面,其实是从深度里面可以做一些判断等等,一些事前处理。
可以在我们公司的网站上边。
我们公司的展位是table第18号。
页:
1
[2]