ISDF2016经典之A10：基于ToF深度相机与OpenCL的嵌入式可靠计算机视觉

04
        FPGA上面1秒钟就可以处理到60帧。
        所以在验证，还有快速的把它做Implementation，它是一个很好的方案。
        另外一部分，我们也是把Machine Learning放到FPGA上面。
        这边值得一提的就是说，我可以跟各位分享的是，我们在Machine Learning的时候，我们并不是把所有的资料都放到training data里面去。
        因为深度有一些蛮重要的线索。
        第一个，深度是，就一个物件而言，比如说，手势或体感，深度资讯是连续的，所以你不见得要把所有的资讯都放到一个Machine Learning里面去training。
        你可以从深度里面去先做一些segmentation。
        这样再放去training的时候，速度是比较快的。
        第二是说，物件你要做一些rotate，我们将就是做一些正规化的话。
  

05
        从深度里面做一些正规化，而不用把各种不同的所有的方向都放进去。
        所以最主要是把物件多了一个维度的交际轴的资讯给标识出来。
        让这个物件可以被描述，而不是说只是一个类似一个外观的大小，这样的Machine Learning这样子training。
        这是我们base on Cyclone V SoCKit做出来的一个开发板。
        这是一个完成的产品。
        它本身包含一个POE的内介，它本身有一个ARM的OS。
        所以整个系统都已经放到这里面。
        甚至WIFI的部分也放了进去。
        它很适合做完全监控。
  

06
        大家可以看到这个实际跑出来的状况是，在复杂情况下，我们都可以把每个人的骨架辨识出来。
        这有一个视频，其实是做一些类似人际互动的视频，各位可以到展位上看到这些视频。
        这些深度设计可以引用到场景，类似这种安全监控，因为你可以把人的骨骼辨识出来，手势辨识出来，还有这种骨骼相对的位置。
        你就可以说什么叫跌倒？
        什么叫攻击别人？
        什么叫求救信号？
        就是用这种骨骼相对应的位置，用很简单的演算法，不需要全力，就可以判别得出来。
        而第二个，是做这种AR跟VR，或者是MR的部分。
        现在，类似这种戴眼镜的VR，你还需要一个手柄去感受你的手的互动。
  

07
        我们看到，一些公式是用这种深度资讯来去做这种手部的重建，从深度里面。
        效果还真的蛮好的。
        类似车用的部分的话，可以前车距离的侦测，或者是在车子里面，你要跟车子互动的话，你用手势，可能会比你用touch更好一点。
        因为你要touch的话，你就要专心说有没有做互动，用手势的话，你挥了有没有，它的反应其实是很直接的。
        另外，这种打瞌睡的侦测，从深度里面去圈定其实是很准确的。
        另外就是无人机的部分，现在有两个最重要的商用的课题，第一个是避障，避障它需要深度。
       

08
        第二是做场景重建，可以把场景的部分把它3D重建。
        把它变成一个3D的物件。
        另外在物流业的应用方面，知道你的包裹的大小。
        还有就是一些，你要做仓储，或者是运输做一些货柜，你包裹要放进去的时候，如果是人工这样乱摆的话，会浪费空间。
        它用这些深度资讯的话，可以用一些演算法来帮助这些空间的排列。
        类似一个电视的操作界面，你不用带一个遥控器，或者用手势或手指来做一些人机界面当作遥控器的部分。
        另外就是移动式的3D的扫描器。
        如果装在平板或手机上面，它就可以直接做3D扫描板。

09
        另外就是像一些人体辨识，或者是视网膜辨识，可以把视网膜的位置给框出来，然后让它做正规化。
        所以这个视网膜辨识的速度会提升。
        另外做人脸辨识，或者是人脸识别的部分，目前最有效就是活体侦测，而不是说拍一张人脸，就可以欺骗过。
        现在做人脸辨识，其实效率还蛮高的，而且是不受场景的干扰。
        机器视觉的话，有点像互动式的机器人，工厂用的机器人，或者是家庭用的机器人，它都需要这些深度资讯，做一些场景重建，或者是空间的规划，获取一些视觉坐标。

10
        这部分其实是深度蛮大的一个应用场景。
        另外就是IoT的部分，就是类似扫地机器人，还有电梯，或者是冷气机，都有这样的应用例子。
        其实LIPS本身的开发人员，大部分都是软体背景，或者是硬体背景。
        我们很少有人去写这个FPGA部分，当然这方面的人员配置还是有，但是说比起一般专门写ASIC的公司而言，我们的配置人员还算少。
        尤其是说从演算法，然后直接porting到SoC的一个部分，我想以前是很少可以很快速地进行。
  

11
        因为我们用的OpenCL，我们可以很快地去验证porting到FPGA上面可不可行，还有它速度上面其实是蛮快的。
        深度学习的部分，从深度里面，你可以做一些事前的判断，而不是说把所有的东西都丢到深度学习的资料库里面，其实是从深度里面可以做一些判断等等，一些事前处理。
        可以在我们公司的网站上边。
        我们公司的展位是table第18号。