爱板网论坛

查看: 121|回复: 0

[项目提交] VR第一视角远程牵引控制机械臂

[复制链接]

1

主题

2

好友

56

积分

童生

Rank: 2

  • TA的每日心情
    擦汗
    2018-1-8 09:44
  • 签到天数: 3 天

    连续签到: 1 天

    [LV.2]偶尔看看I

    发表于 2018-2-11 23:59:18 |显示全部楼层
    本帖最后由 fantc 于 2018-2-12 09:21 编辑

    项目涉及到开发板的部分根本没做完,连开发环境都没配置好过(距离提交只剩一个星期才发现申请的CC3200收到的却是CC3220)。

    只能把其它的部分分享出来给大家看看了。

    一、项目名称
    VR第一视角远程牵引控制机械臂

    二、项目概述
    项目方案:VR+动捕+机械臂。
    不采用传统的输入设备(如:键盘、鼠标、手柄等)来做控制,也不是简单的让机械臂和操作者的手臂同步。具体实现步骤如下。
    1. 制作一个机械臂
    某宝上直接买了一个几十块现成的,虽然很糙,但是足够用了。

    2. 安装机械臂的第一视角
    配合两个舵机实现上下左右的转动。这里本来应该是用JPEG摄像头连到CC3200开发板来做远程的。没有搞定开发板,测试的时候我用了一台手机(手机上倒是做了完整的测试界面,包括控制、摄像头画面、信息窗口)。

    3. 机械臂的远程控制及第一视角的远程共享
    这里只能说说我测试时的方案了。机械臂和控制第一视角的舵机都用Arduino驱动,把Arduino和手机用OTG线连接。手机上搭建一个HTTP服务器,负责接收远程指令和手机摄像头画面(作为机械臂的第一视角)的远程共享。机械臂的控制指令通过手机USB发送给Arduino。

    4. 在3D开发环境下的开发
    首先重构一个虚拟的机械臂,只要保证重要的机械结构一致就可以了,其它的细节不需要(参考下图)。
    然后为用户构建一个虚拟的半透明屏幕,绑定在视角前方,用来显示机械臂第一视角的画面。(Unity下面获取远程画面不是很方变,这里没有做视频流,而是通过刷新的方式一帧一帧获取摄像头画面,用base64Binary格式压缩到HTTP服务器的响应中)
    导入一个单手臂的模型,并握有配套的手柄模型。

    因为要用到VR,这里选择了Unity3D。远程通信要实现:
    • 让操作者用头部转动去控制机械臂第一视角的转动
    • 分析虚拟机械臂的运动从而计算出相应的控制指令来实现现实的机械臂和虚拟机械臂的同步

    5. 引入动捕设备
    用三颗MPU6050实现手臂动捕,这样在虚拟环境下就有了完全同步的虚拟手臂了。后面尝试了用Daydream,可以用Daydream的遥控器代替自己做的手柄。虽然Daydream的遥控器是九轴的,但校准方面还是纯主观性的,说白了跟六轴的效果是一样。在Daydream下面蓝牙插件做的有点问题,不够顺畅。感兴趣可以看看后面的一个演示视频,遥控器可以不用死死捏在手上,可以变换握姿。

    6. 控制流程
                  (动捕设备)                                        (运动分析得到控制指令)
    操作者的手臂 ------> 同步的虚拟手臂 ------> 牵引虚拟的机械臂 ------> 远程让机械臂同步

                     (头部转动分析得到控制指令)
    操作者的头部 ---------------------------------> 远程让机械臂同步

                                   (远程图传)
    虚拟环境下的虚拟屏幕<-------------机械臂第一视角

    三、项目图片
    机械臂
    IMG_20170602_105510.jpg

    安装了手机
    Robot.jpg

    手机测试软件界面
    WebUsbRobotScreenShot.png

    动捕设备+控制手柄
    IMG_20170602_101843.jpg

    动捕佩戴好后拍照
    IMG_20170602_104108.jpg

    Unity3D开发环境截图
    TIM截图20170602104813.png

    VR画面截图
    VRScreenshot.png


    四、项目视频
    用手机代替开发板测试的视频

    动捕加Daydream演示视频


    五、项目源码
    有些资源太大了,索性打个包放网盘了:
    https://pan.baidu.com/s/1rap5wV6


    AllTogether.JPG
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    关闭

    站长推荐上一条 /4 下一条

    手机版|爱板网 |网站地图  

    GMT+8, 2018-2-22 23:06 , Processed in 0.339190 second(s), 12 queries , Memcache On.

    苏公网安备 32059002001056号

    Powered by Discuz!

    回顶部