查看: 2152|回复: 7

[大赛作品提交] 【汇总】家庭陪伴小机器人

[复制链接]

主题

好友

314

积分

秀才

  • TA的每日心情
    开心
    2018-9-6 15:08
  • 签到天数: 11 天

    连续签到: 1 天

    [LV.3]偶尔看看II

    发表于 2018-1-3 03:18:09 |显示全部楼层
    本帖最后由 ky123 于 2018-1-31 14:06 编辑

    感谢e络盟的500元助赛基金。

    1.原理介绍

    现在适用于家庭的儿童陪伴机器人功能过于单一,仅仅具有语音对话功能,而且其语音对话功能一般体验也较差,表现在需要手动唤醒后才能交互,以及对话也不智能,无法衔接上下语境进行多轮对话,因此,想做一个能语音唤醒和多轮对话的家庭陪伴机器人,同时具有视频监控和安防的功能,添加运动控制部件使其具有跳舞等功能,丰富陪伴机器人作为家庭成员的能力。


    语音识别部分,恰逢百度推出DUEROS免费计划提供个人版模块,以及依托百度平台的海量大数据,基于树莓派Debian系统+python2.7 可支持定制任何唤醒词,实现语音唤醒和多轮对话的功能;


    安防部分,硬件采用支持树莓派的USB免驱摄像头,安防方面采用低功耗的人体红外检测异常闯入+摄像头拍照模式,利用简单实用软件uvccapture进行拍照,通过微信完成异常闯入瞬间拍摄的图片的推送!比运动检测安防更省电且更容易实现,也比邮件和上传网盘更具有实时性;


          运动控制部分,硬件采用了四个直流电机和一个伺服舵机,运动电机可以实现小车的前进、后退、左转、右转(同时兼顾了摄像头的方向调整),舵机实现摄像头俯仰约120°的调控!底层电机驱动采用了pigpio库和RPi.GPIO库,其中pigpio库在PWM/IIC/SPI方面有优势!视频方面采用mjpg-streamer进行视频流的采集,该软件比motion在视频帧处理方面更加流畅,远程控制采用web页面方式,并且通过iframe 方式将视频流嵌套在控制页面,实现同步实时调整机器人姿态!

    2.开发过程

    【进阶一】家庭陪伴小机器人小度功能简介和架构

    【进阶二】家庭陪伴小机器人原材料和搭建

    【进阶三】家庭陪伴小机器人遥控小车功能实现

    【进阶四】家庭陪伴小机器人视频功能以及与遥控同步显示

    【进阶五】家庭陪伴小机器人语音识别功能

    【进阶六】家庭陪伴小机器人遥控舵机姿态

    【进阶七】家庭陪伴小机器人微信安防推送技能

    3.应用源代码

    由于项目采用主体采用Python编写,程序的层次结构由缩进来决定,转存txt后格式消失下载后可能也无法编译!因此上传了整个工程!DuerOS语音识别部分源码,请在此次下载 https://github.com/MyDuerOS/DuerOS-Python-Client.git
    car.tar (3.54 MB, 下载次数: 8)



    4.硬件连接图

    框图

    框图

    树莓派GPIO连接图

    树莓派GPIO连接图

    硬件连接图1

    硬件连接图1

    硬件连接图2

    硬件连接图2


    5.演示视频

    家庭陪伴机器人之语音控制篇
    http://v.youku.com/v_show/id_XMzMxMDUxMDk3Mg==.html?spm=a2h3j.8428770.3416059.1



    家庭陪伴机器人之web控制姿态和视频监控篇
    http://v.youku.com/v_show/id_XMzMxMDU3NjUwOA==.html?spm=a2h3j.8428770.3416059.1



    家庭陪伴机器人之微信安防推送篇
    http://v.youku.com/v_show/id_XMzMxMDUzMDcwNA==.html?spm=a2h3j.8428770.3416059.1



    回复

    使用道具 举报

    主题

    好友

    1755

    积分

    进士

  • TA的每日心情
    开心
    2018-8-23 00:00
  • 签到天数: 210 天

    连续签到: 9 天

    [LV.7]常住居民III

    发表于 2018-1-3 17:53:21 |显示全部楼层
    期待楼主的最终效果,这个确实也挺好玩的~不知道树莓派性能能不能跟得上
    回复

    使用道具 举报

    主题

    好友

    1万

    积分

    翰林

  • TA的每日心情
    郁闷
    昨天 00:00
  • 签到天数: 736 天

    连续签到: 31 天

    [LV.9]以坛为家II

    发表于 2018-1-3 21:20:15 |显示全部楼层
    好想有个机器人伴侣
    回复

    使用道具 举报

    主题

    好友

    314

    积分

    秀才

  • TA的每日心情
    开心
    2018-9-6 15:08
  • 签到天数: 11 天

    连续签到: 1 天

    [LV.3]偶尔看看II

    发表于 2018-1-8 14:10:51 |显示全部楼层
    风之山谷 发表于 2018-1-3 17:53
    期待楼主的最终效果,这个确实也挺好玩的~不知道树莓派性能能不能跟得上

    性能还行,我没有跑图像识别特别复杂的算法,基本OK!家里的小孩特别喜欢,我还没拍视频怕小孩玩坏藏着,天天嚷嚷着要玩!
    回复

    使用道具 举报

    主题

    好友

    314

    积分

    秀才

  • TA的每日心情
    开心
    2018-9-6 15:08
  • 签到天数: 11 天

    连续签到: 1 天

    [LV.3]偶尔看看II

    发表于 2018-1-8 14:11:31 |显示全部楼层
    feixiang20 发表于 2018-1-3 21:20
    好想有个机器人伴侣

    真人伴侣更好
    回复

    使用道具 举报

    主题

    好友

    1万

    积分

    翰林

  • TA的每日心情
    郁闷
    昨天 00:00
  • 签到天数: 736 天

    连续签到: 31 天

    [LV.9]以坛为家II

    发表于 2018-1-8 16:26:41 |显示全部楼层
    阿莫斯 发表于 2018-1-8 14:11
    真人伴侣更好

    真人不会任劳任怨的帮你做家务啊
    回复

    使用道具 举报

    主题

    好友

    314

    积分

    秀才

  • TA的每日心情
    开心
    2018-9-6 15:08
  • 签到天数: 11 天

    连续签到: 1 天

    [LV.3]偶尔看看II

    发表于 2018-1-8 16:43:36 |显示全部楼层
    feixiang20 发表于 2018-1-8 16:26
    真人不会任劳任怨的帮你做家务啊

    也是,现在真正能做家务的机器人也只有扫地机!下一步开发一个具有陪伴功能的扫地机!
    回复

    使用道具 举报

    主题

    好友

    1万

    积分

    翰林

  • TA的每日心情
    郁闷
    昨天 00:00
  • 签到天数: 736 天

    连续签到: 31 天

    [LV.9]以坛为家II

    发表于 2018-1-8 21:14:48 |显示全部楼层
    阿莫斯 发表于 2018-1-8 16:43
    也是,现在真正能做家务的机器人也只有扫地机!下一步开发一个具有陪伴功能的扫地机! ...

    来一句敬请期待结束
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    关闭

    站长推荐上一条 /4 下一条

    手机版|爱板网

    GMT+8, 2018-10-18 13:42 , Processed in 1.100480 second(s), 21 queries , MemCache On.

    ICP经营许可证 苏B2-20140176  苏ICP备14012660号-5   苏州灵动帧格网络科技有限公司 版权所有.

    苏公网安备 32059002001056号

    Powered by Discuz!

    返回顶部