查看: 5625|回复: 7

[大赛作品提交] 【汇总】家庭陪伴小机器人

[复制链接]
  • TA的每日心情
    开心
    2018-9-6 15:08
  • 签到天数: 11 天

    连续签到: 1 天

    [LV.3]偶尔看看II

    发表于 2018-1-3 03:18:09 | 显示全部楼层 |阅读模式
    分享到:
    本帖最后由 ky123 于 2018-1-31 14:06 编辑

    感谢e络盟的500元助赛基金。

    1.原理介绍

    现在适用于家庭的儿童陪伴机器人功能过于单一,仅仅具有语音对话功能,而且其语音对话功能一般体验也较差,表现在需要手动唤醒后才能交互,以及对话也不智能,无法衔接上下语境进行多轮对话,因此,想做一个能语音唤醒和多轮对话的家庭陪伴机器人,同时具有视频监控和安防的功能,添加运动控制部件使其具有跳舞等功能,丰富陪伴机器人作为家庭成员的能力。


    语音识别部分,恰逢百度推出DUEROS免费计划提供个人版模块,以及依托百度平台的海量大数据,基于树莓派Debian系统+python2.7 可支持定制任何唤醒词,实现语音唤醒和多轮对话的功能;


    安防部分,硬件采用支持树莓派的USB免驱摄像头,安防方面采用低功耗的人体红外检测异常闯入+摄像头拍照模式,利用简单实用软件uvccapture进行拍照,通过微信完成异常闯入瞬间拍摄的图片的推送!比运动检测安防更省电且更容易实现,也比邮件和上传网盘更具有实时性;


          运动控制部分,硬件采用了四个直流电机和一个伺服舵机,运动电机可以实现小车的前进、后退、左转、右转(同时兼顾了摄像头的方向调整),舵机实现摄像头俯仰约120°的调控!底层电机驱动采用了pigpio库和RPi.GPIO库,其中pigpio库在PWM/IIC/SPI方面有优势!视频方面采用mjpg-streamer进行视频流的采集,该软件比motion在视频帧处理方面更加流畅,远程控制采用web页面方式,并且通过iframe 方式将视频流嵌套在控制页面,实现同步实时调整机器人姿态!

    2.开发过程

    【进阶一】家庭陪伴小机器人小度功能简介和架构

    【进阶二】家庭陪伴小机器人原材料和搭建

    【进阶三】家庭陪伴小机器人遥控小车功能实现

    【进阶四】家庭陪伴小机器人视频功能以及与遥控同步显示

    【进阶五】家庭陪伴小机器人语音识别功能

    【进阶六】家庭陪伴小机器人遥控舵机姿态

    【进阶七】家庭陪伴小机器人微信安防推送技能

    3.应用源代码

    由于项目采用主体采用Python编写,程序的层次结构由缩进来决定,转存txt后格式消失下载后可能也无法编译!因此上传了整个工程!DuerOS语音识别部分源码,请在此次下载 https://github.com/MyDuerOS/DuerOS-Python-Client.git
    car.tar (3.54 MB, 下载次数: 10)
    回复

    使用道具 举报

  • TA的每日心情
    开心
    2019-12-26 22:21
  • 签到天数: 310 天

    连续签到: 1 天

    [LV.8]以坛为家I

    发表于 2018-1-3 17:53:21 | 显示全部楼层
    期待楼主的最终效果,这个确实也挺好玩的~不知道树莓派性能能不能跟得上
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    难过
    2021-2-27 22:16
  • 签到天数: 1568 天

    连续签到: 1 天

    [LV.Master]伴坛终老

    发表于 2018-1-3 21:20:15 | 显示全部楼层
    好想有个机器人伴侣
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    2018-9-6 15:08
  • 签到天数: 11 天

    连续签到: 1 天

    [LV.3]偶尔看看II

     楼主| 发表于 2018-1-8 14:10:51 | 显示全部楼层
    风之山谷 发表于 2018-1-3 17:53
    期待楼主的最终效果,这个确实也挺好玩的~不知道树莓派性能能不能跟得上

    性能还行,我没有跑图像识别特别复杂的算法,基本OK!家里的小孩特别喜欢,我还没拍视频怕小孩玩坏藏着,天天嚷嚷着要玩!
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    2018-9-6 15:08
  • 签到天数: 11 天

    连续签到: 1 天

    [LV.3]偶尔看看II

     楼主| 发表于 2018-1-8 14:11:31 | 显示全部楼层
    feixiang20 发表于 2018-1-3 21:20
    好想有个机器人伴侣

    真人伴侣更好
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    难过
    2021-2-27 22:16
  • 签到天数: 1568 天

    连续签到: 1 天

    [LV.Master]伴坛终老

    发表于 2018-1-8 16:26:41 | 显示全部楼层
    阿莫斯 发表于 2018-1-8 14:11
    真人伴侣更好

    真人不会任劳任怨的帮你做家务啊
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    2018-9-6 15:08
  • 签到天数: 11 天

    连续签到: 1 天

    [LV.3]偶尔看看II

     楼主| 发表于 2018-1-8 16:43:36 | 显示全部楼层
    feixiang20 发表于 2018-1-8 16:26
    真人不会任劳任怨的帮你做家务啊

    也是,现在真正能做家务的机器人也只有扫地机!下一步开发一个具有陪伴功能的扫地机!
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    难过
    2021-2-27 22:16
  • 签到天数: 1568 天

    连续签到: 1 天

    [LV.Master]伴坛终老

    发表于 2018-1-8 21:14:48 | 显示全部楼层
    阿莫斯 发表于 2018-1-8 16:43
    也是,现在真正能做家务的机器人也只有扫地机!下一步开发一个具有陪伴功能的扫地机! ...

    来一句敬请期待结束
    回复 支持 反对

    使用道具 举报

    您需要登录后才可以回帖 注册/登录

    本版积分规则

    关闭

    站长推荐上一条 /2 下一条



    手机版|小黑屋|与非网

    GMT+8, 2024-4-20 01:51 , Processed in 0.190951 second(s), 33 queries , MemCache On.

    ICP经营许可证 苏B2-20140176  苏ICP备14012660号-2   苏州灵动帧格网络科技有限公司 版权所有.

    苏公网安备 32059002001037号

    Powered by Discuz! X3.4

    Copyright © 2001-2020, Tencent Cloud.