[征集/原创]在Movidius计算棒上运行手写数字识别Keras模型（一)

Daniel-Wu

国内鲜有基于Movidius的教程，国外开源的项目也寥寥无几，本教程结合了一些国外优秀的教程和自己的一些实践经历。我想通过这个教程帮助大家尽可能快速上手使用Movidius。

在本教程中我会向您展示培训简单的MNIST Keras模型并将其部署到树莓派+Movidius中。

需要的材料有movidius + 树莓派或其他ubuntu电脑 + 摄像头（树莓派官方的摄像头和usb的均可）

同时你还需要在树莓派上安装好Movidius ncsdk，有机会我会再写一个专门介绍movidius安装的教程

有几个步骤，

• 在Keras训练模型（TensorFlow后端）
• 在Keras中保存模型文件和权重
• 将Keras模型转换为TensorFlow
• 将TensorFlow模型编译为NCS graph  (不知道graph是啥的请百度tensorflow的文档)
• 在NCS上部署并运行graph
  

-我使用的平台是up board(ubuntu)+神经计算棒+摄像头，均可以在爱板商城购买到

一.什么是Keras？

在keras中文wiki里面介绍了Keras是一个高层神经网络API，Keras由纯Python编写而成并基Tensorflow、Theano以及CNTK后端。Keras 为支持快速实验而生，能够把你的idea迅速转换为结果，如果你有如下需求，请选择Keras：

• 简易和快速的原型设计（keras具有高度模块化，极简，和可扩充特性）
• 支持CNN和RNN，或二者的结合
• 无缝CPU和GPU切换
  

简而言之，Keras就是简单易上手的神经网络，将Tensorflow、Theano以及CNTK等作为后端，将复杂的APi简单化，方便小白上手，小伙伴们可以百度keras中文文档进行学习，当然也可以你看我给大家的英文原版书籍，我会上传到附件，英文书籍正好可以练练阅读能力，学人工智能，英语阅读能力少不了的。


二，培训与输出模型


了解了Keras的基本使用后
再来看看如何培训Keras的模型的
直接上培训与输出部分的代码，这部分在电脑上运行，windows和linux均可

1. from keras import layers, models
   
2. from keras.models import load_model
   
3. from keras.datasets import mnist
   
4. from keras.utils import to_categorical
   
5. from keras import backend as K
   
6. import tensorflow as tf
   
7. 
   
8. (x_train, y_train), (x_test, y_test) = mnist.load_data()

复制代码

正确训练完后控制台打印如下

并且应该有三个文件生成

三.将Keras转变为TensorFlow模型
查看Movidius官网的WIki,由于Movidius NCSDK2仅编译TensorFlow或Caffe模型。现在tensorflow正好官方支持了树莓派平台，那就使用tensorflow来做吧。

1. from keras.models import model_from_json
   
2. from keras import backend as K
   
3. import tensorflow as tf
   
4. 
   
5. model_file = "model.json"
   
6. weights_file = "weights.h5"
   
7. 
   
8. with open(model_file, "r") as file:
   
9.     config = file.read()
   
10. 
    
11. K.set_learning_phase(0)
    
12. model = model_from_json(config)
    
13. model.load_weights(weights_file)
    
14. 
    
15. saver = tf.train.Saver()
    
16. sess = K.get_session()
    
17. saver.save(sess, "./TF_Model/tf_model")
    
18. 
    
19. fw = tf.summary.FileWriter('logs', sess.graph)
    
20. fw.close()

复制代码

第一 我们关闭学习阶段，然后从我们先前保存的两个单独文件以标准Keras方式加载模型。

通过 调用 K.get_session() 从使用基于TensorFlow后端的 Keras，将提供默认的TensorFlow  session 。您甚至可以调用 sess.graph.get_operations()进一步了解TensorFlow graph中的内容 它将返回一列模型中TensorFlow操作。这对于查找计算棒不支持的操作非常有用，众所周知，movidius的限制还是太多，希望国产的角峰鸟可以解决一些限制。最后，TensorFlow Saver类将模型保存到指定路径中的四个文件中。

每个文件都有不同的用途，

• checkpoint定义模型检查点路径，在我们的例子中是“tf_model”。
• .meta存储图形结构，
• .data存储图中每个变量的值
• .index标识检查点。
  

四.使用mvNCCompile编译TensorFlow模型

在装有ncsdk的树莓派或主机上，使用mvNCCompile。mvNCCompile命令行工具自带NCSDK2工具包，可以转换来自Caffe或Tensorflow网络到graph，也就是可由Movidius计算棒使用的文件。我们将' conv2d_1_input '作为输入节点，将' dense_2 / Softmax '作为输出节点。一行命令即可在当前目录生成名为”graph“的文件。

1. mvNCCompile TF_Model / tf_model.meta -in = conv2d_1_input -on = dense_2 / Softmax

复制代码

五.部署graph并进行预测

1. from mvnc import mvncapi as mvnc
   
2. # 获取计算棒的设备名
   
3. devices = mvnc.enumerate_devices()
   
4. dev = mvnc.Device(devices[0])
   
5. # 从文件中读取已编译的网络图（为图形文件正确设置graph_filepath）
   
6. with open("graph", mode='rb') as f:
   
7.     graphFileBuff = f.read()
   
8. 
   
9. graph = mvnc.Graph('graph1')
   
10. 
    
11. # 在设备上分配图形并创建输入和输出
    
12. in_fifo, out_fifo = graph.allocate_with_fifos(dev, graphFileBuff)
    
13. 
    
14. # 将输入写入input_fifo缓冲区并在一次调用中对推理进行排队
    
15. graph.queue_inference_with_fifo_elem(in_fifo, out_fifo, input_img.astype('float32'), 'user object')
    
16. 
    
17. # 将结果读取到输出Fifo
    
18. output, userobj = out_fifo.read_elem()
    
19. print('Predicted:',output.argmax())

复制代码

六.使用Raspberry Pi上的摄像头实时图像进行预测

训练MNIST模型以识别28×28分辨率的灰度图像的手写数字，所以必需转换摄像头捕获的图像，下面是一些预处理步骤。

• 裁剪图像的中心区域
• 使用边缘检测找到图像的边缘，此步骤也可以将图像转换为灰度
• 扩大边缘，使边缘更厚，以填充两个紧密平行边缘之间的区域。
• 将图像大小调整为28 x 28
  

对于每个捕获的帧，我们将其传递给图像预处理函数，然后输入NCS graph，该graph返回最终的预测概率。从那里，我们将最终预测的结果呈现为在显示器上显示的图像上。

图像处理过程的代码片段如下

1. import numpy as np
   
2. import cv2
   
3. class ImageProcessor:
   
4.     """
   
5.     A singleton class for ImageProcessor
   
6.     """
   
7. 
   
8.     p1 = 90
   
9.     p2 = 30
   
10.     ROI_ratio = 0.2
    
11.     label_text_color = (0, 120, 0)
    
12.     min_score_percent = 60
    
13. 
    
14.     def __new__(cls, min_score_percent=60):
    
15.         if not hasattr(cls, 'instance'):
    
16.             cls.instance = super(ImageProcessor, cls).__new__(cls)
    
17.         return cls.instance
    
18. 
    
19.     def __init__(self, min_score_percent=60):
    
20.         self.min_score_percent = min_score_percent
    
21.     def preprocess_image(self, input_image):
    
22.         self.sz = input_image.shape
    
23.         self.cx = self.sz[0]//2
    
24.         self.cy = self.sz[1]//2
    
25.         self.ROI = int(self.sz[0]*self.ROI_ratio)
    
26.         edges = cv2.Canny(input_image,self.p1,self.p2)
    
27.         cropped = edges[self.cx-self.ROI:self.cx+self.ROI,self.cy-self.ROI:self.cy+self.ROI]
    
28.         kernel = np.ones((4,4),np.uint8)
    
29.         cropped = cv2.dilate(cropped,kernel,iterations = 2)
    
30.         cropped_input = cv2.resize(cropped,(28,28)) / 255.0
    
31.         cv2.rectangle(input_image, (self.cy-self.ROI, self.cx-self.ROI), (self.cy+self.ROI, self.cx+self.ROI),(255,255,0), 5)
    
32.         return cropped_input, cropped
    
33.     def postprocess_image(self, input_image, percentage, label_text, cropped=None):
    
34.         if cropped is not None:
    
35.             cropped = np.stack((cropped,)*3, -1)
    
36.             input_image[-cropped.shape[0]:, -cropped.shape[1]:] = cropped
    
37.         if percentage >= self.min_score_percent:
    
38.             cv2.putText(input_image, label_text, (self.cy-self.ROI - 1, self.cx-self.ROI - 1),cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 255, 255), 2)
    
39.         else:
    
40.             cv2.putText(input_image, '?', (self.cy-self.ROI - 1, self.cx-self.ROI - 1),cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 255, 255), 2)
    

复制代码

下面就是重头戏使用movidius ncs进行摄像头拍摄识别

1. #!/usr/bin/env python3
   
2. from mvnc import mvncapi as mvnc
   
3. import numpy as np
   
4. from ImageProcessor import ImageProcessor
   
5. import cv2
   
6. 
   
7. cv_window_name = "predict-mnist"
   
8. CAMERA_INDEX = 0
   
9. REQUEST_CAMERA_WIDTH = 640
   
10. REQUEST_CAMERA_HEIGHT = 480
    
11. 
    
12. def handle_keys(raw_key):
    
13.     global processor
    
14.     ascii_code = raw_key & 0xFF
    
15.     if ((ascii_code == ord('q')) or (ascii_code == ord('Q'))):
    
16.         return False
    
17.     elif (ascii_code == ord('w')):
    
18.         processor.p1 +=10
    
19.         print('processor.p1:' + str(processor.p1))
    
20.     elif (ascii_code == ord('s')):
    
21.         processor.p1 -=10
    
22.         print('processor.p1:' + str(processor.p1))
    
23.     elif (ascii_code == ord('a')):
    
24.         processor.p2 +=10
    
25.         print('processor.p2:' + str(processor.p2))
    
26.     elif (ascii_code == ord('d')):
    
27.         processor.p2 -=10
    
28.         print('processor.p1:' + str(processor.p2))
    
29.     return True
    
30. processor = ImageProcessor()
    
31. # 检测有没有连接上计算棒
    
32. devices = mvnc.enumerate_devices()
    
33. if len(devices) == 0:
    
34.     print('No devices found')
    
35.     quit()
    
36. 
    
37. dev = mvnc.Device(devices[0])
    
38. 
    
39. # 尝试打开设备。 如果其他进程已经打开它，这将报异常
    
40. try:
    
41.     dev.open()
    
42. except:
    
43.     print("Error - Could not open NCS device.")
    
44.     quit()
    
45. 
    
46. # 从文件中读取已编译的graph
    
47. with open("graph", mode='rb') as f:
    
48.     graphFileBuff = f.read()
    
49. 
    
50. graph = mvnc.Graph('graph1')
    
51. 
    
52. # 在设备上分配graph并创建输入和输出Fifos
    
53. in_fifo, out_fifo = graph.allocate_with_fifos(dev, graphFileBuff)
    
54. cv2.namedWindow(cv_window_name)
    
55. cv2.moveWindow(cv_window_name, 10,  10)
    
56. 
    
57. cap = cv2.VideoCapture(CAMERA_INDEX)
    
58. cap.set(cv2.CAP_PROP_FRAME_WIDTH, REQUEST_CAMERA_WIDTH)
    
59. cap.set(cv2.CAP_PROP_FRAME_HEIGHT, REQUEST_CAMERA_HEIGHT)
    
60. 
    
61. actual_frame_width = cap.get(cv2.CAP_PROP_FRAME_WIDTH)
    
62. actual_frame_height = cap.get(cv2.CAP_PROP_FRAME_HEIGHT)
    
63. print ('actual video resolution: ' + str(actual_frame_width) + ' x ' + str(actual_frame_height))
    
64. 
    
65. if ((cap == None) or (not cap.isOpened())):
    
66.     print ('Could not open camera.  Make sure it is plugged in.')
    
67.     print ('Also, if you installed python opencv via pip or pip3 you')
    
68.     print ('need to uninstall it and install from source with -D WITH_V4L=ON')
    
69.     print ('Use the provided script: install-opencv-from_source.sh')
    
70.     exit_app = True
    
71.     exit()
    
72. exit_app = False
    
73. while(True):
    
74.     ret, input_image = cap.read()
    
75. 
    
76.     if (not ret):
    
77.         print("No image from from video device, exiting")
    
78.         break
    
79. 
    
80.     # 程序自检，看看检测窗口可被叉掉了
    
81.     prop_val = cv2.getWindowProperty(cv_window_name, cv2.WND_PROP_ASPECT_RATIO)
    
82.     if (prop_val < 0.0):
    
83.         exit_app = True
    
84.         break
    
85.     cropped_input, cropped = processor.preprocess_image(input_image)
    
86.     # 将输入写入input_fifo缓冲区并在一次调用中对推理进行排队
    
87.     graph.queue_inference_with_fifo_elem(in_fifo, out_fifo, cropped_input.astype('float32'), 'user object')
    
88.     # 将结果读取到输出Fifo
    
89.     output, userobj = out_fifo.read_elem()
    
90.     predict_label = output.argmax()
    
91.     percentage = int(output[predict_label] * 100)
    
92.     label_text = str(predict_label) + " (" + str(percentage) + "%)"
    
93.     print('Predicted:',label_text)
    
94.     processor.postprocess_image(input_image, percentage, label_text, cropped)
    
95.     cv2.imshow(cv_window_name, input_image)
    
96.     raw_key = cv2.waitKey(1)
    
97.     if (raw_key != -1):
    
98.         if (handle_keys(raw_key) == False):
    
99.             exit_app = True
    
100.             break
     
101. cap.release()
     
102. # 取消分配并清除fifo和图形，关闭设备
     
103. try:
     
104.     in_fifo.destroy()
     
105.     out_fifo.destroy()
     
106.     graph.destroy()
     
107.     dev.close()
     
108.     dev.destroy()
     
109. except:
     
110.     print("Error - could not close/destroy Graph/NCS device.")
     
111.     quit()

复制代码

下面是实际运行的照片：

Deep Learning with Keras.zip (8.71 MB, 下载次数: 12, 售价: 20 与非币)

2018-9-1 21:58 上传

点击文件名下载附件

satoll

大兄弟厉害了！

halo501

厉害了，最近在入门深度学习，很好的学习资料，谢谢

halo501

谢谢你的书

geren2014

哇，学习了，感谢楼主分享

周星之迷

太长知识了，感谢

跳跃的开发板

感谢楼主分享

satoll

没有（二）了吗？

阿莫斯

谢谢对AI小白的支持

Daniel-Wu

satoll 发表于 2018-9-6 10:34
没有（二）了吗？

最近开学太忙，稍后更新