agx 安装ros opencv_ROS入门学习五机器人感知-程序员宅基地

技术标签： agx 安装ros opencv  

2ad25899102a754464dba0ba0e117312.png

第五讲 机器人感知

1.机器视觉(图像校准、图像识别等)

ROS中的图像数据(二维图像)

显示图像类型

   roslaunch usb_cam usb_cam-test.launch 		
   rostopic info /usb_cam/image_raw

查看图像消息

    rosmsg show sensor_msgs/Image

2c9bed08799dc29f75fcd78b84018d28.png
  • Header:消息头，包含消息序号，时间戳和绑定坐标系
  • height:图像的纵向分辨率
  • width:图像的横向分辨率
  • encoding:图像的编码格式，包含RGB、YUV等常用格式，不涉及图像压缩编码
  • is_bigendian:图像数据的大小端存储模式
  • step:一行图像数据的字节数量，作为数据的步长参数
  • data:存储图像数据的数组，大小为step*height个字节

bca4cd076781278824810f6443873c31.png

1080*720分辨率的摄像头产生一帧图像的数据大小是 3*1080*720=2764800字节，即2.7648MB

压缩图像消息

 rosmsg show sensor_msgs/CompressedImage

a2422a5709a52ebd5e7319cee3e8678d.png
  • format:图像的压缩编码格式(jpeg,png,bmp)
  • data:存储图像数据数组

显示点云类型

roslaunch freenet_launch freenect.launch 	
rostopic info /camera/depth_registered/points

查看点云消息

	rosmsg show sensor_msgs/PointCloud2

0a6a7a7687ff502362330752507ad2e6.png
  • height:点云图像的纵向分辨率
  • width:点云图像的横向分辨率
  • fields:每个点的数据类型
  • is_bigendian:数据的大小端存储模式
  • point_step:单点的数据字节步长
  • row_step:一列数据的字节步长
  • data:点云数据的存储数组，总字节大小为row_step*height
  • is_dense:是否有无效点

点云单帧数据量也很大，如果使用分布式网络传输，需要考虑能否满足数据的传输要求，或者针对数据进行压缩

摄像头标定

摄像头为什么要标定

摄像头这种精密仪器对光学器件的要求较高，由于摄像头内部与外部的一些原因，生成的物体图像往往会发生畸变，为避免数据源造成的误差，需要针对摄像头的参数进行标定

安装标定功能包

	sudo apt-get install ros-kinetic-camera-calibration

8a7b0338317c938962da183b88df52a5.png

摄像头标定流程

1.启动摄像头

	roslaunch robot_vision usb_cam.launch

2.启动标定包

rosrun camera_calibration cameracalibrator.py --size 8x6 --square 0.024 image:=/usb_cam/image_raw camera:=/usb_cam
  • 1.size:标定棋盘格的内部角点个数，这里使用的棋盘一共有六行，每行有8个内部角点
  • 2.square:这个参数对应每个棋盘格的边长，单位是米
  • 3.image和camera:设置摄像头发布的图像话题

7a31e93edf0f7454fd7f26bf1f292d59.png
  • X:标定靶在摄像头视野中的左右移动
  • Y:标定靶在摄像头视野中的上下移动
  • Size:标定靶在摄像头视野中的前后移动
  • Skew:标定靶在摄像头视野中的倾斜转动

终端中的标定结果

a9b92bc1525df5a161811e56383044c9.png

31a9c4f9029298b8791920f51e96b729.png

标定结果保存路径 /tmp/calibrationdata.tar.gz

Kinect标定流程

1).启动Kinect

roslaunch robot_vision freenect.launch

2).启动彩色摄像头

rosrun

3).标定红外摄像头

rosrun camera_calibration cameracalibrator.py image:=/camera/ir/image_raw camera:=/camera/ir --size 8x6 --square 0.024

摄像头如何使用标定文件

864f1d8c4fbd1b6691fdd554f565182c.png

Kinect如何使用标定文件

cef03080dd281efe966329e25100fefa.png

使用标定文件时可能产生的错误

8ba636145f6ff9d8b0eaad1348563d7b.png

原因：标定文件中camera_name参数与实际传感器名称不匹配

解决方法：按照警告提示的信息进行修改即可。

ROS+OpenCV应用实例(人脸识别、物体跟踪)

OpenCV:Open Source Computer Vision Library

实现了图像处理和计算机视觉方面的很多通用算法，而且对非商业应用和商业应用都是免费的

安装OpenCV

sudo apt-get install ros-kinetic-vision-opencv libopencv-dev python-opencv

26addf0686a7df03bcbe73fc481c4026.png

测试例程

	roslaunch robot_vision usb_cam.launch
	rosrun robot_vision cv_bridge_test.py
	rqt_image_view

imgmsg_to_cv2()；将ROS图像消息转换成OpenCV图像数据

cv2_to_imgmsg()：将OpenCV格式的图像数据转换成ROS图像消息

输入参数：1).图像消息流 2).转换的图像数据格式

人脸识别流程

图像输入 输出结果

0814709f97153ec902645d4c4df2349c.png
基于Haar特征的级联分类器对象检测算法

启动人脸识别实例

roslaunch

初始化部分：完成ROS节点、图像、识别参数的设置。

ROS图像回调函数：将图像转化成OpenCV的数据格式，然后预处理之后开始调用人脸识别的功能函数，最后把识别的结果发布。

人脸识别：调用OpenCV提供的人脸识别接口，与数据库中的人脸特征进行匹配。

503d865c54bfdeecbcea6566aadad1bd.png
跟踪物体的特征点

启动物体跟踪实例

roslaunch robot_vision usb_cam.launch
roslaunch robot_vision motion_detector.launch
rqt_image_view

初始化部分：完成ROS节点、图像、识别参数的设置

图像处理：将图像转换成OpenCV格式；完成图像预处理之后开始针对两帧图像进行比较，基于图像差异识别到运动的物体，最后标识识别结果并发布

二维码识别

安装二维码识别功能包

	sudo apt-get install ros-kinect-ar-track-alvar

创建二维码

	rosrun ar_track_alvar createMarker
	rosrun ar_track_alvar createMarker 0
	
	roscd robot_vision/config
	rosrun ar_track_alvar createMarker -s 5 0
	rosrun ar_track_alvar createMarker -s 5 1
	rosrun ar_track_alvar createMarker -s 5 2

二维码识别(摄像头)

d4f561e9a0dbe590569b153b42d21b64.png

启动摄像头二维码识别示例

	roslaunch robot_vision usb_cam_with_calibration.launch
	roslaunch robot_vision ar_track_camera.launch

启动摄像头时，需要加载标定文件，否则可能无法识别二维码

查看识别到的二维码位姿

	rostopic echo /ar_pose_marker

02d06ba52a51954c925e67ca70ae4f4b.png

二维码识别(Kinect)

9a2f895f15d4f32bd80832a9a0614186.png

启动Kinect二维码识别示例

	roslaunch robot_vision freenect.launch
	roslaunch robot_vision ar_track_kinect.launch

2ba29a0a404c7ded25cd86b1b540d9ea.png

扩展内容：物体识别与机器学习

Object Recognition Kitchen(ORK)

2.机器语音

61cb9aded4b5438a7c406eebf3bb219f.png
语言识别理论模型

常用语音功能包

  • pocketsphinx:集成CMU Sphinx和Festival开源项目中的代码，实现语音识别的功能
  • audio-common:提供了文本转语音的功能实现完成"机器人说话"的想法
  • AIML:人工智能标记语音，Artificial Intelligence Markup Language是一种创建自然语音软件代理的XML语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39731107/article/details/109991043

智能推荐

使用nginx解决浏览器跨域问题_nginx不停的xhr-程序员宅基地

文章浏览阅读1k次。通过使用ajax方法跨域请求是浏览器所不允许的，浏览器出于安全考虑是禁止的。警告信息如下：不过jQuery对跨域问题也有解决方案，使用jsonp的方式解决，方法如下：$.ajax({ async:false, url: 'http://www.mysite.com/demo.do', // 跨域URL ty..._nginx不停的xhr

在 Oracle 中配置 extproc 以访问 ST_Geometry-程序员宅基地

文章浏览阅读2k次。关于在 Oracle 中配置 extproc 以访问 ST_Geometry，也就是我们所说的 使用空间SQL 的方法，官方文档链接如下。http://desktop.arcgis.com/zh-cn/arcmap/latest/manage-data/gdbs-in-oracle/configure-oracle-extproc.htm其实简单总结一下，主要就分为以下几个步骤。..._extproc

Linux C++ gbk转为utf-8_linux c++ gbk->utf8-程序员宅基地

文章浏览阅读1.5w次。linux下没有上面的两个函数，需要使用函数 mbstowcs和wcstombsmbstowcs将多字节编码转换为宽字节编码wcstombs将宽字节编码转换为多字节编码这两个函数，转换过程中受到系统编码类型的影响，需要通过设置来设定转换前和转换后的编码类型。通过函数setlocale进行系统编码的设置。linux下输入命名locale -a查看系统支持的编码_linux c++ gbk->utf8

IMP-00009: 导出文件异常结束-程序员宅基地

文章浏览阅读750次。今天准备从生产库向测试库进行数据导入，结果在imp导入的时候遇到“ IMP-00009:导出文件异常结束” 错误，google一下，发现可能有如下原因导致imp的数据太大，没有写buffer和commit两个数据库字符集不同从低版本exp的dmp文件，向高版本imp导出的dmp文件出错传输dmp文件时，文件损坏解决办法：imp时指定..._imp-00009导出文件异常结束

python程序员需要深入掌握的技能_Python用数据说明程序员需要掌握的技能-程序员宅基地

文章浏览阅读143次。当下是一个大数据的时代，各个行业都离不开数据的支持。因此，网络爬虫就应运而生。网络爬虫当下最为火热的是Python，Python开发爬虫相对简单，而且功能库相当完善，力压众多开发语言。本次教程我们爬取前程无忧的招聘信息来分析Python程序员需要掌握那些编程技术。首先在谷歌浏览器打开前程无忧的首页，按F12打开浏览器的开发者工具。浏览器开发者工具是用于捕捉网站的请求信息，通过分析请求信息可以了解请..._初级python程序员能力要求

Spring @Service生成bean名称的规则（当类的名字是以两个或以上的大写字母开头的话，bean的名字会与类名保持一致）_@service beanname-程序员宅基地

文章浏览阅读7.6k次，点赞2次，收藏6次。@Service标注的bean，类名：ABDemoService查看源码后发现，原来是经过一个特殊处理：当类的名字是以两个或以上的大写字母开头的话，bean的名字会与类名保持一致public class AnnotationBeanNameGenerator implements BeanNameGenerator { private static final String C..._@service beanname

随便推点

二叉树的各种创建方法_二叉树的建立-程序员宅基地

文章浏览阅读6.9w次，点赞73次，收藏463次。1.前序创建#include<stdio.h>#include<string.h>#include<stdlib.h>#include<malloc.h>#include<iostream>#include<stack>#include<queue>using namespace std;typed_二叉树的建立

解决asp.net导出excel时中文文件名乱码_asp.net utf8 导出中文字符乱码-程序员宅基地

文章浏览阅读7.1k次。在Asp.net上使用Excel导出功能，如果文件名出现中文，便会以乱码视之。 解决方法： fileName = HttpUtility.UrlEncode(fileName, System.Text.Encoding.UTF8);_asp.net utf8 导出中文字符乱码

笔记-编译原理-实验一-词法分析器设计_对pl/0作以下修改扩充。增加单词-程序员宅基地

文章浏览阅读2.1k次，点赞4次，收藏23次。第一次实验 词法分析实验报告设计思想词法分析的主要任务是根据文法的词汇表以及对应约定的编码进行一定的识别，找出文件中所有的合法的单词，并给出一定的信息作为最后的结果，用于后续语法分析程序的使用；本实验针对 PL/0 语言 的文法、词汇表编写一个词法分析程序，对于每个单词根据词汇表输出： (单词种类, 单词的值) 二元对。词汇表：种别编码单词符号助记符0beginb..._对pl/0作以下修改扩充。增加单词

android adb shell 权限,android adb shell权限被拒绝-程序员宅基地

文章浏览阅读773次。我在使用adb.exe时遇到了麻烦.我想使用与bash相同的adb.exe shell提示符,所以我决定更改默认的bash二进制文件(当然二进制文件是交叉编译的,一切都很完美)更改bash二进制文件遵循以下顺序> adb remount> adb push bash / system / bin /> adb shell> cd / system / bin> chm..._adb shell mv 权限

投影仪-相机标定_相机-投影仪标定-程序员宅基地

文章浏览阅读6.8k次，点赞12次，收藏125次。1. 单目相机标定引言相机标定已经研究多年，标定的算法可以分为基于摄影测量的标定和自标定。其中，应用最为广泛的还是张正友标定法。这是一种简单灵活、高鲁棒性、低成本的相机标定算法。仅需要一台相机和一块平面标定板构建相机标定系统，在标定过程中，相机拍摄多个角度下（至少两个角度，推荐10~20个角度）的标定板图像（相机和标定板都可以移动），即可对相机的内外参数进行标定。下面介绍张氏标定法（以下也这么称呼）的原理。原理相机模型和单应矩阵相机标定，就是对相机的内外参数进行计算的过程，从而得到物体到图像的投影_相机-投影仪标定

Wayland架构、渲染、硬件支持-程序员宅基地

文章浏览阅读2.2k次。文章目录Wayland 架构Wayland 渲染Wayland的 硬件支持简 述：　翻译一篇关于和 wayland 有关的技术文章, 其英文标题为Wayland Architecture .Wayland 架构若是想要更好的理解 Wayland 架构及其与 X (X11 or X Window System) 结构；一种很好的方法是将事件从输入设备就开始跟踪, 查看期间所有的屏幕上出现的变化。这就是我们现在对 X 的理解。 内核是从一个输入设备中获取一个事件，并通过 evdev 输入_wayland

推荐文章

热门文章

相关标签