时间:2022-11-22 17:11:12 | 浏览:332
视觉是人类最重要的感觉器官,占据了80%以上的人类信息获取。机器视觉作为替代人眼的强大技术,日益取得重大突破和广泛应用。机器视觉系统可以代替人眼完成测量、定位、识别和检测等工作,在制造、安防、文化等产业中具有大量的应用商机。
机器视觉不仅可以克服人眼标准的不一致性、非重复性和主观性等问题,为行业制定品质管控的数字标准,还能在高速、高光谱、高分辨率、高可靠性以及工作持续性、环境适应性等方面全面超越人眼极限。
背景介绍及案例概述
近些年,随着工业自动化与物流技术的不断发展,如何使用自动化设备提高物流效率,减少人工,成为目前物流行业最关心的问题。机器视觉系统可以迅速获取大量图像信息,并进行自动处理,该特点使得机器视觉帮助物流行业快速向智能化、自动化方向迈进。目前在工业自动化应用中,机器视觉广泛应用于缺陷检查、扫描识别、定位判断和位置测量等领域。在节省人力成本提高整体作业效率的同时可以极大的提高空间利用率,从而降低运输成本。
随着电商、物流行业的快速发展,分拣方式的发展迫在眉睫,人工分拣存在效率低,错误率高,成本高等缺点,特别是在拆码垛应用中,由于作业强度大,工作内容单一,人工作业的质量及效率普遍低下,自动化拆码垛系统应运而生,而传统自动化拆码垛应用中,“拆”和“码”的对象往往要求是规则且尺寸单一的货物,这就限制了自动化应用的范围,尤其是拆码垛作业环节中,来料完全随机的情况下。该情境下,用传统的人工示教的方式难度大且效率低下,为了解决此问题,海康机器人研发了一套基于机器视觉引导的机械臂拆码垛方案,可以解决多SKU且来料无序的问题。
海康机器人采用自主研发的高精度3D相机配合机器人运动控制平台软件同时搭配智能算法的方案,将AI算法,深度学习紧密结合,突破传统自动化拆码垛的使用场景限制,可应对垛形复杂多变,箱体种类繁多且随机的场景。
方案介绍
该方案中,3D相机负责获取作业范围内,如托盘或传送带上箱体的深度信息及高清2D图像,并将深度信息及2D图像信息发送给机器人控制平台软件,平台软件中内置3D视觉算法和智能轨迹规划算法,3D视觉算法通过AI深度学习+3D点云分割的方法将箱体在托盘或皮带线上的位置快速且准确的定位到,智能轨迹规划算法提供准确的抓取点位、放置点位和轨迹点位,引导机械臂快速抓取和码放动作。
3D视觉引导拆码垛系统
方案中使用的3D相机为海康机器人最新推出的大视野双目结构光立体相机,兼具高精度、大景深、大视野的特点,相机检测精度达到±3mm, 检测范围达到1800mm,近视场为1350mm×1200mm,远视场为3650mm×2750mm(如图2所示),轻松适配1.2m*1m*1.8m等主流垛形。同时具备极高的检测效率和稳定性,从拍照到轨迹算法输出抓取点位的时间小于1.5s。
3D相机视野示意图
为了客户更方便的自主搭建机械臂拆码垛控制系统,海康机器人专门研发了一款机器人运动控制平台软件。软件采用图形化,无代码式的编程界面,简单易用(如图3所示)。软件内置轨迹规划、碰撞检测及抓取规划等多种智能算法,同时软件可适配国内外各种主流品牌机器人。
拆码垛视觉定位模块采用AI深度学习+3D点云分割的方案。利用RGBD相机实时对堆垛进行拍照,获取包裹、托盘的三维数据(深度图+RGB图)。定位处理流程如图4所示,首先利用深度学习网络对RGB图进行包裹的粗定位;然后利用物体表面纹理特征和点云边缘特征进行包裹精定位,并基于包裹表面点云计算出最优的抓取点坐标;最后利用预先获取到的手眼标定关系将视觉位姿转换到机械臂坐标系下执行抓取处理。
视觉定位技术路线
海康机器人3D相机拥有卓越的抗环境光能力,在典型厂房光照条件下(>20000lx),海康机器人3D相机的点云数据明显优于其他相机,对比图片如图5所示。同时海康机器人3D相机对高反光及黑色物体的点云呈现效果上也优于其他相机,对比图像如图6所示。实际测试样本中在高反光金属和黑色纸箱处,其他3D相机在这部分区域的点云数据已有较大程度的损失,而海康机器人3D相机仍能保证相对完整的呈现。
抗环境光对比
高反光和黑色物体对比测试
本方案采用2D+3D联合视觉定位处理,具有精度高、鲁棒性强、抗环境光能力强、无惧深色物体的特点,能准确适用于各种箱体、包装盒、料盒、编织袋、工件等物件,且定位效果与精度不受物体摆放位姿的影响。
定位效果图
智能轨迹规划算法包含对拆垛流程及码垛流程的点位规划,如图8所示,由拆垛分析/码垛分析决策出路径规划的终点构型,再依据感知信息、环境配置等进行碰撞检测,规划出一条安全的拆/码垛路径,其中,拆跺分析及码垛分析的大致流程如下:
拆垛分析是基于3D视觉分类好的点云,通过平面拟合并计算出其对应的法向量、重心位置等信息,以获得每类点云的拆垛点位置;同时由外接矩形确定物体尺寸,用以在路径规划过程中进行碰撞检测;随后通过基坐标/托盘变换关系、机器人状态及拆垛方式等对拆垛位姿的代价进行评估,最终确定最优拆垛构型。
码垛分析是对由用户编辑或自动生成的垛型(如图9所示)进行解码,并通过基坐标/托盘变换关系计算等对各放置位姿的代价进行评估排序,获得放置构型序列,并根据输入的放置索引及机械臂逆运动学位姿获得最终的放置构型,同时内部储存已码垛箱子信息用于路径规划过程中的碰撞检测。
拆码垛整体流程
码垛规则定义示意图
总结
海康机器人3D视觉引导拆码垛系统旨在解决在非结构化环境中对未知形状物体无法抓取或抓取成功率低的问题。基于高精度3D相机对抓取物和环境的2D彩色图像信息,同时结合3D点云数据,精确提取抓取物边缘轮廓,依靠智能算法,筛选最优抓取点位,并基于软件中设定的环境约束,输出最优轨迹点位,提高了整体系统的准确性和可靠性。通过使用该系统,用户可以轻松应对多SKU且来料完全随机的拆码垛场景,在满足自动化拆码垛需求的同时,进一步提高生产效率,降低生产成本。
杭州海康机器人技术有限公司(简称“海康机器人”)是面向全球的移动机器人、机器视觉产品和算法平台的研发和提供商。公司起步于海康威视人工智能技术研究,经过多年深耕布局,已为全球一万多家企业提供高品质的移动机器人和机器视觉软硬件产品,服务3C、汽
智东西(公众号:zhidxcom)作者 | 程茜编辑 | 心缘智东西10月18日报道,今天下午,海康机器人智造大会2022举行,发布了潜伏机器人Q2、潜伏机器人Q7的姊妹款Q7S以及堆垛型AMR(自主移动机器人)系列两款新品F4-2000和
3月28日,海康机器人在杭州研发中心组织开展了为期一天的海康机器人·移动机器人工程师认证考核,共有来自14家集成商的45名技术人员参加考核。为全方位评估技术人员的技能,同时模拟潜伏机器人实际工作环境,本次认证考核分为理论考试和实操考试。其中
智东西(公众号:zhidxcom)作者 |李水青编辑 |心缘智东西3月8日消息,今日,海康威视机器人面向工业场景发布多款工业相机、读码器、智能产品等新品,其中,海康自研机器视觉软件VM4.0实现全新算法架构重构,成为海康机器人首发的算法开放
[中国 杭州] 2022年3月28日,海康机器人机器视觉新技术及新品全球发布会盛大召开,圆满落幕。会上发布了全系列机器视觉新品,工业相机、智能相机、3D相机等重磅硬件产品,带来升级版的VM4.2软件,开启了机器视觉赋能产业转型升级的新时代。
智行视界,为你而来!仲夏之初,2022海康机器人机器视觉全国巡回新品及技术交流会,西安&重庆双站启航!近两百名来自各行业的新老客户伙伴出席会议共筑开放合作的机器视觉生态!01生态合作伙伴计划为打造区域化、层次化的机器视觉应用生态,加强上下游
近日,首次引入国内的“视觉系统设计创新奖VSDC Innovators Awards 2021”正式揭晓获奖年度名单。面向全球的智能制造头部企业海康机器人(Hikrobot)凭借机器视觉“软硬双核”——21MP CXP-12相机、VM算法开
记者 | 沈溦继萤石网络公布招股书,上市进程再进一步之后。海康威视(002415.SZ)火速又公开了新一轮的分拆子公司上市计划。12月30日晚间,海康威视公告,根据公司总体战略布局,结合控股子公司杭州海康机器人技术有限公司(以下简称“海康
IT之家 12 月 31 日消息,昨日晚间,海康威视发布公告称,公司于 2021 年 12 月 30 日召开第五届董事会第七次会议,审议通过了《关于授权公司经营层启动分拆子公司杭州海康机器人技术有限公司境内上市前期筹备工作的议案》。公告指出
全球安防巨头海康威视(002415)分拆机器人业务上市迎来重要进展。公开披露显示,今年9月9日中信证券与海康机器人签署辅导协议,同时正式向浙江证监局报送辅导备案申请材料并于2022年9月30日获得受理挂网。这意味着,海康机器人分拆上市计划迈
记者 | 沈溦萤石网络科创板首发刚刚过会没几天,海康威视(002415.SZ)又马不停蹄公布了新一轮的分拆预案。6月10日晚间,海康威视公告,董事会会议决议通过拟分拆所属子公司海康机器人至创业板上市。据介绍,海康机器人成立于2016年,注
36氪获悉,海康威视发布公告称,董事会授权公司经营层启动分拆子公司杭州海康机器人技术有限公司境内上市前期筹备工作。海康机器人是移动机器人和机器视觉产品提供商,以视觉感知、AI和导航控制等技术为核心,凭借深厚的算法积累、强大的软硬件开发能力、
《科创板日报》(研究员 赵建民 实习研究员 欧绪),近期,海康威视发布公布称,公司董事会授权经营层启动分拆海康机器人至境内上市的前期筹备工作。海康机器人是移动机器人和机器视觉产品提供商,以视觉感知、AI和导航控制等技术为核心,聚焦智能制造,
蓝鲸TMT频道12月30日讯,杭州海康威视数字技术股份有限公司(以下简称“海康威视”) 发布公告称,召开第五届董事会第七次会议,审议通过了《关于授权公司经营层启动分拆子公司杭州海康机器人技术有限公司境内上市前期筹备工作的议案》。公告显示,根
近年有意识孵化创新业务的海康威视(002415.SZ)可谓多点开花,在智能家居、机器人、汽车电子、消防等8大热门领域均有建树,还在智能家居、机器人等细分领域取得领先优势。近日,海康威视分拆的萤石网络在科创板首发过会没几天,公司又马不停蹄公布