焊缝跟踪综述-焊缝跟踪和焊缝寻位的原理

 

基于视觉的焊缝跟踪综述

摘要：随着信息化技术和智能制造的飞速发展，传统的示教模式和离线编程（OLP）模式已不能适应灵活快速的现代制造模式，因此为提高制造效率，智能焊接机器人被广泛开发应用到工业生产线中。焊接机器人传感系统是实现机器人智能焊接的关键技术之一。视觉传感器由于其独特的非接触特性、鲁棒性好、精度高的特点，在智能焊接机器人中得到了广泛的发展。本文总结了视觉传感器在智能焊接机器人中的最新研究和应用场景，如焊接起始点寻位、焊缝跟踪、熔池监测、焊接质量检测等，并讨论了智能焊接机器人的发展前景，包括主被动视觉融合、多传感器信息融合、人工智能的应用等尽可能为从事这些相关研究工作的研究人员提供微不足道的参考。

关键词：智能焊接机器人；焊接起始点寻位；焊缝跟踪；熔池监控；焊接质量检测

1.前言

前言背景：随着机器人技术的发展和工厂从业人数大幅下滑，加上各地政府鼓励机器换人，越来越多的民营企业开始上机器人进行工业生产制造。如今，中国已成为全球最大工业机器人市场，机器人拥有量占全球三分之一以上份额。据相关数据统计，我国工业机器人销量由2012年的不到2.5万台增长到2020年的23万台，2021年预计将接近30万台，其中所销售的机器人40%以上都用于结构零部件的焊接。尤其是近几年国产机器人的迅猛发展，国产的埃斯顿、埃夫特、钱江、卡诺普等机器人以国产极高的性价比迅速在低端金属加工行业铺开，各行各业的机器人焊接应用发展得如火如荼，但是伴随着焊接机器人的大规模应用，机器人简单的示教重复焊接也遇到越来越多的应用难题，诸如由于工件来料不一致导致的焊偏、撞枪等问题，严重影响产品质量，和生产效率使得机器人没有发挥应有的价值，甚至成为摆设。因此基于视觉的焊接引导和焊缝跟踪过程监测显得尤为重要，不仅提高了焊接机器人的适应能力，还扩展了应用场景。因此要想解决视觉传感在焊接自动化中的大规模应用问题，对基于视觉传感的焊接相关技术的了解必不可少。

焊接机器人根据技术发展进程可分为三代[1]：第一代为示教再现型机器人，此类工业机器人必须由操作者将完成某项作业所需的运动轨迹、运动速度、触发条件、作业顺序等信息通过直接或间接的方式对机器人进行“示教”，由记忆单元将示教过程进行记录，再在一定的精度范围内，重复再现被示教的内容。目前，在工业中得到大量应用的焊接机器人大数都是多属于此类机器人，缺乏对多变的工况足够的适应性，无法智能应对工件焊缝在焊接过程由于热变形产生的形变或者系统装配误差，容易出现焊偏，焊漏等缺陷[2,3]。第二代为具有一定智能、能够通过传感手段（触觉、力觉、视觉等）对环境进行一定程度的感知，并根据感知到的信息对机器人作业内容进行适当的反馈控制，对焊枪对中情况、运动速度、焊枪姿态、焊接是否开始或终止等进行修正，采用接触式传感、结构光视觉等方法实现焊缝自动寻位与自动跟踪的焊接机器人就属于这一类。但是，大多数复杂的工况仍然需要人工进行干预，甚至无法使用焊接机器人进行操作。第三代除了具有一定的感知能力外，还具有一定的决策和规划能力，例如能够利用计算机处理传感结果并对焊接任务进行规划，或根据焊接过程中的多信息传感进行智能决策等，该类焊接机器人仍处于研究阶段，尚未见实际应用。[4]。然而，目前大多数第三代焊接机器人只能进行部分自动化。实现完全自学和经验归纳还有很大差距。截至目前，前两代焊接机器人仍占据工业市场的主导地位。 近年来，新兴的工业4.0概念和机器学习的研究为智能机器人指明了新的方向。因此，随着现代制造技术的发展，对第三代智能焊接机器人的研究与产品化已成为必然趋势[5]。如图1所示，展现了工业机器人的发展历程。

检验和模拟焊工操作的行为和能力是提高机器人焊接智能化的关键，智能焊接使机器人能够在焊接过程中模仿熟练焊工的操作，包括信息获取、推理、决策、过程控制和优化[6]。机器人焊接系统的典型配置如图 2 所示。

实现自动化焊接，需要解决各个环节的关键问题，如起始点寻位、焊缝跟踪、熔池监测、熔深控制、缺陷识别等。在近几年的智能焊接机器人应用研究中，对每个焊接过程中的相关技术都进行了广泛的研究[7,8]在过去的二十年来，一些研究人员试图开发和改进机器人传感器以适应不同的焊接工况。焊接机器人上常见的传感器包括电弧传感器[9-11]、超声波传感器[12-15]、红外传感器[16-19]、声音传感器[20-22]、磁光传感器[23-26]、和视觉传感器 [27-31]。与其他传感器相比，视觉传感器具有非接触式测量和高精度的特点。同时，可以获得大量的焊接环境信息。因此，基于视觉的检测已广泛应用于许多焊接任务，如焊缝跟踪 [32-35]、焊缝提取 [36-38]、焊接质量控制 [39-41] 和缺陷检测 [42-44] .基于其巨大的优势，它已成为自动焊接机器人研究工作的一个重要研究方向。根据视觉传感器的光源，视觉传感器可分为两大类：主动光视觉传感器和被动光视觉传感器。

视觉传感技术根据是否增加附加光源可分为被动视觉方法和主动视觉方法。被动视觉直接采集焊接区域的图像，可以获得更充分、更直观的信息。被动视觉由于没有位置误差和时间滞后，可以用来实时监测熔池行为，但是强烈的噪声干扰，如弧光、熔滴飞溅和烟雾，给图像处理带来了巨大的挑战[45]。主动视觉通常使用结构光或激光投射到工件表面，并使用电荷耦合器件（CCD）相机间接获取焊接区域的信息。该方法具有较强的抗噪能力，可以获得折线型的特征参数或数据[46]。主动视觉广泛应用于机器人焊接，但较大的前置距离检测误差和熔池监控的不足也限制了其应用场景[47]。被动视觉和主动视觉的典型焊接图像如图3和图4所示。

被动视觉和主动视觉的对比见表1。

主动视觉与被动光视觉传感器相比，在复杂的焊接环境中表现出更好的鲁棒性，结构光传感器是主动光视觉传感器的典型代表，已广泛应用于智能焊接机器人中。研究人员为了完成焊接机器人的不同检测任务，设计并改进了不同类型的视觉传感器，以提高检测精度和效率。因此，本文对视觉传感器在智能焊接机器人中的这些最新研究和应用工作进行总结和分析，可为从事该研究方向的研究人员提供一定的参考，本文的其余部分安排如下。第 2 节介绍了常见的视觉传感器，第三节对视觉传感器在智能焊接机器人中的应用的研究现状进行了分析和总结。第 4 节是关于传感器的讨论（本文在各部分阐述了先进视觉传感焊接系统的特点和优势）。最后一部分是本文的结论与展望，分析了视觉传感技术的发展前景，为未来基于视觉的机器人焊接研究提供一些启示。

[1] N.R. Nayak, A. Ray, Intelligent Seam Tracking for Robotic Welding, Springer Science & Business Media, 2013.

[2] Kotera S. Teaching system and teaching method of welding robot: U.S. Patent Application 15/951,862[P]. 2018-10-25.

[3] W. Zhang, Z. Dong, Z. Liu, Present situation and development trend of welding robot, in: 2017 2nd International Conference on Materials Science, Machinery and Energy Engineering (MSMEE 2017)., Atlantis Press, 2017.

[4] Ban K. Programming device and robot control method: U.S. Patent Application 15/948,046[P]. 2018-11-22.

[5] R. Lai, W. Lin, Y. Wu, Review of research on the key technologies, application fifields and development trends of intelligent robots, in: International

[6] S.B. Chen, N. Lv, Research evolution on intelligentized technologies for arc welding process, J. Manuf. Process. 16 (1) (2014) 109–122.

[7] M. Fridenfalk, Development of Intelligent Robot Systems Based on Sensor Control, Univ., 2003.

[8] S. Chaki, B. Shanmugarajan, S. Ghosal, et al., Application of integrated soft computing techniques for optimisation of hybrid CO2 laser–MIG welding process, Appl. Soft Comput. 30 (2015) 365–374.

9. Le J, Zhang H, Xiao (2017) Circular fillet weld tracking in GMAW by robots based on rotating arc sensors. Int J Adv Manuf Technol 88(9-12):2705–2715

10. Le J, Zhang H, Chen XQ (2018) Realization of rectangular fillet weld tracking based on rotating arc sensors and analysis of experimental results in gas metal arc welding. Robotics Comput Integr Manuf 49:263–276

11. Zhang S, Shengsun Hu, Wang Z (2016) Weld penetration sensing in pulsed gas tungsten arc welding based on arc voltage. J Mater Process Tech 229:520–527

12. Russell AM, Becker AT, Chumbley LS, Enyart DA, Bowersox BL, Hanigan TW, Labbe JL, Moran JS, Spicher EL, Zhong L (2016) A survey of flaws near welds detected by side angle ultrasound examination of anhydrous ammonia nurse tanks. J Loss Prevent Proc 43:263–272

13. Chen C, Fan C, Lin S, Cai X, Yang C, Zhou L (2019) Influence of pulsed ultrasound on short transfer behaviors in gas metal arc welding. J Mater Process Tech 267:376–383

14. Petcher PA, Dixon S (2015) Weld defect detection using PPM EMAT generated shear horizontal ultrasound. NDT &E Int 74:58– 65

15. Klimenov VA, Abzaev YuA, Potekaev AI, Vlasov VA, Klopotov AA, Zaitsev KV, Chumaevskii AV, Porobova SA, Grinkevich LS, Tazin ID (2016) Structural state of a weld formed in aluminum alloy by friction stir welding and treated by ultrasound. Russ Phys J+ 59(7):971–977

16. Zhu J, Wang J, Su N, Xu G, Yang M (2017) An infrared visual sensing detection approach for swing arc narrow gap weld deviation. J Mater Process Tech 243:258–268

17. Yu P, Xu G, Gu X, Zhou G, Tian Y (2017) A low-cost infrared sensing system for monitoring the MIG welding process. Int J Adv Manuf Technol 92(9–12):4031–4038

18. Wikle Iii HC, Kottilingam S, Zee RH, Chin BA (2001) Infrared sensing techniques for penetration depth control of the submerged arc welding process. J Mater Process Tech 113(1-3):228–233

19. Bai P, Wang Z, Hu S, Ma S, Liang Y (2017) Sensing of the weld penetration at the beginning of pulsed gas metal arc welding. J Manuf Process 28:343–350

20. Bo C, Wang J, Chen S (2010) A study on application of multisensor information fusion in pulsed GTAW. Ind Robot 37(2):168– 176

21. Pal K, Pal SK (2010) Study of weld joint strength using sensor signals for various torch angles in pulsed MIG welding. CIRP Ann-Manuf Techn 3(1):55–65

22. Bo C, Chen S (2010) Multi-sensor information fusion in pulsed gtaw based on fuzzy measure and fuzzy integral. Assembly Autom 30(3):276–285

23. Gao X, Liu Y, You D (2014) Detection of micro-weld joint by magneto-optical imaging. Opt Laser Technol 62:141–151

24. Gao X, Chen Y (2014) Detection of micro gap weld using magneto-optical imaging during laser welding. Int J Adv Manuf Technol 73(1–4):23–33

25. Gao X, Mo L, Xiao Z, Chen X, Katayama S (2016) Seam tracking based on Kalman filtering of micro-gap weld using magnetooptical image. Int J Adv Manuf Technol 83(1–4):21–32

26. Gao X, Zhen R, Xiao Z, Katayama S (2015) Modeling for detecting micro-gap weld based on magneto-optical imaging. J Manuf Syst 37:193–200

27. Sun J, Li C, Wu X, Palade V, Fang W (2019) An effective method of weld defect detection and classification based on machine vision. IEEE T Ind Inform

28. Zhao Z, Deng L, Bai L, Yi Z, Han J (2019) Optimal imaging band selection mechanism of weld pool vision based on spectrum analysis. Opt Laser Technol 110:145–151

29. Xiong J, Zou S (2019) Active vision sensing and feedback control of back penetration for thin sheet aluminum alloy in pulsed MIG suspension welding. J Process Contr 77:89–96

30. Abu-Nabah BA, ElSoussi AO, Alami A, ElRahman KA (2018) Virtual laser vision sensor environment assessment for surface profiling applications. Measurement 113:148–160

31. Abu-Nabah BA, ElSoussi AO, Alami A, ElRahman KA (2016) Simple laser vision sensor calibration for surface profiling applications. Opt Laser Eng 84:51–61

32. Rout A, Deepak BBVL, Biswal BB (2019) Advances in weld seam tracking techniques for robotic welding: a review. Robotics Comput Integr Manuf 56:12–37

33. Wang X, Li B, Zhang T (2018) Robust discriminant correlation filter-based weld seam tracking system. Int J Adv Manuf Technol 98(9–12):3029–3039

34. Zhang Y-x, You D-y, Gao X-d, Na S-J (2018) Automatic gap tracking during high power laser welding based on particle filtering method and BP neural network. Int J Adv Manuf Technol 96(1–4):685–696

35. Xu Y, Gu F, Chen S, Ju JZ, Ye Z (2014) Real-time image processing for vision-based weld seam tracking in robotic GMAW. Int J Adv Manuf Technol 73(9–12):1413–1425

36. Zhang K, Yan M, Huang T, Zheng J, Li Z (2019) 3D reconstruction of complex spatial weld seam for autonomous welding by laser structured light scanning. J Manuf Process 39:200–207

37. He Y, Xu Y, Chen Y, Chen H, Chen S (2016) Weld seam profile detection and feature point extraction for multi-pass route planning based on visual attention model. Robotics Comput Integr Manuf 37:251–261

38. Xu Y, Gu F, Lv N, Chen S, Ju JZ (2015) Computer vision technology for seam tracking in robotic GTAW and GMAW. Robotics Comput Integr Manuf 32:25–36

39. Yang L, Li E, Long T, Fan J, Mao Y, Fang Z, Liang Z (2018) A welding quality detection method for arc welding robot based on 3D reconstruction with SFS algorithm. Int J Adv Manuf Technol 94(1–4):1209–1220

40. Xiong J, Zou S (2019) Active vision sensing and feedback control of back penetration for thin sheet aluminum alloy in pulsed MIG suspension welding. J Process Contr 77:89–96

41. Zhang Z, Chen H, Xu Y, Zhong J, Lv N, Chen S (2015) Multisensor-based real-time quality monitoring by means of feature extraction, selection and modeling for Al alloy in arc welding. Mech Syst Signal Pr 60:151–165

42. Han Y, Fan J, Yang X (2020) A structured light vision sensor for on-line weld bead measurement and weld quality inspection. Int J Adv Manuf Technol 106(5):2065–2078

43. Ye D, Hong GS, Zhang Y, Zhu K, Fuh JYH (2018) Defect detection in selective laser melting technology by acoustic signals with deep belief networks. Int J Adv Manuf Technol 96(5– 8):2791–2801

44. Lin J, Yu Y, Ma L, Wang Y (2018) Detection of a casting defect tracked by deep convolution neural network. Int J Adv Manuf Technol 97(1–4):573–581

[45] A. Rout, B. Deepak, B.B. Biswal, Advances in weld seam tracking techniques for robotic welding: A review, Robot. Comput. Manuf. 56 (2019) 12–37.

[46] J. Muhammad, H. Altun, E. Abo-Serie, Welding seam profifiling techniques based on active vision sensing for intelligent robotic welding, Int. J. Adv. Manuf. Technol. 88 (1-4) (2017) 127–145.

[47] Lei Yang, Yanhong Liu, Jinzhu Peng, Advances techniques of the structured light sensing in intelligent welding robots: a review, Int. J. Adv. Manuf. Technol. (2020) 1–20.