从像素坐标到安全抓取：视觉机械臂必须处理的五个边界

为什么识别到目标还远远不够

摄像头画面中出现一个红色物体，并不等于机械臂已经知道如何安全抓取。完整链路至少要跨越五个边界：颜色像素到目标中心、像素坐标到工作平面坐标、笛卡尔坐标到关节角度、上位机命令到固件状态，以及软件结果到真实硬件动作。

每个边界都可能产生独立错误。如果只看最终动画，就无法判断偏差来自灯光、标定点、连杆参数、串口数据还是舵机安装。

边界一：颜色识别输出的是候选目标

固定颜色分拣不一定需要训练神经网络。HSV 分割具有参数清楚、延迟低和容易复现的优点，但需要处理光照、反光和红色色相跨越 0 的问题。

项目对红色使用两个 H 区间，对蓝色和黄色使用单一区间。掩膜先开运算去除小噪点，再闭运算填补目标内部空洞，最后按轮廓面积过滤并通过矩计算中心点。

hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)
mask = cv2.morphologyEx(mask, cv2.MORPH_OPEN, kernel)
mask = cv2.morphologyEx(mask, cv2.MORPH_CLOSE, kernel)

检测结果仍只是候选目标。系统还要做面积阈值、目标去重、工作空间检查和队列容量限制，不能把每一个彩色像素都当成抓取任务。

边界二：像素坐标不是毫米坐标

画面中心 (320, 240) 只描述图像位置。机械臂需要的是相对基座的毫米坐标。固定俯视相机和固定桌面平面可以使用 Homography，把平面上的像素点映射到机械臂工作坐标。

至少需要四组不共线对应点，并且图像点与机械臂点顺序必须一致。四点标定能补偿平移、旋转、缩放和一定的透视，但不能提供深度。抓取高度仍应由任务配置或额外传感器给出。

matrix, _ = cv2.findHomography(pixel_points, robot_points, cv2.RANSAC)
robot_xy = cv2.perspectiveTransform(pixel_xy, matrix)

验证标定时不能只检查四个原始点。还应选取工作区内部和边缘的独立点，记录毫米误差，并在相机移动、焦距改变或工作面高度变化后重新标定。

边界三：坐标可达不代表关节安全

逆运动学把 (x, y, z) 转换为底座、肩、肘和腕角度。计算前先执行保守工作空间检查，可以阻止明显危险的输入。计算后还要检查余弦定理解是否存在，以及每个舵机角度是否处于允许范围。

if (!kinematics_in_workspace(x_mm, y_mm, z_mm)) {
    return false;
}
if (cosine_elbow < -1.0f || cosine_elbow > 1.0f) {
    return false;
}

数学模型中的连杆长度、工具偏移和零点必须与真实机械臂一致。没有实物标定时，逆运动学通过只能证明公式在当前参数下自洽，不能证明实际末端位置准确。

边界四：串口发送成功不等于命令可靠到达

串口一次读取不保证得到一整帧，可能出现拆包、粘包、前缀噪声和坏 CRC。可靠协议需要帧头、版本、类型、序号、长度、payload 和校验值，并让解析器能够丢弃坏帧后重新寻找下一帧。

AA 55 | version | type | sequence | length | payload | CRC16

序号用于匹配命令与响应，长度必须设上限，坐标编码前要检查整数范围。机械臂运动期间还应维护心跳或合法帧超时，通信中断时进入安全状态，而不是保持最后一个危险动作。

边界五：软件闭环不能替代实机验收

仿真器可以验证目标识别、任务队列、协议、状态机和失败流程；自动测试可以验证标定、运动学和协议边界；交叉编译可以证明固件能够生成 ELF、HEX、BIN 和 MAP。它们都很有价值，但不能证明舵机供电、连杆安装、急停、限位和抓取力正确。

实机验收至少应按以下顺序进行：

断开舵盘，检查控制板、电源、共地和急停输入。
单独测试每个舵机的方向、中位和安全角度。
测量真实连杆长度并更新运动学参数。
固定相机并重新完成四点标定。
测量 FSR 空载与夹持值并设置阈值。
先手动、再半自动，最后启用全自动分拣。

如何建立可追溯的验证证据

每个边界都应留下自己的证据：颜色测试画面、标定点与误差、运动学输入输出、串口测试向量、固件容量报告、急停测试记录和抓取成功率。不同证据不能互相替代。

本项目目前保留 14 项上位机自动测试、GUI 冒烟测试、固件交叉编译结果和资源占用报告。实体机械臂相关结果仍明确标为待验证。

总结

视觉机械臂的工程价值不在于把所有代码写进一个循环，而在于让每个转换边界可检查、可失败、可恢复。只有颜色、坐标、运动、通信和安全都分别验证，最终抓取结果才具有可信度。

[查看 STM32 视觉机械臂自动分拣系统](../../projects/stm32-vision-robot-arm-sorter/)