高旋

构建基于大语言模型（LLM）的具身智能机器人交互与控制系统，实现从自然语言指令 → 任务规划 → 机器人执行的端到端闭环。系统支持语音、视觉与机器人控制的多模态协同，通过 Agent 任务规划 + ROS2 控制框架驱动双臂人形机器人完成抓取、移动、倒水等复杂操作。

核心工作：

• 大语言模型智能体构建：基于 LangChain / LangGraph 构建大语言模型智能体，通过工具调用机制，实现对自然语言指令的理解、任务分解与动态调度，设计全局状态管理与对话记忆机制，实现任务执行中的上下文保持与历史信息摘要
• ROS2 机器人控制流程：基于 ROS2 搭建机器人控制流程，实现对双臂人形机器人（包括机械臂、夹爪、躯干及移动底盘）的协同控制与任务执行
• 多模态交互系统：集成语音识别（ASR）、语音合成（TTS）与视觉感知模块，构建语音指令驱动的多模态交互系统
• 视觉引导抓取：实现目标物体的视觉定位与坐标系转换，支持基于视觉引导的机器人抓取操作，完成机械臂姿态解算与逆运动学求解，支撑机器人双臂执行动作
• 多线程并发管理：采用多线程架构对 LLM 推理、语音处理与机器人控制任务进行并发管理，提升系统实时性与运行效率

自主研发适用于大棚农业环境的智能采摘机器人系统，基于JAKA协作机械臂与D405深度相机，实现对串番茄的高精度识别与自动采摘。系统已完成在上海孙桥溢佳农业基地与崇明光明农场的多轮实地测试，具备较强的环境适应性与实际作业能力。

主要工作：负责机械臂控制程序开发与目标识别算法

• 机械臂控制算法开发：负责JAKA机械臂的运动控制程序设计，基于机械臂DH模型自主实现机械臂的正/逆运动学解算与轨迹规划，提升末端执行器在复杂姿态下的精准性与稳定性
• 视觉识别系统设计与部署：主导系统级视觉方案设计，融合深度神经网络模型（YOLO）与深度图信息，实现串番茄果实的精准定位、姿态估计以及枝叶遮挡处理。支持对茎秆直径小于5mm目标的鲁棒识别
• 视点优化与任务策略制定：研究并应用视点选择算法，根据遮挡程度与识别置信度动态规划相机位置，提高单次感知效率并降低机械臂无效动作频率
• 现场部署与调试：负责系统软硬件集成、视觉与控制模块联调，参与实地测试任务，完成多个不同自然光照和枝叶形态条件下的采摘任务验证