5.1. 梁柱节点钢筋避障排布问题描述——多智能体路径规划

多智能体强化学习（MARL）是求解路径规划问题的有效方法。对于工程实际中复杂的钢筋混凝土结构，通过将每根钢筋抽象为强化学习的智能体，并将设计规则转化为对应的奖励和惩罚，可将无碰撞的钢筋设计问题转化为多智能体路径规划问题，即多智能体在钢筋混凝土构件中，从起点安全地到达已定义的目标点，而智能体走过的路径即是生成的钢筋排布路径。

在此任务中，若在二维平面中，智能体可以选择以下三个动作之一：向前、向左和向右。若在三维空间中，智能体可以选择以下五个动作之一：向上、向下、向前、向左和向右，如图5-2所示。智能体的任务是在规定的时间内成功地通过节点并到达指定目标点，途中不遇到任何障碍。使用上述多智能体强化学习方法，通过收集智能体的轨迹，可得到无冲突钢筋设计的三维坐标。

具体来说，在钢筋混凝土梁柱节点中，钢筋设计的多智能体强化学习过程可分为以下三个阶段，如图5-2所示：（1）在第一阶段中，柱中的纵向钢筋被视为一组智能体，路径环境是无任何障碍的三维梁柱节点；（2）在第二阶段，将x方向梁的纵向钢筋视为一组智能体，将柱内纵筋和箍筋视为障碍物；（3）在第三阶段，将y方向梁的纵筋视为一组智能体，将柱内纵筋、箍筋和x方向的梁筋视为障碍物。

图 5-2 混凝土梁柱节点钢筋设计问题描述