智东西
作者 程茜 新澳门一码一肖一特一中
编辑 心缘
智东西6月5日报道，今日下午，在北京前沿国际人工智能研究院主办的“走入松延动力”活动上，松延动力创始人兼董事长姜哲源透露，其人形机器人“小顽童”在亦庄人形机器人半程马拉松比赛中拿下银牌后的一个月内，松延动力就拿到了超1000台人形机器人订单，目前总订单规模已经突破2000台，总合同额超过1亿元。
▲松延动力“小顽童”在亦庄人形机器人半程马拉松比赛现场（图源：松延动力）
姜哲源重点剖析了深度强化学习在机器人中的应用，其具体思路可分为四个部分，分别为算法设计、仿真训练、sim2sim（Simulation-to-Simulation）、真机部署。松延动力下半年的重要工作就是保障机器人交付。
此外，北京前沿国际人工智能研究院理事长、英诺天使基金合伙人王晟谈道，北京前沿国际人工智能研究院的定位不同于传统研究院，其更注重连接优秀科学家、金融机构、媒体和社科专家，以推动科技成果落地。这也是该研究院此次举办该活动的原因。
从投资者角度，王晟谈到了对近两年来国内AI产业格局变化的看法。AI企业在规模和方向上相较于前两年有所变化，但大公司的格局相对稳定，改变现有格局的难度较大。未来，企业商业模式、营收、利润及未来价值成为投资的关键考量因素。
当前，AI领域的头部玩家，尤其是大厂持续加大对AI业务线和新技术探索的投入，同时强调在大模型方面的持续投入。其方向主要聚焦于增强国际竞争力、提升推理能力以及适度拓展应用范围。同时，大语言模型的再训练能力被普遍认为是提升模型能力的关键，后发者需在有限的投入下追求更高的效率和效果。
▲北京前沿国际人工智能研究院理事长、英诺天使基金合伙人王晟
一、形成两大人形机器人产品线，详解深度强化学习
目前，松延动力已经形成两大产品线，一类是双足人形机器人包括N2和N1，一类是仿真人形机器人。其目标是让机器人真正走入千家万户。
▲松延动力创始人兼董事长姜哲源
在技术层面，姜哲源重点提到了提升机器人运动性能背后的深度强化学习技术，以及深度强化学习在人形机器人、足式机器人运动控制上的应用。
人类完成决策一般会经历试错、重复记忆、改进的过程，强化学习也是通过不断犯错、改进进行学习。这背后，让人形机器人跑起来的技术就是深度强化学习。
强化学习与深度学习的关系可以理解为，深度学习通过神经网络增强强化学习中智能体的感知和决策能力，强化学习为深度学习提供目标导向的训练机制，例如通过奖励信号来优化神经网络的参数。
他解释说，深度强化学习回归到数学模型就是马尔科夫决策过程（MDP）。马尔科夫决策过程指的是，下一时刻的状态仅与当下时刻的状态有关，与之前时刻的状态无关。
MDP可以用元组〈S、A、P、r、γ〉表示：
S是状态的集合，对应到机器人中就是其每个关节角度是多少、地面环境如何、电机温度多少等；A是动作的集合；P是状态转移函数，指机器人下一个时刻状态的概率分布；r是奖励函数，比如机器人跑步过程中，研究人员希望机器人跑步更像人，那就是跑得越像人奖励函数越高；γ是折扣因子，用于确定未来奖励相对于当前状态下的价值，能使机器人尽早获得大量奖励函数。
用一句话概括，强化学习就是学习从状态空间S到动作空间A的映射，来最大化累积奖励R的期望。松延动力在做的事情就是，机器人当前所处状态到它去做动作、如何发送指令，学习这之间的映射关系。
目前，深度强化学习有一些基本的算法，如基于动作价值函数去选取当前最优的动作的Qfunction，以及松延动力在马拉松比赛中用到的近端优化算法PPO等。
二、深入运动控制、抓取、导航避障场景，深度强化学习四大应用思路
深度强化学习在机器人中的应用包括运动控制、抓取、导航避障，其应用思路可分为四个部分，分别为算法设计、仿真训练、sim2sim、真机部署。
姜哲源谈道，仿真环境的必要性在于绝对安全的测试环境、可以高度并行计算、便于状态估计和策略学习、提高算法验证与优化效率。
松延动力是基于英伟达IsaacGym进行训练，其具有高效并行计算能力、与深度学习框架无缝集成、高保真度物理仿真、具有丰富的案例。
sims2sim验证环节，该公司会将机器人放到目前机器人领域仿真器中保真度最高的Mujoco测试中。
在动作空间、状态空间设计方面，动作空间指的是机器人关节的角度、力矩等，一般需要具备完备性、高效性、合法性，状态状态空间设计的范式包括任务分析、信息筛选、泛化性考量、效果验证的过程。在此基础上，松延动力还采用了特殊表征学习方法。
此外，松延动力会通过奖励函数定义机器人学习的目标与期望行为，如将人类动作捕捉的数据作为奖励函数的参考设计或将机器人的控制精度作为奖励函数等。为了增强机器人对于新动作的探索性，他们还会进一步鼓励机器人进行动作探索，奖励函数可以提升机器人性能的上限。
最后将机器人从仿真带到真实世界中时，其会面临环境建模差异、机器人建模差异、控制差异、硬件平台限制。真机部署阶段就需要考虑考量系统稳定性和可靠性、调试和验证的便利性、模型部署迭代等。
三、具身智能产业发展仍处早期，诞生婚庆租赁等创新市场需求
松延动力新公司位于北京市昌平区。作为北京市“一南一北”机器人赛道重点布局区域之一，昌平区已经拥有各类的新型企业97家，产业收入超过100亿元。
北京前沿国际人工智能研究院院长、英诺天使基金创始合伙人李竹谈道，AI大浪潮才刚刚开始，尽管目前超级应用还未出现，其原因是超级终端尚未成熟。未来眼镜等形态的超级终端之上或许会诞生新的超级应用。
从这个角度来看，北京前沿国际人工智能研究院的目标就是要帮助AI产品落地、提升认知、形成生态。
李竹提到，未来15年内，对中国经济影响最大的变量就是AI。这也是北京前沿国际人工智能研究院聚焦于此的关键原因。
他补充说，具体到具身智能产业，这仍然是一个没有完全形成共识的产业，其技术范式尚未收敛，因此当下是技术路线、方向百花齐放的阶段。
▲北京前沿国际人工智能研究院院长、英诺天使基金创始合伙人李竹
面向具身智能行业，王晟认为，这一行业发展处于早期，目前需求集中于高校、科研院所等，但也诞生了婚庆公司等消费场景的租赁需求，因此随着市场的发展这一行业会被创造出更多需求。
结语：具身智能产业化初探：从马拉松银牌到千台订单
正如上文所述，具身智能的发展仍处早期，其技术路线并不收敛，但从考验人形机器人性能的半程马拉松赛场，到拿下超2000台订单，可以看出松延动力在人形机器人的技术突破与商业化落地方面的已经有所进展。 澳门一肖一码100%精准一
此外，北京前沿国际人工智能研究院作为链接企业、投资者以及市场需求的重要平台，或许可以为AI产业加速落地提供不一样的视角。