李的导师是电气与系统工程助理教授、宾夕法尼亚大学嵌入式计算与集成系统工程研究中心(PRECISE)成员尼古拉·马特尼(NikolaiMatni)，他研究机器人系统如何从数据中学习。目标是了解机器人在学习动态系统时遇到的困难，以及哪些方法可能有效应对这些挑战。

他的工作深入了解了机器学习的根本局限性，指导了数据高效且强大的新算法和系统的开发。

“当我尝试将强化学习或模仿学习算法应用于问题时，我经常会遇到无法正常工作的情况，而我不知道为什么，”李说。“这是我的代码中的错误吗?我应该收集更多数据还是运行更多迭代?我需要更改超参数吗?有时，答案不是上述任何一种。相反，无论我使用哪种学习算法，问题都无法有效学习。我的工作可以帮助研究人员了解这种情况。”

改进机器人系统从数据中学习的方式可以提高自动驾驶汽车的安全性和效率，使它们能够在复杂、动态的环境中做出更可靠的决策。同样，在人类环境中运行的机器人(例如医疗保健或制造业)也可以变得更具适应性，能够在最少的人为干预下执行更广泛的任务。最终目标是创建能够更好地服务于人类的机器人系统，为交通、医疗保健等各个领域的进步做出贡献。

“我对机器学习在解决复杂问题(尤其是机器人技术)方面的潜力和局限性非常感兴趣，因此被吸引到这个研究领域，”Lee说道。“现实世界环境的动态特性对机器人系统提出了独特的挑战，我看到了一个利用我在控制理论和统计学方面的背景来产生重大影响的机会。我的动机源于希望弥合理论机器学习模型与其实际应用之间的差距，尤其是在安全性和可靠性至关重要的情况下。

李目前正在考虑的一个案例研究是谷歌的一个项目，该项目旨在帮助机器人从数据中学习一般控制策略。通用策略旨在利用与训练阶段已执行任务的相似性，帮助机器人利用有限的训练数据执行新任务。

“虽然这些方法已被一系列实验证明是有效的，但它们显然存在严重的局限性，”Lee说。“特别是，如果你试图将控制器部署在一个与训练期间所见情况不‘足够接近’的新任务上，控制器的行为将不可预测。挑战在于‘足够接近’是一个定义非常宽泛的概念。我们的目标是应用统计学习理论和控制理论中的工具来精确描述新任务需要与一些简化的、易于分析的设置中的训练任务有多相似。”

Matni表示：“机器学习领域的新成果，例如ChatGPT、Midjourney、扩散模型或深度学习，非常令人兴奋，并且正在实现我们从未见过的新功能。然而，尽管取得了这些令人兴奋的进展，但它们仍然不可靠且需要大量数据。虽然这在应用于聊天机器人或图像生成时不是问题，但在应用于与物理世界交互的安全关键系统(例如自动驾驶汽车)时，这可能是灾难性的。”

Matni补充道，通过从数据中了解学习模型和控制器的统计特性，“我们可以了解如何构建可证明学习高效、稳健和安全的系统，并且重要的是避免可证明昂贵且不可靠的系统和场景。”

当问题太难时

李说，这项研究的一个关键结论是，有时候问题实在太难了。控制系统工程师和研究人员通常认为他们的工作是为面临特定挑战的特定系统设计有效的控制系统，但这并不总是正确的方法。

“有时无论他们做什么，都注定会失败，”李说。“与其改变学习算法的参数或收集更多数据，不如想想如何通过添加执行器或改进传感器位置来让问题变得更容易。”

Lee最近的一项研究重点关注一种称为线性二次调节器的常见控制系统设计。他发现，随着问题变得越来越复杂，从离线数据集学习线性二次调节器所需的数据量可能会大幅增加。“这是一个令人惊讶的结果，因为它表明，即使对于最常用的控制方法之一，学习也可能非常耗费数据，”Lee说。

除了帮助研究人员了解他们的问题何时过于困难之外，Lee的研究结果还可以帮助指导设计更易于控制的系统。

李预计将于2025年毕业，他还在研究研究人员和从业者如何突破机器人系统功能的基本限制。一种方法是策略性地设计系统，使其尽可能易于学习。另一种方法是用相关系统的数据补充从任何感兴趣的系统收集的数据，利用两者之间的相似性继续学习，同时使用来自感兴趣系统的较少数据。

“许多外行认为机器学习几乎可以解决所有问题。我的工作有助于证明它不能，”李说。“在我们需要机器人从与环境的互动中学习的情况下，例如自动驾驶或机器人操纵，收集互动信息可能非常耗费资源。我们的结果表明，如果我们拥有具有大量状态的复杂系统，那么从头开始学习一个适当的控制系统将需要从世界收集大量数据，这对于物理机器人系统来说可能是不可能的。”