如今，受数据训练的机器学习和人工智能系统已经变得如此有效，以至于世界上许多最大，最受人尊敬的公司几乎完全将它们用于做出关键业务决策。现在，可以使用不涉及任何人为参与的过程来确定贷款，保险或工作申请的结果或欺诈活动的检测。

前世，我在Uber从事机器学习基础设施的工作。从估算ETA到动态定价，甚至使驾驶员与驾驶员匹配，Uber依靠机器学习和人工智能来提高客户满意度并提高驾驶员满意度。坦白地说，如果没有机器学习，我会质疑Uber是否会像我们今天所知道的那样存在。

对于数据驱动型企业而言，毫无疑问，机器学习和人工智能是经久不衰的技术，这些技术如今已成为企业运营中不可或缺的要素，而不是差异化因素。

虽然机器学习模型旨在尽可能接近地反映和预测现实生活，但它们并非没有挑战。像亚马逊，苹果，Facebook，谷歌这样的家喻户晓的品牌都被指控存在算法偏差，从而影响了整个社会。

例如，苹果公司在推出Apple Card时就以AI偏见着称，而用户注意到，它为女性提供的信贷额度比针对男性的信贷额度要小。

在发生Apple Card争议之后，Apple的发行伙伴高盛(Goldman Sachs)为信用额度决策辩护，指出其算法已由第三方审核，并且性别不用作输入或确定因素。

尽管在申请Apple Card时没有要求申请人提供性别，但女性的信贷额度仍然较小，这凸显了令人不安的事实：即使没有受保护的阶级变量，机器学习系统也经常会产生偏见。

如今，数据科学和AI / ML团队无法将受保护的类信息与模型数据进行匹配，以实现合理的可否认性。如果我不使用数据，那么机器就无法做出决定，对吗?实际上，许多变量可以与性别，种族或身份的其他方面相关联，进而导致无法向所有人提供平等机会的决策。

责任失衡

我们生活在一个时代，在这个时代中，主要技术进步没有得到完善的监管，有效地脱离了社会责任，而他们的用户却面临着巨大的反响。

我们与MC Eilish所创造的“道德崩溃区”面对面。该区域代表责任在用户而非整个系统上的扩散。就像汽车的引擎盖在碰撞中首当其冲地冲击一样，技术使用者也为ML系统的错误承担着冲击。例如：就目前而言，如果具有自动驾驶能力的汽车无法识别停车标志，则驾驶员应对汽车造成的任何错误和随后的损坏负责，而不是由训练模型和生产汽车的人员负责。

更糟糕的是，大多数技术的用户很少会充分了解该技术的工作方式及其对社会的广泛影响。期望用户在对这些系统的工作原理了解得很少的情况下做出正确的风险管理决策是不公平的。

在谈论代表性不足和处境不利的社区中的用户时，这些影响会被放大。这些群体的人在管理不可预见的风险和捍卫自己免受潜在破坏性后果的困扰时要困难得多。如果AI系统使用这些人群的有限数据做出决策，则尤其具有破坏性-这就是为什么诸如面部识别技术的法律之类的话题特别具有争议性的原因。鉴于社会利益，对视而不见不再是一种选择。

那些有意建立这些复杂模型的人在这样做时必须考虑其道德责任，因为我们的世界具有无法自行解决的持久结构性后果。

上升或关闭：承担责任。

我们生活在一个通过建立道德框架，制定可接受的行为准则来管理自身风险的社会中，最终：通过立法将这些信念统一起来。当涉及到ML系统时，我们远远落后于此。我们几乎没有开始谈论ML的道德基础，因此，我们的社会将不得不为我们的缓慢行动付出代价。

我们必须更加努力地了解机器学习模型如何做出决策，以及如何改进这一决策以避免社会灾难。

那么，我们现在需要采取什么步骤来开始解决这个问题?

步骤1：承认正确的道德验证对我们快速增长的技术的成功至关重要。

揭露和改善AI / ML如何影响我们这个社会的第一步是更好地理解复杂的模型并验证道德规范。再也不能避免问题并声称无知。

步骤2：将受保护的类数据提供给建模者

与当前的做法相反，当前的做法是从模型中排除受保护的类别数据，以便在结果有偏差的情况下实现合理的可否认性，事实上，受保护的类别数据应可供建模人员使用，并应包括在为ML / AI模型提供信息的数据集中。对这些数据进行测试的能力使这些建模者有责任确保他们的输出没有偏见。

步骤3：打破模型构建者与受保护的类数据之间的障碍

偏差问题和分析不仅是模型验证团队的职责。在团队和数据之间建立隔离墙只会分散责任。团队的构建模型需要承担这一责任，并需要数据来做出那些决定。

步骤4：采用诸如ML可观察性之类的新兴技术来实现问责制

您无法更改未衡量的内容。企业和组织需要主动寻找工具和解决方案，以帮助他们更好地监视，排除故障并解释其技术在做什么。随后，发现改进其构建系统的方法。

最终，随着AI / ML技术变得越来越先进，黑匣子的问题越来越多，但是我们对大多数这些系统如何真正工作一无所知。随着我们赋予技术越来越多的责任，在我们的模型构建中做出有道德根据的决策的重要性呈指数级增长。一切都归结为真正了解我们的创作。如果我们不知道黑匣子中正在发生的事情，那么我们就无法解决它的错误，从而创建一个更好的模型和一个更好的世界。