新时代,高科技越来越发达。朋友们看到了很多关于科技的重要新闻。我们也应该在生活中使用很多这些高科技的东西。朋友要注意什么?今天,我想和你分享一个关于科技的知识。我希望你会喜欢它。
在讨论的第一部分,我介绍了模型债务的基本概念,作为测量单个模型和人工智能程序整体有效性的方法。在第二部分,我将举一个简单的例子来说明在实践中如何计算模型债务。
计算模型生产债务和模型价值损失需要以下输入:
目标生产天数(TPD)是模型从数据科学团队发布到生产的整个生命周期中的生产天数。评估TPD的关键因素包括:
加载锁定(LTL)时间,这是数据科学团队将模型视为“准备部署”的时间与模型首次部署到生产中的时间之间的预期时间。锁定时间越短,模型对业务的贡献越快。
的实际锁加载时间将取决于ModelOps过程在企业AI架构师定义的生命周期步骤中移动模型的效率,包括技术检查(例如,安全扫描、性能验证等。)、治理要求(例如,法规遵从性、可解释的报告等。)和业务考虑因素(例如,关于KPI的协议、部门签名等。).
模型的目标刷新率(TRR ),它决定了两次模型刷新之间的理想时间。每个模型都有一个刷新节奏,任何偏离模型目标刷新率的行为都会降低模型的性能。
对于许多模型来说,焦点是快速刷新以跟上用于训练模型的数据和当前现实或“运行状态”之间的差异。比如信用卡获客模型可能仅仅一个季度就损失20%到30%甚至更多的价值,而保险定价模型可能仅仅30天就损失30%的价值。但是,过于频繁地刷新模型也会降低模型的性能。关键是要确保刷新按照数据科学团队和企业AI架构师商定的生命周期进行。
实际生产天数,代表模型部署和运行期间任何TPD的一部分。
降级因素是缺乏目标刷新率导致的模型性能降级。对于根据目标时间表更新的模型,这表示为每日疗效相对于目标疗效的百分比下降。
模型的每日值,即模型每天或每周的预期值。例如,度量可以是每日收入、模型输出所依赖的业务决策、欺诈案例或无需人工干预即可处理的客户服务案例。对于需要很长时间才能过期的模型(例如,金融服务中的某些类型的模型),短期价值度量(例如,收入或储蓄/天)可能没有意义。对于这些类型的模型,有必要评估更复杂的值,这将在下一篇文章中介绍。
定义了这些参数之后,我们就可以开始评估模型债务了。首先,定义车型全生命周期的目标生产计划,从而建立与实际性能对比的基准。然后,在生产中持续监控模型,并使用结果计算瞬时和趋势模型的生产负债和模型价值损失。
假设数据科学团队开发了一个用于检测欺诈性保险索赔的模型。经过测试数据的训练,该模型证明它可以像人类调查员一样准确地检测欺诈,从而实现全自动索赔处理,每天为企业节省10万美元。假设目标模型锁定五天,目标刷新率为每五天一次,目标刷新率过后模型的价值每天下降2.5%。在“理想”的情况下,模型将在发布后的第五天部署,然后每五天刷新一次。该模型将在55天内每天提供10万美元的价值,总计550万美元。价值。
现在,让我们考虑ModelOps处理失败并且实际结果偏离理想状态的情况。组织的低效率将使模型的初始部署延迟15天,其他因素将使刷新率从5天增加到15天。影响如下:
根据目标生产情况,该车型应在第5天投产,但要到第20天才进行调配,因此该车型的生产负债从第5天到第20天每天都会累积到100%。