Uber开源Manifold,用于调试AI模型的可视工具

tomato 2020-01-08 09:25:44 1394

英国伦敦的Uber应用

调试机器学习(ML)模型不是一件简单的事情。只需询问Uber的数据科学家和工程师就知道了,他们中的一些人承担着一项不值得羡慕的任务:深入研究算法,诊断出性能问题的原因。

为了减轻工作量,Uber内部开发了Manifold,这是一种模型不可知的可视化工具,可显示特征分布的差异(即所观察到的现象的可测量属性)。它是乘车公司的米开朗基罗ML平台的一部分,该平台已帮助各种产品团队分析了无数的AI模型。截止到今天,它已在GitHub上以开源形式提供。

Uber机器学习软件工程师Lezhi Li在博客中写道:“自从今年早些时候突出[Manifold]以来,我们已经收到了很多关于其在通用ML模型调试场景中的潜力的反馈。” “在开源独立版本的Manifold时,我们相信该工具将通过为ML工作流提供可解释性和可调试性,同样使ML社区受益。”

Manifold利用所谓的聚类算法(k-Means)将预测数据根据其性能相似性分成多个段。该算法通过其KL散度对特征进行排名,KL散度是两个对比分布之间差异的度量。一般而言,在Manifold中,较高的发散度表示给定的特征与区分两个片段组的因子相关。

Manifold包括对多种算法类型的支持,包括常规的二进制分类和回归模型。在可视化方面,它可以提取数字和分类以及地理空间要素类型。它与Jupyter Notebook集成在一起,Jupyter Notebook是为数据科学家和ML工程师使用最广泛的数据科学平台之一,并且具有交互式数据切片和基于每个实例的预测损失和其他特征值的性能比较。

Manifold方便的性能比较视图可比较模型和数据子集的预测性能。功能归因视图通过用户定义的细分汇总了具有各种性能级别的数据子集的功能分布。两者都提供了模型性能的概述和地理空间特征的地图视图,有助于识别表现不佳的数据子集以进行进一步检查。

Manifold包装为独立安装或打包安装。安装后,有两种向其中输入数据的方式:通过逗号分隔的文件或以编程方式进行的转换。

Uber一直处于开源状态。Manifold的发布是在Plato揭幕之后发布的,Plato是一个用于构建,培训和部署对话式AI和机器学习的平台。去年初,它推出了Ludwig,这是一个基于Google TensorFlow框架构建的开源工具箱,该工具箱允许用户无需编写代码即可训练和测试AI模型。在2019年2月,它启动了自主可视化系统(AVS),这是一种基于Web的独立技术,用于了解和共享自主系统数据。


声明:本文由易百纳技术社区编写,文章内容来自venturebeat,版权归原作者所有,转载请注明出处,如有侵权请联系删除。

声明:本文内容由易百纳平台入驻作者撰写,文章观点仅代表作者本人,不代表易百纳立场。如有内容侵权或者其他问题,请联系本站进行删除。
tomato
红包 点赞 收藏 评论 打赏
评论
0个
内容存在敏感词
手气红包
    易百纳技术社区暂无数据
相关专栏
置顶时间设置
结束时间
删除原因
  • 广告/SPAM
  • 恶意灌水
  • 违规内容
  • 文不对题
  • 重复发帖
打赏作者
易百纳技术社区
tomato
您的支持将鼓励我继续创作!
打赏金额:
¥1易百纳技术社区
¥5易百纳技术社区
¥10易百纳技术社区
¥50易百纳技术社区
¥100易百纳技术社区
支付方式:
微信支付
支付宝支付
易百纳技术社区微信支付
易百纳技术社区
打赏成功!

感谢您的打赏,如若您也想被打赏,可前往 发表专栏 哦~

举报反馈

举报类型

  • 内容涉黄/赌/毒
  • 内容侵权/抄袭
  • 政治相关
  • 涉嫌广告
  • 侮辱谩骂
  • 其他

详细说明

审核成功

发布时间设置
发布时间:
是否关联周任务-专栏模块

审核失败

失败原因
备注
拼手气红包 红包规则
祝福语
恭喜发财,大吉大利!
红包金额
红包最小金额不能低于5元
红包数量
红包数量范围10~50个
余额支付
当前余额:
可前往问答、专栏板块获取收益 去获取
取 消 确 定

小包子的红包

恭喜发财,大吉大利

已领取20/40,共1.6元 红包规则

    易百纳技术社区