新的开源平台降低了运行 AI 的成本

康奈尔大学的研究人员发布了一个名为Cascade的新开源平台，该平台可以运行人工智能（AI）模型，在大幅提高性能的同时，减少开支和能源成本。

Cascade专为智能交通路口、医疗诊断、使用增强现实的设备服务、数字农业、智能电网和制造过程中的自动产品检查等环境而设计，在这些环境中，人工智能模型必须在几分之一秒内做出反应。兽医学院的研究人员已经在使用它来监测奶牛患乳腺炎的风险。

随着人工智能的兴起，许多公司渴望利用新功能，但担心相关的计算成本以及与人工智能公司共享私人数据或将敏感信息发送到云端（通过互联网访问的远程服务器）的风险。

此外，今天的人工智能模型速度较慢，限制了它们在数据必须来回传输或模型控制自动化系统的环境中的使用。康奈尔大学安·S·鲍尔斯计算与信息科学学院计算机科学教授Ken Birman领导的一个团队结合了几项创新来解决这些问题。

Birman与高级研究员Weijia Song合作开发了一个边缘计算系统，他们将其命名为Cascade。边缘计算是一种将计算和数据存储放在离数据源更近的位置，以保护敏感信息的方法。Weijia Song的“零拷贝”边缘计算设计最大限度地减少了数据移动。研究人员表示，人工智能模型在对事件做出反应时不必等待获取数据，这使得反应更快。

Birman说：“Cascade使用户能够将机器学习和数据融合真正贴近互联网的边缘，因此人工智能动作可以立即发生。这与标准的云计算方法形成了鲜明对比，在标准云计算方法中，数据从一台机器到另一台机器的频繁移动迫使这些AI等待，导致用户可以感知到长时间的延迟。”

Cascade带来了令人印象深刻的结果，大多数程序的运行速度是基于云的应用程序的两到10倍，一些计算机视觉任务的速度提高了20倍或更多。更大的人工智能模型受益最大。

“此外，这种方法很容易使用，”Birman说，“Cascade通常不需要对人工智能软件进行任何更改。”

计算机科学领域的博士生Alicia Yang是参与这项工作的几名学生研究人员之一。她开发了Navigator，这是一款用于人工智能工作流的内存管理器和任务调度器，可进一步提高性能。Alicia Yang说：“当许多应用程序需要共享昂贵的硬件时，Navigator确实会得到回报。与基于云的方法相比，Navigator在更短的时间内完成相同的工作，并且使用硬件的效率要高得多。”

在CVM中，临床科学系医学肿瘤学副研究教授Parminder Basran和人口医学与诊断科学系助理教授Matthias Wieland正在使用Cascade监测奶牛是否有乳腺炎增加的迹象，乳腺炎是一种常见的乳腺感染，会减少产奶量。

通过在每次挤奶过程中对数千头奶牛的乳 房进行成像，并将新照片与过去挤奶时的照片进行比较，Cascade上运行的人工智能模型可以识别皮肤干燥、开放性病变、乳头末端粗糙和其他可能预示疾病的变化。如果发现早期症状，奶牛可能会在挤奶站接受药物冲洗，以防止全面感染。

奥斯陆大学的客座研究员Thiago Garrett使用Cascade构建了一个“智能交通十字路口”的原型。他的解决方案跟踪挤满了人、汽车、自行车和其他物体的拥挤环境，预测可能发生的碰撞，并警告风险——在拍摄到图像后的几毫秒内。当他在云计算基础设施上运行同样的人工智能模型时，他花了几秒钟的时间才感觉到可能发生的事故，但为时已晚，无法发出警告。

随着新的开源版本的发布，Birman的团队希望其他研究人员能够探索Cascade的可能用途，使人工智能应用程序更广泛地访问。

“我们的目标是看到它被使用，”Birman说，“这个开源版本将让公众从我们的创造中受益。”