基于滤波器修剪的高效音频卷积神经网络

基于滤波器修剪的高效音频卷积神经网络 Ocean 2023-03-21 10:37:02 530

易百纳社区

人工智能(AI)的最新趋势是使用卷积神经网络(CNNs),与其他现有方法相比,卷积神经网络提供了显著的性能。然而,细胞神经网络的大尺寸和高计算成本是在智能手机等资源受限设备上部署细胞神经网络时的瓶颈。

此外,对细胞神经网络进行数小时的训练会导致更多的二氧化碳排放。例如,用于训练细胞神经网络48小时的计算设备(NVIDIA GPU RTX-2080 Ti)产生的二氧化碳相当于一辆平均行驶13英里的汽车所排放的二氧化碳。为了估算二氧化碳,他们的研究人员使用了一种公开可用的工具。

因此,研究人员旨在将细胞神经网络压缩为:

降低计算复杂度以实现更快的推理。

减少内存占用,以便有效地使用底层资源。

通过分析在压缩细胞神经网络的微调过程中有多少训练示例足够,以实现与使用未压缩细胞神经网的所有训练示例获得的性能相似的性能,来减少细胞神经网络训练阶段的计算数量。

解决方案

压缩细胞神经网络的方向之一是通过“修剪”,即从原始网络中明确删除不重要的过滤器,以构建紧凑或修剪的网络。修剪后,对修剪后的网络进行微调,以恢复性能损失。

本研究提出了一种基于余弦距离的算法,用于在开放的音频场景分类cnn滤波器空间中修剪相似滤波器。此外,研究人员通过减少修剪的计算时间来提高算法的效率。

他们发现,提出的修剪方法将每个推理的计算次数减少了27%,内存需求减少了25%,准确性下降了不到1%。在对修剪后的cnn进行微调时,减少25%的训练样例得到的性能与使用所有样例得到的性能相似。他们公开了所提出的算法的可重复性,并提供了一个视频演示,解释了我们发表的工作的方法和结果。

此外,他们在不降低性能的情况下,将所提出的修剪方法的计算时间提高了3倍。

声明:本文内容由易百纳平台入驻作者撰写,文章观点仅代表作者本人,不代表易百纳立场。如有内容侵权或者其他问题,请联系本站进行删除。
Ocean
红包 点赞 收藏 评论 打赏
评论
0个
内容存在敏感词
手气红包
    易百纳技术社区暂无数据
相关专栏
置顶时间设置
结束时间
删除原因
  • 广告/SPAM
  • 恶意灌水
  • 违规内容
  • 文不对题
  • 重复发帖
打赏作者
易百纳技术社区
Ocean
您的支持将鼓励我继续创作!
打赏金额:
¥1易百纳技术社区
¥5易百纳技术社区
¥10易百纳技术社区
¥50易百纳技术社区
¥100易百纳技术社区
支付方式:
微信支付
支付宝支付
易百纳技术社区微信支付
易百纳技术社区
打赏成功!

感谢您的打赏,如若您也想被打赏,可前往 发表专栏 哦~

举报反馈

举报类型

  • 内容涉黄/赌/毒
  • 内容侵权/抄袭
  • 政治相关
  • 涉嫌广告
  • 侮辱谩骂
  • 其他

详细说明

审核成功

发布时间设置
发布时间:
是否关联周任务-专栏模块

审核失败

失败原因
备注
拼手气红包 红包规则
祝福语
恭喜发财,大吉大利!
红包金额
红包最小金额不能低于5元
红包数量
红包数量范围10~50个
余额支付
当前余额:
可前往问答、专栏板块获取收益 去获取
取 消 确 定

小包子的红包

恭喜发财,大吉大利

已领取20/40,共1.6元 红包规则

    易百纳技术社区