dawing
dawing

dawing

0个粉丝

2

问答

0

专栏

0

资料

dawing  发布于  2023-07-27 15:02:42
采纳率 50%
共2个问答
831
  • 收藏
  • 点赞
  • 分享
  • 举报

AI量化精度是如何衡量的？

悬赏金¥ 50
已结题
算力
 
NPU
 

最近在看相关的东西，疑惑比较多，希望大家帮忙解惑共同探讨.

AI 模型都有一个量化精度。INT4 INT8 INT32 fp64这样的说法。
问题1：比如一个16T int4等于多少INT 8的算力？
问题2： QPS 和 TOPS 是什么关系？
问题3： 低比特量化是不是趋势，比如int4?

我来回答
回答1个
时间排序
认可量排序
david

david

10个粉丝

36

问答

24

专栏

58

资料

david 2023-07-28 15:05:01
认可1

一些粗浅理解。坛友斧正 INT32 INT8 算力不能简单等同倍数关系，这个跟架构有关系。我的理解跟带宽设计和寄存器位数有关，所以2T INT32 跟8T INT8 没有直接关系，具体要看跑出来的结果！ 其它两个问题大神来回答下。

添加附件 添加网盘链接
或将文件直接拖到这里
悬赏：
E币
网盘
* 网盘链接：
* 提取码：
悬赏：
E币

Markdown 语法

  • 加粗**内容**
  • 斜体*内容*
  • 删除线~~内容~~
  • 引用> 引用内容
  • 代码`代码`
  • 代码块```编程语言↵代码```
  • 链接[链接标题](url)
  • 无序列表- 内容
  • 有序列表1. 内容
  • 缩进内容
  • 图片![alt](url)
+ 添加网盘链接/附件

Markdown 语法

  • 加粗**内容**
  • 斜体*内容*
  • 删除线~~内容~~
  • 引用> 引用内容
  • 代码`代码`
  • 代码块```编程语言↵代码```
  • 链接[链接标题](url)
  • 无序列表- 内容
  • 有序列表1. 内容
  • 缩进内容
  • 图片![alt](url)
相关问答
无更多相似问答 去提问
易百纳技术社区
点击登录
-- 积分
-- E币
提问
—
收益
—
被采纳
—
我要提问
社区问答
最佳回答
被评为最佳回答，即可获得50元悬赏金额，先回答帮助题主解决问题，会更具优势
悬赏问答
举报反馈

举报类型

  • 内容涉黄/赌/毒
  • 内容侵权/抄袭
  • 政治相关
  • 涉嫌广告
  • 侮辱谩骂
  • 其他

详细说明

提醒
你的问题还没有最佳答案，是否结题，结题后将扣除20%的悬赏金
取消
确认
提醒
你的问题还没有最佳答案，是否结题，结题后将根据回答情况扣除相应悬赏金（1回答=1E币）
取消
确认
易百纳技术社区