【爱芯元智】【鸿影X1】以文搜图 智能应用

文搜图：以文搜图是一种通过输入文字描述来搜索或查找对应图像的技术，其应用场景非常广泛。

文章目录

背景

距离上一次探讨“以文搜图”模型的适配与落地，转眼已近两年。

https://zhuanlan.zhihu.com/p/660337029

为什么今天又要重提“以文搜图”的模型落地？因为尽管已经过去两年，我们却发现，这一技术在消费级产品中仍未实现广泛普及。尤其是在需求最为迫切的 NAS 领域，虽然众多厂商都希望基于 NAS 打造“智能相册”等应用，但面对海量照片需逐张提取特征建库的挑战，传统依赖 CPU 的处理方式效率低下、功耗高，导致实际使用体验不佳，最终让这一功能停留在“有想法、难落地”的阶段，鲜有用户真正用起来。

正因如此，我们近期投入资源，对“以文搜图”功能进行了系统性重构，并将其封装为易集成的 SDK。这一举措旨在降低技术门槛——即使下游产品团队缺乏 AI 相关的“Know-how”，也能快速接入并享受人工智能带来的效率跃升。同时，这也为我们自身在 AI NVR、AI NAS、HomeBase 等场景的客户拓展提供了有力支持，助力客户加速产品化和规模化量产进程。

• CN_CLIP 原始仓库：HTTPS://GitHub.com/OFA-Sys/Chinese-CLIP
• Huggingface 链接：HTTPS://huggingface.co/AXERA-TECH/LibCLIP
• GitHub 链接：HTTPS://GitHub.com/AXERA-TECH/libclip.axera

性能

示例中，我们采用行业认可的精度能满足商业化产品落地的版本 CN-CLIPViT-L/14@336px。

对比测试选用广泛应用于工控机和高性价比 NAS 产品的 Intel N97 CPU 作为参照。从上表数据可见，由于图片编码模型计算量较大，即便采用 Intel 性价比出色的 N97 CPU，单张图片的推理耗时仍超过 3 秒，处理 100 张图片需近 5 分钟，不仅效率受限，持续运行带来的发热与能耗也对系统稳定性和使用成本构成挑战。
相比之下，搭载基于 AX650N 的 M.2 算力卡后，单张图片处理时间缩短至仅 88 毫秒，100 张图片的处理全程仅需 8 秒，性能提升数十倍，能效表现也大幅提升。
若能将高性能算力卡与主流 CPU 平台深度融合，实现算力协同与资源优化，无疑将为边缘智能应用带来更高效、更经济的解决方案——这正是理想产品的方向。

硬件推广

易百纳-鸿影 X1

• 鸿影 X1 是一款掌上型生成式 AI 超级计算机，专为边缘计算场景设计，具备“感知-决策-执行”全链路智能能力，助力机器人从传统“工具”迈向真正意义上的“智能体”。
• 它提供高达 18 TOPS@INT8 的强劲 AI 算力，配备 16GB 内存与 128GB 固态存储（均支持扩展），支持多模态数据融合、AI 模型本地化推理及动态环境自适应，赋予机器人自主“思考”与“行动”的能力。
• 凭借低功耗、高性价比的优势，鸿影 X1 为开发者及企业伙伴打造了一个强大而灵活的边缘 AI 开发平台，加速智能机器人应用的创新与落地。

模型部署

通过 SSH 登录鸿影 X1

获取 Huggingface 上预编译的程序和模型

pip install -U 「huggingface_hub[cli]

hf download AXERA-TECH/LibCLIP --local-dir AXERA-TECH/LibCLIP

请参考相关文档完成必要环境的安装后运行程序；
在本示例中，我们从 COCO 数据集中随机选取了 1000 张图片，作为“搜图”功能的测试样本。

以下视频展示了在对这 1000 张图片进行特征提取时，主控系统 CPU 的使用率情况。通过采用 M.2 算力卡作为协处理器，显著降低了主控系统的负载压力。

浏览器访问

运行完成后如下所示：

若鸿影 X1 的 IP 地址为 192.168.1.100，可通过 Web 浏览器访问 HTTP://192.168.1.100:7860 进行连接。

在文本框中输入图片描述后，点击“搜图”按钮，系统将返回与之最匹配的前 25 张图片。

后续计划

我们将基于 CLIP 模型的“以文搜图”技术，加速在各类应用级软件中的落地，面向 AI NAS 产品推出“智能相册”、“智能播放器”等实用功能，让更多用户直观体验到人工智能算力为日常生活带来的便捷与高效。