易百纳玄武S3 rkllm3-server部署验证指南

一、简介

本文主要介绍rkllm3-server运行大模型，然后部署web程序访问大模型的方法。

二、环境搭建

• 硬件平台：易百纳玄武S3
• 软件要求： Debian12

参考易百纳玄武S3 RK182X固件安装指南安装RK182X固件。

三、模型文件获取

1. 联系Ebaina销售人员获取转换好的模型文件；
2. 参考易百纳_玄武S3 模型转换 环境搭建指南，易百纳_玄武S3 模型转换_Qwen2.5-3B指南和

易百纳_玄武S3 模型转换_FastVLM指南进行模型转换得到模型；

四、Web程序部署

联系Ebaina销售人员获取资料。

安装python依赖:

pip install flask --break-system-packages
pip install openai --break-system-packages

运行web程序：

cd web

python3 app.py   

五、板端运行模型

运行模型：

# 进入板端模型文件目录，然后执行：
rkllm3-server -m Qwen2.5-3B-Instruct.rknn --vocab Qwen2.5-3B-Instruct.tokenizer.gguf --embed Qwen2.5-3B-Instruct.embed.bin --host 0.0.0.0 --port 8080 --n_predict 512 --repeat-penalty 1.1 --presence-penalty 1.0 --frequency-penalty 1.0 --top-k 1 --top-p 0.8 --temp 0.8

web访问：http://:5000 ，例如：http://192.168.1.35:5000