Skip to content

Releases: wangzhaode/mnn-llm

llama3-8b-instruct-mnn

19 Apr 05:27
Compare
Choose a tag to compare

Llama-3-8B-Instruct导出onnx转换得到的int4量化版本mnn模型。

模型列表:

  • tokenizer.txt
  • embeddings_bf16.bin
  • lm.mnn
  • block_[0-31].mnn

qwen1.5-7b-chat-mnn

13 Mar 08:23
Compare
Choose a tag to compare

Qwen1_5-7B-Chat导出onnx转换得到的int4量化版本mnn模型。

模型列表:

  • tokenizer.txt
  • embeddings_bf16.bin
  • lm.mnn
  • block_[0-31].mnn

qwen1.5-4b-chat-mnn

13 Mar 06:19
Compare
Choose a tag to compare

Qwen1_5-4B-Chat导出onnx转换得到的int4量化版本mnn模型。

模型列表:

  • tokenizer.txt
  • embedding.mnn
  • embeddings_bf16.bin
  • lm.mnn
  • block_[0-39].mnn

qwen1.5-1.8b-chat-mnn

13 Mar 06:18
Compare
Choose a tag to compare

Qwen1_5-1_8B-Chat导出onnx转换得到的int4量化版本mnn模型。

模型列表:

  • tokenizer.txt
  • embedding.mnn
  • embeddings_bf16.bin
  • lm.mnn
  • block_[0-23].mnn

qwen1.5-0.5b-chat-mnn

13 Mar 06:17
Compare
Choose a tag to compare

Qwen1_5-0_5B-Chat导出onnx转换得到的int4量化版本mnn模型。

模型列表:

  • tokenizer.txt
  • embedding.mnn
  • embeddings_bf16.bin
  • lm.mnn
  • block_[0-23].mnn

yi-6b-chat-mnn

24 Jan 06:46
Compare
Choose a tag to compare

Yi-6B-Chat导出onnx转换得到的int4量化版本mnn模型。

模型列表:

  • tokenizer.txt
  • embedding.mnn
  • lm.mnn
  • block_[0-31].mnn

deepseek-7b-chat-mnn

24 Jan 12:58
Compare
Choose a tag to compare

deepseek-llm-7b-chat导出onnx转换得到的int4量化版本mnn模型。

模型列表:

  • tokenizer.txt
  • embedding.mnn
  • lm.mnn
  • block_[0-29].mnn

tinyllama-1.1b-chat-mnn-int8

23 Jan 08:54
Compare
Choose a tag to compare

TinyLlama-1.1B-Chat导出onnx转换得到的int8量化版本mnn模型。

模型列表:

  • tokenizer.txt
  • embedding.mnn
  • lm.mnn
  • block_[0-22].mnn

bge-large-zh-mnn

17 Jan 08:16
2188c0f
Compare
Choose a tag to compare

bge-large-zh导出onnx转换得到的int8量化版本mnn模型。

模型列表:

  • bge-large-zh-int8.mnn

mnn-llm-apk

25 Dec 07:33
Compare
Choose a tag to compare

基于mnn-llm构建的Android apk, apk中不含模型文件。使用方法如下:

  1. 下载想要测试的模型文件夹,可以参考README中的链接下载, 注意文件夹名称需要包含模型名称;
  2. 将下载好的文件夹使用adb推动到/data/local/tmp/mnn-llm目录下,命令行如下:
adb shell mkdir /data/local/tmp/mnn-llm
adb push ./qwen-1.8b-mnn  /data/local/tmp/mnn-llm
  1. 下载安装apk,打开后在下拉列表中选择要测试的模型文件目录,点击加载模型按钮;
  2. 进入聊天界面,进行聊天测试;