Skip to content

Latest commit

 

History

History
22 lines (14 loc) · 622 Bytes

RWKV-Runner.md

File metadata and controls

22 lines (14 loc) · 622 Bytes

RWKV-Runner

export MODEL_TYPE=model_type
export TOKENIZER_PATH=/path/to/tokenizer
export CHECKPOINT_PATH=/path/to/model
export START_PORT=port

python3 -m maga_transformer.start_server

在客户端对应位置填写API URL:{server_ip}:{port}即可

  • 在API URL填写服务ip和端口(默认8088)

  • 之后可以直接使用chat功能,其本质上是调用/v1/chat/completion接口

  • 其余接口(续写、作曲等)尚未适配,无法使用