Skip to content

SUPPORTED_MODELS.md

Latest commit

 

History

History
234 lines (232 loc) · 10.9 KB

SUPPORTED_MODELS.md

File metadata and controls

234 lines (232 loc) · 10.9 KB

支持的模型

本页面由脚本自动生成。数据源: chitu/config/models/*.yaml。更新命令: python3 script/generate_supported_models_docs.py。

  • DeepSeek-R1 用法: 启动赤兔时追加 models=DeepSeek-R1 启动参数
  • DeepSeek-R1-Distill-Llama-70B 用法: 启动赤兔时追加 models=DeepSeek-R1-Distill-Llama-70B 启动参数
  • DeepSeek-R1-Distill-Llama-70B-ascend-int8 用法: 启动赤兔时追加 models=DeepSeek-R1-Distill-Llama-70B-ascend-int8 启动参数
  • DeepSeek-R1-Distill-Qwen-14B 用法: 启动赤兔时追加 models=DeepSeek-R1-Distill-Qwen-14B 启动参数
  • DeepSeek-R1-Distill-Qwen-14B-fp8 用法: 启动赤兔时追加 models=DeepSeek-R1-Distill-Qwen-14B-fp8 启动参数
  • DeepSeek-R1-FP4 用法: 启动赤兔时追加 models=DeepSeek-R1-FP4 启动参数
  • DeepSeek-R1-Q4_K_M 用法: 启动赤兔时追加 models=DeepSeek-R1-Q4_K_M 启动参数
  • DeepSeek-R1-bf16 用法: 启动赤兔时追加 models=DeepSeek-R1-bf16 启动参数
  • DeepSeek-R1-fp4-all 用法: 启动赤兔时追加 models=DeepSeek-R1-fp4-all 启动参数
  • DeepSeek-R1-fp4-mix 用法: 启动赤兔时追加 models=DeepSeek-R1-fp4-mix 启动参数
  • DeepSeek-R1-int8-ascend 用法: 启动赤兔时追加 models=DeepSeek-R1-int8-ascend 启动参数
  • DeepSeek-V3 用法: 启动赤兔时追加 models=DeepSeek-V3 启动参数
  • DeepSeek-V3-int8-ascend 用法: 启动赤兔时追加 models=DeepSeek-V3-int8-ascend 启动参数
  • DeepSeek-V3.1 用法: 启动赤兔时追加 models=DeepSeek-V3.1 启动参数
  • DeepSeek-V3.1-Terminus 用法: 启动赤兔时追加 models=DeepSeek-V3.1-Terminus 启动参数
  • DeepSeek-V3.1-Terminus-int8-ascend 用法: 启动赤兔时追加 models=DeepSeek-V3.1-Terminus-int8-ascend 启动参数
  • DeepSeek-V3.2 用法: 启动赤兔时追加 models=DeepSeek-V3.2 启动参数
  • DeepSeek-V3.2-Exp 用法: 启动赤兔时追加 models=DeepSeek-V3.2-Exp 启动参数
  • DeepSeek-V3.2-Exp-kv-fp8 用法: 启动赤兔时追加 models=DeepSeek-V3.2-Exp-kv-fp8 启动参数
  • GLM-4-32B-0414 用法: 启动赤兔时追加 models=GLM-4-32B-0414 启动参数
  • GLM-4-9B-0414 用法: 启动赤兔时追加 models=GLM-4-9B-0414 启动参数
  • GLM-4.5 用法: 启动赤兔时追加 models=GLM-4.5 启动参数
  • GLM-4.5-Air 用法: 启动赤兔时追加 models=GLM-4.5-Air 启动参数
  • GLM-4.5-Air-qc-fp8 用法: 启动赤兔时追加 models=GLM-4.5-Air-qc-fp8 启动参数
  • GLM-4.5-qc-fp8 用法: 启动赤兔时追加 models=GLM-4.5-qc-fp8 启动参数
  • GLM-4.5V 用法: 启动赤兔时追加 models=GLM-4.5V 启动参数
  • GLM-4.6 用法: 启动赤兔时追加 models=GLM-4.6 启动参数
  • GLM-4.6V 用法: 启动赤兔时追加 models=GLM-4.6V 启动参数
  • GLM-4.7 用法: 启动赤兔时追加 models=GLM-4.7 启动参数
  • GLM-4.7-Flash 用法: 启动赤兔时追加 models=GLM-4.7-Flash 启动参数
  • GLM-5 用法: 启动赤兔时追加 models=GLM-5 启动参数
  • GLM-5-FP8 用法: 启动赤兔时追加 models=GLM-5-FP8 启动参数
  • GLM-Z1-32B-0414 用法: 启动赤兔时追加 models=GLM-Z1-32B-0414 启动参数
  • GLM-Z1-9B-0414 用法: 启动赤兔时追加 models=GLM-Z1-9B-0414 启动参数
  • Kimi-K2-Instruct 用法: 启动赤兔时追加 models=Kimi-K2-Instruct 启动参数
  • Llama-3-8B-QServe 用法: 启动赤兔时追加 models=Llama-3-8B-QServe 启动参数
  • Llama-3-8B-QServe-g128 用法: 启动赤兔时追加 models=Llama-3-8B-QServe-g128 启动参数
  • Llama-3.3-70B-Instruct 用法: 启动赤兔时追加 models=Llama-3.3-70B-Instruct 启动参数
  • Meta-Llama-3-8B-Instruct 用法: 启动赤兔时追加 models=Meta-Llama-3-8B-Instruct 启动参数
  • Meta-Llama-3-8B-Instruct-original 用法: 启动赤兔时追加 models=Meta-Llama-3-8B-Instruct-original 启动参数
  • Mixtral-8x7B-Instruct-v0.1 用法: 启动赤兔时追加 models=Mixtral-8x7B-Instruct-v0.1 启动参数
  • QwQ-32B 用法: 启动赤兔时追加 models=QwQ-32B 启动参数
  • QwQ-32B-AWQ 用法: 启动赤兔时追加 models=QwQ-32B-AWQ 启动参数
  • QwQ-32B-FP8 用法: 启动赤兔时追加 models=QwQ-32B-FP8 启动参数
  • QwQ-32B-GPTQ 用法: 启动赤兔时追加 models=QwQ-32B-GPTQ 启动参数
  • QwQ-32B-fp4 用法: 启动赤兔时追加 models=QwQ-32B-fp4 启动参数
  • QwQ-32B-simple-w8a8 用法: 启动赤兔时追加 models=QwQ-32B-simple-w8a8 启动参数
  • QwQ-32B-simple-w8a8-muxi 用法: 启动赤兔时追加 models=QwQ-32B-simple-w8a8-muxi 启动参数
  • Qwen2-72B-Instruct 用法: 启动赤兔时追加 models=Qwen2-72B-Instruct 启动参数
  • Qwen2-7B-Instruct 用法: 启动赤兔时追加 models=Qwen2-7B-Instruct 启动参数
  • Qwen2.5-0.5B 用法: 启动赤兔时追加 models=Qwen2.5-0.5B 启动参数
  • Qwen2.5-0.5B-Instruct 用法: 启动赤兔时追加 models=Qwen2.5-0.5B-Instruct 启动参数
  • Qwen2.5-1.5B 用法: 启动赤兔时追加 models=Qwen2.5-1.5B 启动参数
  • Qwen2.5-1.5B-Instruct 用法: 启动赤兔时追加 models=Qwen2.5-1.5B-Instruct 启动参数
  • Qwen2.5-32B 用法: 启动赤兔时追加 models=Qwen2.5-32B 启动参数
  • Qwen2.5-32B-Instruct 用法: 启动赤兔时追加 models=Qwen2.5-32B-Instruct 启动参数
  • Qwen2.5-3B 用法: 启动赤兔时追加 models=Qwen2.5-3B 启动参数
  • Qwen2.5-3B-Instruct 用法: 启动赤兔时追加 models=Qwen2.5-3B-Instruct 启动参数
  • Qwen2.5-3B-Mix 用法: 启动赤兔时追加 models=Qwen2.5-3B-Mix 启动参数
  • Qwen2.5-72B-Instruct-ascend-int8 用法: 启动赤兔时追加 models=Qwen2.5-72B-Instruct-ascend-int8 启动参数
  • Qwen2.5-7B 用法: 启动赤兔时追加 models=Qwen2.5-7B 启动参数
  • Qwen2.5-7B-Instruct 用法: 启动赤兔时追加 models=Qwen2.5-7B-Instruct 启动参数
  • Qwen2.5-VL-32B-Instruct 用法: 启动赤兔时追加 models=Qwen2.5-VL-32B-Instruct 启动参数
  • Qwen2.5-VL-32B-Instruct-ascend-int8 用法: 启动赤兔时追加 models=Qwen2.5-VL-32B-Instruct-ascend-int8 启动参数
  • Qwen2.5-VL-7B-Instruct 用法: 启动赤兔时追加 models=Qwen2.5-VL-7B-Instruct 启动参数
  • Qwen3-0.6B 用法: 启动赤兔时追加 models=Qwen3-0.6B 启动参数
  • Qwen3-1.7B 用法: 启动赤兔时追加 models=Qwen3-1.7B 启动参数
  • Qwen3-14B 用法: 启动赤兔时追加 models=Qwen3-14B 启动参数
  • Qwen3-14B-FP8 用法: 启动赤兔时追加 models=Qwen3-14B-FP8 启动参数
  • Qwen3-14B-QServe-g128 用法: 启动赤兔时追加 models=Qwen3-14B-QServe-g128 启动参数
  • Qwen3-14B-ascend-int8 用法: 启动赤兔时追加 models=Qwen3-14B-ascend-int8 启动参数
  • Qwen3-14B-fp4 用法: 启动赤兔时追加 models=Qwen3-14B-fp4 启动参数
  • Qwen3-14B-mixq-mix 用法: 启动赤兔时追加 models=Qwen3-14B-mixq-mix 启动参数
  • Qwen3-14B-mixq-w8a8 用法: 启动赤兔时追加 models=Qwen3-14B-mixq-w8a8 启动参数
  • Qwen3-14B-w4-g128-symm-a8 用法: 启动赤兔时追加 models=Qwen3-14B-w4-g128-symm-a8 启动参数
  • Qwen3-235B-A22B 用法: 启动赤兔时追加 models=Qwen3-235B-A22B 启动参数
  • Qwen3-235B-A22B-Instruct 用法: 启动赤兔时追加 models=Qwen3-235B-A22B-Instruct 启动参数
  • Qwen3-235B-A22B-Instruct-ascend-int8 用法: 启动赤兔时追加 models=Qwen3-235B-A22B-Instruct-ascend-int8 启动参数
  • Qwen3-235B-A22B-ascend-int8 用法: 启动赤兔时追加 models=Qwen3-235B-A22B-ascend-int8 启动参数
  • Qwen3-235B-A22B-fp4 用法: 启动赤兔时追加 models=Qwen3-235B-A22B-fp4 启动参数
  • Qwen3-235B-A22B-fp8 用法: 启动赤兔时追加 models=Qwen3-235B-A22B-fp8 启动参数
  • Qwen3-235B-A22B-fp8-kv 用法: 启动赤兔时追加 models=Qwen3-235B-A22B-fp8-kv 启动参数
  • Qwen3-30B-A3B 用法: 启动赤兔时追加 models=Qwen3-30B-A3B 启动参数
  • Qwen3-30B-A3B-fp4 用法: 启动赤兔时追加 models=Qwen3-30B-A3B-fp4 启动参数
  • Qwen3-30B-A3B-fp8 用法: 启动赤兔时追加 models=Qwen3-30B-A3B-fp8 启动参数
  • Qwen3-30B-A3B-fp8-kv 用法: 启动赤兔时追加 models=Qwen3-30B-A3B-fp8-kv 启动参数
  • Qwen3-30B-A3B-mix-fp4-fp8 用法: 启动赤兔时追加 models=Qwen3-30B-A3B-mix-fp4-fp8 启动参数
  • Qwen3-30B-A3B-mix-fp4-fp8-merged 用法: 启动赤兔时追加 models=Qwen3-30B-A3B-mix-fp4-fp8-merged 启动参数
  • Qwen3-32B 用法: 启动赤兔时追加 models=Qwen3-32B 启动参数
  • Qwen3-32B-FP8 用法: 启动赤兔时追加 models=Qwen3-32B-FP8 启动参数
  • Qwen3-32B-QServe-w4a8-g128 用法: 启动赤兔时追加 models=Qwen3-32B-QServe-w4a8-g128 启动参数
  • Qwen3-32B-ascend-int8 用法: 启动赤兔时追加 models=Qwen3-32B-ascend-int8 启动参数
  • Qwen3-32B-fp4 用法: 启动赤兔时追加 models=Qwen3-32B-fp4 启动参数
  • Qwen3-32B-fp4-merged 用法: 启动赤兔时追加 models=Qwen3-32B-fp4-merged 启动参数
  • Qwen3-32B-mixq-mix 用法: 启动赤兔时追加 models=Qwen3-32B-mixq-mix 启动参数
  • Qwen3-32B-w4-g128-symm-a8 用法: 启动赤兔时追加 models=Qwen3-32B-w4-g128-symm-a8 启动参数
  • Qwen3-4B 用法: 启动赤兔时追加 models=Qwen3-4B 启动参数
  • Qwen3-4B-fp4 用法: 启动赤兔时追加 models=Qwen3-4B-fp4 启动参数
  • Qwen3-8B 用法: 启动赤兔时追加 models=Qwen3-8B 启动参数
  • Qwen3-8B-ascend-int8 用法: 启动赤兔时追加 models=Qwen3-8B-ascend-int8 启动参数
  • Qwen3-8B-fp4 用法: 启动赤兔时追加 models=Qwen3-8B-fp4 启动参数
  • Qwen3-Coder-30B-A3B-Instruct 用法: 启动赤兔时追加 models=Qwen3-Coder-30B-A3B-Instruct 启动参数
  • Qwen3-Coder-30B-A3B-Instruct-fp8 用法: 启动赤兔时追加 models=Qwen3-Coder-30B-A3B-Instruct-fp8 启动参数
  • Qwen3-Coder-480B-A35B-Instruct 用法: 启动赤兔时追加 models=Qwen3-Coder-480B-A35B-Instruct 启动参数
  • Qwen3-Coder-480B-A35B-Instruct-fp8 用法: 启动赤兔时追加 models=Qwen3-Coder-480B-A35B-Instruct-fp8 启动参数
  • Qwen3-Coder-480B-A35B-Instruct-int8 用法: 启动赤兔时追加 models=Qwen3-Coder-480B-A35B-Instruct-int8 启动参数
  • Qwen3-Coder-Next 用法: 启动赤兔时追加 models=Qwen3-Coder-Next 启动参数
  • Qwen3-Next-80B-A3B-Instruct 用法: 启动赤兔时追加 models=Qwen3-Next-80B-A3B-Instruct 启动参数
  • Qwen3-Next-80B-A3B-Instruct-FP8 用法: 启动赤兔时追加 models=Qwen3-Next-80B-A3B-Instruct-FP8 启动参数
  • Qwen3-VL-235B-A22B-Instruct 用法: 启动赤兔时追加 models=Qwen3-VL-235B-A22B-Instruct 启动参数
  • Qwen3-VL-8B-Instruct 用法: 启动赤兔时追加 models=Qwen3-VL-8B-Instruct 启动参数
  • Seed-OSS-36B-Instruct 用法: 启动赤兔时追加 models=Seed-OSS-36B-Instruct 启动参数
  • glm-4-9b-chat 用法: 启动赤兔时追加 models=glm-4-9b-chat 启动参数
  • gpt-oss-120b-BF16 用法: 启动赤兔时追加 models=gpt-oss-120b-BF16 启动参数
  • gpt-oss-20b-BF16 用法: 启动赤兔时追加 models=gpt-oss-20b-BF16 启动参数
⚡