Windows本地部署经过量化的模型貌似无法理解中文Prompt?

[LainNya]

你好，我在推理时遇到了问题,在尝试输入中文Prompt时，模型给出的输出经常是答非所问,但输入英文Prompt就正常输出了,请问是什么问题?我启动模型的命令是完全按照Steps3输入的。而且模型的回复也不是中文的？

[airaria]

从回复内容和风格看，似乎不是我们这一版模型。因为合并过程中涉及的的权重文件比较多，请确认下中间转换过程用的权重是否弄混淆了？

[LainNya]

我的操作如下
1.把原版llama转换成HF格式
2.从谷歌网盘下载了Chinese-Alpaca-7B的Lora
3.对中文词表扩充, llama_model的路径为原版转换后的模型, tokenizer的路径为Chinese-Alpaca-7B的路径
4.合并权重 base_model为第三步扩充后的模型,lora_model为Chinese-Alpaca-7B的路径
我觉得我操作应该没有混淆吧 :( 我的朋友尝试了下也得出了这样的结果

[ymcui]

我的操作如下
1.把原版llama转换成HF格式
2.从谷歌网盘下载了Chinese-Alpaca-7B的Lora
3.对中文词表扩充, llama_model的路径为原版转换后的模型, tokenizer的路径为Chinese-Alpaca-7B的路径
4.合并权重 base_model为第三步扩充后的模型,lora_model为Chinese-Alpaca-7B的路径
我觉得我操作应该没有混淆吧 :( 我的朋友尝试了下也得出了这样的结果

可以把./main运行后马上输出出来的log贴一下吗（到提示符>之前）？

[airaria]

你好，我在推理时遇到了问题,在尝试输入中文Prompt时，模型给出的输出经常是答非所问,但输入英文Prompt就正常输出了,请问是什么问题?我启动模型的命令是完全按照Steps3输入的。而且模型的回复也不是中文的？

可以检查一下几个中间文件的SHA256 是否一致：
adapter_model.bin: 0d9b6ed8e4a7d1ae590a16c89a452a488d66ff07e45487972f61c2b6e46e36de
合并后的consolidated.00.pth: fbfccc91183169842aac8d093379f0a449b5a26c5ee7a298baf0d556f1499b90

[LainNya]

我的操作如下
1.把原版llama转换成HF格式
2.从谷歌网盘下载了Chinese-Alpaca-7B的Lora
3.对中文词表扩充, llama_model的路径为原版转换后的模型, tokenizer的路径为Chinese-Alpaca-7B的路径
4.合并权重 base_model为第三步扩充后的模型,lora_model为Chinese-Alpaca-7B的路径
我觉得我操作应该没有混淆吧 :( 我的朋友尝试了下也得出了这样的结果

可以把运行后马上输出出来的log贴一下吗（到提示符之前）？./main``>

这是我的log日志

[LainNya]

你好，我在推理时遇到了问题,在尝试输入中文Prompt时，模型给出的输出经常是答非所问,但输入英文Prompt就正常输出了,请问是什么问题?我启动模型的命令是完全按照Steps3输入的。而且模型的回复也不是中文的？

可以检查一下几个中间文件的SHA256 是否一致： adapter_model.bin: 0d9b6ed8e4a7d1ae590a16c89a452a488d66ff07e45487972f61c2b6e46e36de 合并后的consolidated.00.pth: fbfccc91183169842aac8d093379f0a449b5a26c5ee7a298baf0d556f1499b90

貌似我的consolidated.00.pth与你的不一致

[LainNya]

我尝试重新合并和量化了下模型，这次使用的是Huggingface内的lora,但依旧是同样的结果 :(
我所使用的原版llama来源:https://github.com/facebookresearch/llama/pull/73/files
Chinese-alpaca来源:https://huggingface.co/ziqingyang/chinese-alpaca-lora-7b

[airaria]

你好，我在推理时遇到了问题,在尝试输入中文Prompt时，模型给出的输出经常是答非所问,但输入英文Prompt就正常输出了,请问是什么问题?我启动模型的命令是完全按照Steps3输入的。而且模型的回复也不是中文的？

可以检查一下几个中间文件的SHA256 是否一致： adapter_model.bin: 0d9b6ed8e4a7d1ae590a16c89a452a488d66ff07e45487972f61c2b6e46e36de 合并后的consolidated.00.pth: fbfccc91183169842aac8d093379f0a449b5a26c5ee7a298baf0d556f1499b90

貌似我的consolidated.00.pth与你的不一致

peft版本是0.2.0吗？同时用最新的export_state_dict_checkpoint.py试试？

[LainNya]

最新的export_state_dict_checkpoint.py生成的consolidated.00.pth sha256一致了，可以正常中文推理了:D

抱歉，我结束的太早了，貌似还是不能正常?

[LainNya]

这是我的量化后模型的sha256 f19503385fb3ab92ec96f2b6a2d733f07e368c836ba7a1d575699159156ac0e6

合并后的全量模型权重的SHA256

[airaria]

这是我的量化后模型的sha256 f19503385fb3ab92ec96f2b6a2d733f07e368c836ba7a1d575699159156ac0e6

合并后的全量模型权重的SHA256

我q4量化后模型的sha256的和你是一致的

[LainNya]

那请问我这是什么问题呢?我现在完全不回答我的问题

[airaria]

那请问我这是什么问题呢?我现在完全不回答我的问题

你试试用llama.cpp加载原版llama看有没有问题