感谢大佬们开源本项目。记录并分享下自己遇到的问题以及如何解决的

[wangyongshuai88]

-------跑通代码阶段-----

1 遇到一些版本错误问题，最终使用的是以下版本：

py-cpuinfo==8.0.0
pathtools-0.1.1
bitsandbytes== 0.37.2
scipy== 1.10.1
zipp==3.14.0
ffmpy==0.2.0
pydub==0.25.0
cudatoolkit==11.7.1

2 遇到的问题：

RuntimeError: Internal: unk is not defined.
原因：下载模型以后可能会遇到tokenizer.model 为0B的情况，需要重新下载。

3 /home/sher/anaconda3/envs/chinese_vicuna_llama_lora/lib/python3.8/site-packages/bitsandbytes/libbitsandbytes_cpu.so: undefined symbol: cget_col_row_stats

nvidia-smi
cp libbitsandbytes_cuda自己的版本.so libbitsandbytes_cpu.so

4 torch没有自动安装cuda， 需要在conda 里面直接安装一下cudatoolkit==11.7.1

5 使用wsl的时候bitandbytes 找不到，由于wsl 里没有安装驱动，使用的是nvidia特殊定制的cuda调用的是windows里的驱动。

export CUDA_HOME=/usr/local/cuda-11.8
export LD_LIBRARY_PATH=/usr/local/cuda-11.8/lib64:/usr/lib/wsl/lib
export PATH=$CUDA_HOME/bin:$PATH

6 AttributeError: 'NoneType' object has no attribute 'device'

需要调整：

  model = StreamPeftGenerationMixin.from_pretrained(
    #    model, LORA_WEIGHTS, torch_dtype=torch.float16, device_map="auto", #device_map={"": 0}
     model, LORA_WEIGHTS, torch_dtype=torch.float16, device_map={"": 0}
    )

----------------微调阶段----------------

下载下来的guanaco_belle_merge_v1.0 是json 格式，需要转成jsonl 格式的
可以使用以下代码。：

import json
import os
def split_json_file_to_jsonl(input_file, n):
    with open(input_file, 'r', encoding='utf-8') as f:
        data = json.load(f)
    total_records = len(data)
    records_per_file = total_records // n
    base_name = os.path.splitext(input_file)[0]  # 获取文件名，不包含扩展名
    for i in range(n):
        start_index = i * records_per_file
        end_index = start_index + records_per_file
        output_file = f"{base_name}_{i+1}.jsonl"
        with open(output_file, 'w', encoding='utf-8') as f:
            for record in data[start_index:end_index]:
                json_str = json.dumps(record, ensure_ascii=False)
                f.write(json_str + '\n')
# 示例用法这个代码是改格式并拆分为n份的，如果不要拆分就n=1
split_json_file_to_jsonl('data/guanaco_belle_merge_v1.0/merge.json', 5)

另外8bit 微调13B模型的时候显存占用，这么少的显存是正常的吗？可以交流下。

（MICRO_BATCH_SIZE=4 BATCH_SIZE=128 ） 显存占用是16GB，CUDA使用率70%
（MICRO_BATCH_SIZE=16 BATCH_SIZE=128 ） 显存占用是20GB，CUDA使用率95%以上
（MICRO_BATCH_SIZE=26 BATCH_SIZE=128 ） 显存占用是22GB
（MICRO_BATCH_SIZE=32 BATCH_SIZE=128 ） 显存占用是22.9GB, CUDA 使用率98%