5080 Laptop failed to going on😭😭😭

[TeloySXH]

我的硬件：NVIDIA GeForce RTX 5080 Laptop GPU
我在win11中创建了WSL2，部署环境如下

【 WSL2 环境 】

Linux Ubuntu 22.04.5 LTS
CUDA 12.8.93
GCC 11.4.0
G++ 11.4.0
clang 14.0.0
在WSL2里，我使用了miniconda，创建了虚拟环境T4，部署python3.11.14
之后使用Installation，一键pip拉取依赖，但是出现了如下问题
ImportError: /home/sxh/miniconda3/envs/T4/lib/python3.11/site-packages/flash_attn_2_cuda.cpython-311-x86_64-linux-gnu.so: undefined symbol: _ZN3c104cuda29c10_cuda_check_implementationEiPKcS2_ib
我用AI修复了一段时间，并没有成功，于是我放弃了一键拉取，开始手动搭建依赖

于是我手动创建了虚拟环境T2，并将它连接到win的pycharm上，打开WSL2里的项目
【 虚拟环境 T2 WSL2 】
用途 复现 nano vllm 项目
Python 3.11.14
Pytorch 2.8.0+cu128
Triton 3.2.0
transformers 5.3.0
flash-attn 2.8.3
xxhash 3.6.0
setuptools 82.0.0
nano vllm 0.2.0
现在flash-atten的问题解决了，但是example在运行时候报错
torch_dtype is deprecated! Use dtype instead!
[rank0]: Traceback (most recent call last):
[rank0]: File "/home/sxh/Project/NanovLLM/example.py", line 33, in
[rank0]: main()
[rank0]: File "/home/sxh/Project/NanovLLM/example.py", line 9, in main
[rank0]: llm = LLM(path, enforce_eager=True, tensor_parallel_size=1)
[rank0]: ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
[rank0]: File "/home/sxh/Project/NanovLLM/nanovllm/engine/llm_engine.py", line 30, in init
[rank0]: self.model_runner = ModelRunner(config, 0, self.events)
[rank0]: ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
[rank0]: File "/home/sxh/Project/NanovLLM/nanovllm/engine/model_runner.py", line 31, in init
[rank0]: self.model = Qwen3ForCausalLM(hf_config)
[rank0]: ^^^^^^^^^^^^^^^^^^^^^^^^^^^
[rank0]: File "/home/sxh/Project/NanovLLM/nanovllm/models/qwen3.py", line 199, in init
[rank0]: self.model = Qwen3Model(config)
[rank0]: ^^^^^^^^^^^^^^^^^^
[rank0]: File "/home/sxh/Project/NanovLLM/nanovllm/models/qwen3.py", line 169, in init
[rank0]: self.layers = nn.ModuleList([Qwen3DecoderLayer(config) for _ in range(config.num_hidden_layers)])
[rank0]: ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
[rank0]: File "/home/sxh/Project/NanovLLM/nanovllm/models/qwen3.py", line 169, in
[rank0]: self.layers = nn.ModuleList([Qwen3DecoderLayer(config) for _ in range(config.num_hidden_layers)])
[rank0]: ^^^^^^^^^^^^^^^^^^^^^^^^^
[rank0]: File "/home/sxh/Project/NanovLLM/nanovllm/models/qwen3.py", line 126, in init
[rank0]: self.self_attn = Qwen3Attention(
[rank0]: ^^^^^^^^^^^^^^^
[rank0]: File "/home/sxh/Project/NanovLLM/nanovllm/models/qwen3.py", line 54, in init
[rank0]: self.rotary_emb = get_rope(
[rank0]: ^^^^^^^^^
[rank0]: TypeError: unhashable type: 'dict'
[rank0]:[W308 20:43:17.782137288 ProcessGroupNCCL.cpp:1538] Warning: WARNING: destroy_process_group() was not called before program exit, which can leak resources. For more info, please see https://pytorch.org/docs/stable/distributed.html#shutdown (function operator())

我花了不少时间修改，但是并没有成功，请问应该如何处理这个问题😭😭

[JisoLya]

看起来是位置编码初始化时侯的问题，断点看看这里哪个参数传了dict
[rank0]: self.rotary_emb = get_rope(

[hjh123445]

我也是50系显卡，我是5060，和你的问题一样，其实是这样的:
get_rope这个函数用了lru_cache(1)方法，这是一种缓存机制，他会为所有的参数生成一个哈希值，下次调用这个函数的时候如果哈希值一样就可以直接返回上次的结果，这样来起到加速的作用吧，然后你会发现字典无法哈希，其实你只需要在调用这个get_rope函数前自己手动吧rope_scaling设成None就行，你会发现其实在get_rope这个函数的具体实现里面，作者已经assert了 rope_scaling为None，所以这一步是合理的，改完之后就ok了