加载tokenizer时报错

[Alicya-alic]

Describe the bug/ 问题描述 (Mandatory / 必填)
在加载tokenizer时报错——KeyError

• Hardware Environment(Ascend/GPU/CPU) / 硬件环境:
  GPU

• Software Environment / 软件环境 (Mandatory / 必填):
  -- MindSpore version (2.2.14) :
  -- Python version (Python 3.9.0) :

To Reproduce / 重现步骤 (Mandatory / 必填)
Steps to reproduce the behavior:

1. Go to '...'
2. Click on '....'
3. Scroll down to '....'
4. See error

Expected behavior / 预期结果 (Mandatory / 必填)
预期运行代码后成功加载所需要分词器，但是报错了，我看文档里是有rwkv对应tokenizer的映射的，或者说我看错了文档。之前没接触过这方面，麻烦大神在解答的时候可以大致告诉我加载tokenizer的时候怎么去查看对应的信息呀，谢谢

Screenshots/ 日志 / 截图 (Mandatory / 必填)

Additional context / 备注 (Optional / 选填)
Add any other context about the problem here.

[lvyufeng]

提供一下版本

[Alicya-alic]

是指mindnlp的版本嘛 3290840493 ***@***.***  

…

------------------ 原始邮件 ------------------ 发件人: "mindspore-lab/mindnlp" ***@***.***>; 发送时间: 2024年9月19日(星期四) 凌晨5:21 ***@***.***>; ***@***.******@***.***>; 主题: Re: [mindspore-lab/mindnlp] 加载tokenizer时报错 (Issue #1664) 提供一下版本 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>

[lvyufeng]

对

[Alicya-alic]

!wget https://mindspore-demo.obs.cn-north-4.myhuaweicloud.com/mindnlp_install/mindnlp-0.3.1-py3-none-any.whl !pip install mindnlp 我用的这个  

…

------------------ 原始邮件 ------------------ 发件人: "mindspore-lab/mindnlp" ***@***.***>; 发送时间: 2024年9月19日(星期四) 下午4:36 ***@***.***>; ***@***.******@***.***>; 主题: Re: [mindspore-lab/mindnlp] 加载tokenizer时报错 (Issue #1664) 对 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>