Transformers v5版本有较大重构，LLaMA-Factory需要哪些适配工作

[zheliuyu]

最近使用 LLaMA-Factory 在 transformers:main 中尝试一些新特性，发现 v5 版本修改的东西还是蛮多的。比如这里huggingface/transformers#40936 对 tokenizers 的重构，LLaMA-Factory 就需要对应的修改入参。

因此这里打开一个关于 LLaMA-Factory + transformers v5 的讨论贴，如果您在 v5 中也遇到了一些问题，欢迎在这里贴出来一起讨论。

[zheliuyu]

transformers v5 blog: https://github.com/huggingface/blog/blob/main/transformers-v5.md

[hiyouga]

@tangefly

[tangefly]

I have submitted a PR. Please help me review it. @zheliuyu @hiyouga

[hiyouga]

#9569

[zheliuyu]

Related PR: [V1] Refactor ascend MoE kernel patch logic & Support Qwen3-MoE
#9557