@@ -310,8 +310,10 @@ def byref(obj: CtypesCData, offset: Optional[int] = None) -> CtypesRef[CtypesCDa
310310# LLAMA_VOCAB_PRE_TYPE_DBRX = 13,
311311# LLAMA_VOCAB_PRE_TYPE_SMAUG = 14,
312312# LLAMA_VOCAB_PRE_TYPE_PORO = 15,
313- # LLAMA_VOCAB_PRE_TYPE_VIKING = 16,
314- # LLAMA_VOCAB_PRE_TYPE_JAIS = 17,
313+ # LLAMA_VOCAB_PRE_TYPE_CHATGLM3 = 16,
314+ # LLAMA_VOCAB_PRE_TYPE_CHATGLM4 = 17,
315+ # LLAMA_VOCAB_PRE_TYPE_VIKING = 18,
316+ # LLAMA_VOCAB_PRE_TYPE_JAIS = 19,
315317# };
316318LLAMA_VOCAB_PRE_TYPE_DEFAULT = 0
317319LLAMA_VOCAB_PRE_TYPE_LLAMA3 = 1
@@ -329,8 +331,10 @@ def byref(obj: CtypesCData, offset: Optional[int] = None) -> CtypesRef[CtypesCDa
329331LLAMA_VOCAB_PRE_TYPE_DBRX = 13
330332LLAMA_VOCAB_PRE_TYPE_SMAUG = 14
331333LLAMA_VOCAB_PRE_TYPE_PORO = 15
332- LLAMA_VOCAB_PRE_TYPE_VIKING = 16
333- LLAMA_VOCAB_PRE_TYPE_JAIS = 17
334+ LLAMA_VOCAV_PRE_TYPE_CHATGLM3 = 16
335+ LLAMA_VOCAB_PRE_TYPE_CHATGLM4 = 17
336+ LLAMA_VOCAB_PRE_TYPE_VIKING = 18
337+ LLAMA_VOCAB_PRE_TYPE_JAIS = 19
334338
335339
336340# // note: these values should be synchronized with ggml_rope
0 commit comments