能否给一个例子

[whk6688]

比如单独plan的例子，或者整体的一个例子，方便学习使用

[whk6688]

from transformers import AutoModelForCausalLM, AutoTokenizer
from transformers.generation import GenerationConfig

model_id = "shenwzh3/alpha-umi-planner-7b"
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto", trust_remote_code=True).eval()

input_ids = tokenizer("如何提高学习成绩", return_tensors='pt').input_ids.cuda()
output = model.generate(inputs=input_ids, temperature=0.7, do_sample=True, top_p=0.95, top_k=40, max_new_tokens=512)
print(tokenizer.decode(output[0]))

返回：

[qiankunli]

@whk6688 对于caller 可以给一个例子嘛，caller 可以用的tool 信息从哪来，如何传入给caller llm呢