🔍 Self-Ask：LLM Agent架构的决策链路模式 | 智能体推理框架与工具调用实践

1
2
3
4
5
6
7

# 核心提示模板
问题：[用户问题]

自问：[子问题]
自答：[答案]

最终答案：[结论]

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70

# Self-Ask模型微调示例
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, TrainingArguments, Trainer

# 1. 准备训练数据
train_data = [
    {
        "input": "问题：谁是美国第一位登月宇航员的妻子？",
        "output": "自问：谁是美国第一位登月宇航员？\n自答：尼尔·阿姆斯特朗。\n\n自问：尼尔·阿姆斯特朗的妻子是谁？\n自答：珍妮特·希顿。\n\n最终答案：珍妮特·希顿。"
    },
    {
        "input": "问题：法国的首都是哪个城市，这个城市的人口有多少？",
        "output": "自问：法国的首都是哪个城市？\n自答：巴黎。\n\n自问：巴黎的人口有多少？\n自答：巴黎市区人口约220万，大巴黎地区人口约1200万。\n\n最终答案：法国的首都是巴黎，巴黎市区人口约220万，大巴黎地区人口约1200万。"
    }
    # 更多训练样本...
]

# 2. 数据预处理
def preprocess_function(examples):
    inputs = [ex["input"] for ex in examples]
    targets = [ex["output"] for ex in examples]
    model_inputs = tokenizer(inputs, max_length=512, truncation=True, padding="max_length")
    labels = tokenizer(targets, max_length=512, truncation=True, padding="max_length")
    model_inputs["labels"] = labels["input_ids"]
    return model_inputs

# 3. 加载预训练模型和tokenizer
model_name = "Qwen/Qwen-7B"  # 使用阿里云的Qwen模型
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_name, trust_remote_code=True, device_map="auto")

# 4. 设置训练参数
training_args = TrainingArguments(
    output_dir="./self-ask-model",
    num_train_epochs=3,
    per_device_train_batch_size=4,
    save_steps=500,
    save_total_limit=2,
    logging_dir="./logs",
)

# 5. 训练模型
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=preprocess_function(train_data),
)
trainer.train()

# 6. 保存微调后的模型
model.save_pretrained("./self-ask-model-final")
tokenizer.save_pretrained("./self-ask-model-final")

# 7. 使用微调后的模型
def generate_self_ask_response(question):
    input_text = f"问题：{question}"
    inputs = tokenizer(input_text, return_tensors="pt")
    outputs = model.generate(
        inputs.input_ids,
        max_length=512,
        temperature=0.7,
        top_p=0.9,
        do_sample=True
    )
    return tokenizer.decode(outputs[0], skip_special_tokens=True)

# 测试微调后的模型
test_question = "谁发明了电话，他是哪国人？"
response = generate_self_ask_response(test_question)
print(response)