Zazzle用户4149
Manual Graph Construction
输入“/”快速插入内容
Manual Graph Construction
Manual Graph Construction
用户4149用户41493月24日修改
手动建图一般用在对推理的加速上，推理框架和 AI 编译器都会用到
Connection
Why Manual
在推理阶段，模型本身作为计算图执行，比如 onnx，也就是一个个算子结点
•
要对这些算子本身进行优化，适配到各种推理框架（vllm，SGLang）还有一些 AI 编译器
•
动态 Shape 处理，输入 Prompt 是不定长的，BatchSize 和 SeqLen 都会变化，手动建图更好控制
•
更好去适配推理框架的内存管理
Model Struct
在手动建图前，要熟悉模型本身的结构，这里以 Qwen3-0.6B 为例，和 llama 差不多
代码块
from transformers import AutoConfig, AutoModelForCausalLM
local_model_path = "/home/zazzle/Models/Qwen3-0.6B"
config = AutoConfig.from_pretrained(local_model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_config(config, trust_remote_code=True)
# 3. 查看 0 层 Decoder 结构
print(model.model.layers[0])
代码块
Qwen3DecoderLayer(
(self_attn): Qwen3Attention(
(q_proj): Linear(in_features=1024, out_features=2048, bias=False)
(k_proj): Linear(in_features=1024, out_features=1024, bias=False)
(v_proj): Linear(in_features=1024, out_features=1024, bias=False)
(o_proj): Linear(in_features=2048, out_features=1024, bias=False)
(q_norm): Qwen3RMSNorm((128,), eps=1e-06)
(k_norm): Qwen3RMSNorm((128,), eps=1e-06)
)
(mlp): Qwen3MLP(
(gate_proj): Linear(in_features=1024, out_features=3072, bias=False)
(up_proj): Linear(in_features=1024, out_features=3072, bias=False)
(down_proj): Linear(in_features=3072, out_features=1024, bias=False)
(act_fn): SiLUActivation()
)
(input_layernorm): Qwen3RMSNorm((1024,), eps=1e-06)
(post_attention_layernorm): Qwen3RMSNorm((1024,), eps=1e-06)
)
可以看到模型结构主要分两个部分 = Attention + MLP 二者整体作为 Transformer 的一层
这两个部分在建图的时候作为独立的结点
•
FFN / MLP 前馈网络，对每个 token 进行非线性变换，本质是两层全连接网络
•
SelfAttention：感知上下文信息，KV 计算
会配置在 config.json 中的一些参数
•
hidden_size：每个 token 有多少特征，Embedding 有多少行，1024
•
intermediate_size：FFN 的中间层维度，3072
•
hidden_act：激活函数，SiLU
MLP
模型用门控算法（三次矩阵乘法）