Gemma 4 开源大语言模型 速查备忘单

混合注意力机制 (Hybrid Attention)

• Local 本地层：滑动窗口 (512 或 1024 tokens)
• Global 全局层：全上下文注意力，与 Local 层交错排列
• 模型的最后一层始终为 Global 全局注意力层

PLE 边缘端优化 — (E2B/E4B)

• 逐层嵌入 (Per-Layer Embeddings)：每个 Decoder 解码层拥有独立的微型嵌入表
• 静态嵌入表使用高速查表技术——避免密集矩阵乘法计算
• 有效计算参数量 ≪ 实际加载的物理参数量
• 支持在 1.5 GB 显存内流畅推理（配合 4-bit 量化）

p-RoPE 与共享 KV 缓存

• 全局层采用 Proportional RoPE (p-RoPE) 维持长程一致性
• 跨全局层共享 KV 缓存，大幅降低峰值显存占用
• 稳定支持 256K 超长上下文且无性能衰减

MoE 混合专家 — 26B A4B

• 128 个常规专家 + 1 个常驻激活的共享专家
• 推理时每个 Token 激活 8 个专家
• 推理速度等同于 4B 密集模型，回答质量逼近 30B
• 视觉编码器：~550M 参数（与 31B 版本相同）

在 System Prompt 的开头添加 <|think|> 触发标记：

messages = [
    {
        "role": "system",
        "content": "<|think|>You are a math expert."
    },
    {"role": "user", "content": "Solve: 3x + 7 = 22"}
]

text = processor.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
    enable_thinking=True
)
outputs = model.generate(**inputs, max_new_tokens=2048)
response = processor.decode(
    outputs[0][input_len:], skip_special_tokens=False
)
result = processor.parse_response(response)
# result["thinking"]  → 逐步分析的思维链内容
# result["response"] → 最终输出答案

思维模式输出结构

<|channel>thought
[内部逐步推理过程 — 对最终用户隐藏]
<channel|>
[呈现给用户的最终答案]

禁用思考时的响应格式

在 31B/26B A4B 模型中即便设置 enable_thinking=False，仍会输出空标签：

<|channel>thought
<channel|>
[最终答案]

E2B/E4B 模型在禁用时则会彻底跳过空标签。

支持可变宽高比 + 可配置的视觉 Token 预算：

# 图像必须放置在文本之前 (必填)
messages = [{"role": "user", "content": [
    {"type": "image", "image": image},
    {"type": "text",  "text": "Describe this chart."},
]}]
inputs = processor(
    text=text,
    images=image,
    return_tensors="pt"
).to(model.device)

视觉编码器：~150M 参数 (E2B/E4B) · ~550M 参数 (31B/26B)

$ pip install -U transformers accelerate

BF16 (默认加载)

from transformers import (
    AutoProcessor, AutoModelForCausalLM
)
import torch

mid = "google/gemma-4-31b-it"
processor = AutoProcessor.from_pretrained(mid)
model = AutoModelForCausalLM.from_pretrained(
    mid,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

4-bit 量化加载

from transformers import BitsAndBytesConfig

bnb = BitsAndBytesConfig(load_in_4bit=True)
model = AutoModelForCausalLM.from_pretrained(
    mid,
    quantization_config=bnb,
    device_map="auto"
)

单张 16 GB 显存 GPU 即可运行 (如 T4/免费 Colab 或 Kaggle)：

from unsloth import FastModel

model, tokenizer = FastModel.from_pretrained(
    "google/gemma-4-E4B-it",
    load_in_4bit=True,
    max_seq_length=4096
)

model = FastModel.get_peft_model(
    model,
    r=16,
    lora_alpha=16,
    lora_dropout=0,
    target_modules=[
        "q_proj", "k_proj",
        "v_proj", "o_proj",
        "gate_proj", "up_proj", "down_proj"
    ],
)

视觉微调设置 (E2B / E4B)

from unsloth import FastVisionModel

model, tokenizer = FastVisionModel.from_pretrained(
    "google/gemma-4-E4B-it",
    finetune_vision_layers=False,   # 冻结视觉编码器
    finetune_language_layers=True,
    load_in_4bit=True,
)