Hugging Face Transformers 教程：2026 实战指南
2026-10-17 · jilo.ai SEO
学习 Hugging Face Transformers：安装模型、运行推理、微调、评估与部署 NLP 应用，并掌握 2026 年实用工作流。
# Hugging Face Transformers 教程：2026 实战指南
Hugging Face Transformers 是使用现代机器学习模型的常用 Python 库之一。它提供统一接口，可用于文本生成、分类、问答、摘要、翻译、语音识别、图像分类等任务。
本 Hugging Face Transformers 教程从基础开始，逐步介绍面向生产的工作流。你将学习如何安装库、选择模型、使用 pipeline 运行推理、直接操作 tokenizer、微调预训练模型、评估结果、保存模型，以及将模型封装成 API。
示例主要使用 Python 和 PyTorch，不过 Transformers 在许多场景下也支持 TensorFlow 与 Flax。库的 API 会随版本变化，因此使用特定模型时，应同时查看官方文档和模型卡片。进入 2026 年后，模型大小、许可证、内存需求、上下文长度和硬件支持仍然是重要的选择标准，不能只看基准分数。
## 什么是 Hugging Face Transformers？
Transformers 是一个开源库，用来加载、使用和适配预训练 transformer 模型。Transformer 通过注意力机制处理 token，使模型能够关联输入中不同位置的信息。
库中包含几个重要层次：
- **模型：** 神经网络架构和训练得到的权重。
- **Tokenizer 与 processor：** 把原始输入转换为模型可以处理的张量。
- **配置：** 描述架构和运行行为的元数据。
- **Pipeline：** 面向任务的便捷推理接口。
- **Trainer 与训练工具：** 用于微调和评估。
- **Datasets 集成：** 加载和处理数据集。
- **生成工具：** 采样、beam search、停止条件和解码控制。
模型仓库通常包含模型卡片、配置文件、tokenizer 文件、权重、许可证和使用示例。模型卡片不是可有可无的说明，它通常包含适用场景、限制、语言、训练数据、偏差和已知风险。
### Transformers、生成式 AI 与模型中心
Transformers 本身不是单一模型，而是库和生态系统。模型中心中有大量可以通过该库加载的模型，但模型之间差异很大。
小型 encoder 模型可能很适合情感分类，却不适合开放式生成。decoder-only 语言模型可能擅长生成，但需要更多内存。encoder-decoder 模型通常适合翻译和摘要。多模态模型能够处理文本、图像、音频或视频的组合，但 processor 和硬件要求通常更复杂。
| 组件 | 主要用途 | 你通常要作的决定 |
|---|---|---|
| Transformers 库 | 加载、运行、训练和保存模型 | 使用哪个任务 API 与框架？ |
| 模型中心 | 发现权重和元数据 | 哪个模型符合语言、许可证、质量和硬件要求？ |
| Tokenizer | 把输入转换为 token ID | tokenizer 是否与模型匹配？ |
| Pipeline | 用少量代码完成常见任务 | 是否需要快速可靠的基线？ |
| Trainer | 组织微调流程 | 是否需要可重复的训练工作流？ |
| Dataset | 保存和转换样本 | 如何清洗数据并划分数据集？ |
## 开始前需要什么
基础示例可以在笔记本电脑上运行。微调和大型生成模型可能需要 GPU、托管 notebook 或专用推理服务器。小模型可以在 CPU 上实验，但生成速度可能较慢。
建议掌握：
- Python 函数、字典、列表和虚拟环境。
- 使用 pip 安装软件包。
- 读取 JSON 或 CSV 文件。
- 训练、验证、损失和过拟合等机器学习概念。
- 安全处理密钥和私有数据。
模型可以生成流畅内容，但仍然可能错误。第一次推理成功只能说明环境可用，不能证明模型准确。
## 第一步：创建独立 Python 环境
使用虚拟环境可以避免 Transformers 的依赖与其他项目冲突。
```bash
python -m venv .venv
source .venv/bin/activate
```
Windows PowerShell：
```powershell
.venv\\Scripts\\Activate.ps1
```
安装核心软件包：
```bash
pip install -U transformers torch datasets evaluate accelerate
```
某些任务还需要 tokenizer 后端、音频或视觉依赖。应根据模型的实际要求安装，保持环境精简有利于部署和排错。
验证安装：
```bash
python -c "import transformers, torch; print(transformers.__version__); print(torch.__version__)"
```
### CPU、GPU 与设备选择
可以先检查设备：
```python
import torch
if torch.cuda.is_available():
device = 'cuda'
elif hasattr(torch.backends, 'mps') and torch.backends.mps.is_available():
device = 'mps'
else:
device = 'cpu'
print(f'Using {device}')
```
将模型移动到 GPU 并不代表应用已经适合生产环境。仍然要测量启动时间、内存、吞吐量、延迟以及并发请求下的表现。
## 第二步：运行第一个 pipeline
Pipeline 是执行常见任务最快的方式。它会选择模型和 tokenizer，处理输入，执行推理，并把结果转换为易用的 Python 结构。
### 情感分类
```python
from transformers import pipeline
classifier = pipeline('sentiment-analysis')
result = classifier('The documentation is clear and the setup was straightforward.')
print(result)
```
输出通常包含标签和分数。分数更接近模型的置信度指标，并不保证事实正确。默认模型也可能随环境或版本改变；需要可复现时，应明确指定模型。
```python
from transformers import pipeline
classifier = pipeline(
'sentiment-analysis',
model='distilbert-base-uncased-finetuned-sst-2-english'
)
print(classifier('The interface is useful, although the export step is confusing.'))
```
这个示例针对英文二分类情感。其他语言、领域或标签集合应选择模型卡片中明确支持的模型。
### 文本分类的应用
文本分类适合让每条输入获得一个或多个标签，例如路由客服工单、识别文档类型、分配审核队列和识别用户意图。
| 任务 | 输入 | 输出 | 适合的起点 |
|---|---|---|---|
| 情感分析 | 句子或评论 | 正面、负面或自定义标签 | 序列分类模型 |
| 意图识别 | 用户请求 | 产品或客服意图 | 在请求数据上微调的 encoder |
| 主题分类 | 文章或消息 | 主题标签 | 多分类模型 |
| 安全筛查 | 用户内容 | 安全相关标签 | 针对目标语言评估过的模型 |
| 实体识别 | 句子 | 实体位置与类型 | token classification 模型 |
### 文本生成
```python
from transformers import pipeline
generator = pipeline('text-generation', model='distilgpt2')
outputs = generator(
'A practical machine learning project should begin with',
max_new_tokens=60,
do_sample=True,
temperature=0.7,
top_p=0.9,
num_return_sequences=1,
)
print(outputs[0]['generated_text'])
```
常见参数包括：
- `max_new_tokens`：限制新生成 token 数，通常比总长度更容易理解。
- `do_sample`：启用随机采样；关闭后通常更确定。
- `temperature`：控制随机性，较低值通常更保守，但不保证准确。
- `top_p`：限制候选 token 的累计概率范围。
- `num_beams`：对支持的生成方式启用 beam search。
- `repetition_penalty`：减少重复，但数值过高可能损害可读性。
- `return_full_text`：在支持时控制输出是否包含提示词。
生产应用必须设置明确的长度限制并校验输出，不要让不可信输入随意控制昂贵的生成参数。
### 摘要
```python
from transformers import pipeline
summarizer = pipeline(
'summarization',
model='facebook/bart-large-cnn'
)
article = '''Transformers are reusable neural network models. They can be adapted
for classification, summarization, question answering, and generation.'''
summary = summarizer(article, max_length=45, min_length=15, do_sample=False)
print(summary[0]['summary_text'])
```
摘要模型有输入长度限制。长文档可能需要切块、分层摘要或支持更长上下文的模型。切块可能丢失段落边界信息，因此应保留适当重叠，并以完整原文评估摘要。
### 问答
抽取式问答会在提供的上下文中找到答案片段：
```python
from transformers import pipeline
qa = pipeline('question-answering')
result = qa(
question='What does a tokenizer do?',
context='A tokenizer converts raw text into tokens and then into values a model can process.'
)
print(result)
```
这与生成式问答不同。抽取式问答通常应从上下文回答，而生成模型可能编造上下文中没有的内容。敏感场景应先检索相关文档，把证据作为上下文，并保留引用或来源片段。
## 第三步：理解 tokenization
Tokenizer 把原始输入转换为模型理解的形式。一个单词可能对应一个 token、多个子词 token 或特殊 token，因此 token 数不等于单词数。
```python
from transformers import AutoTokenizer
model_name = 'distilbert-base-uncased'
tokenizer = AutoTokenizer.from_pretrained(model_name)
text = 'Transformers make pretrained models easier to use.'
encoded = tokenizer(text, return_tensors='pt')
print(encoded)
print(tokenizer.convert_ids_to_tokens(encoded['input_ids'][0]))
```
返回字典可能包含 `input_ids`、`attention_mask`，以及某些模型所需的 token type IDs。Attention mask 用于告诉模型哪些位置是真实输入，哪些是 padding。
### Padding 与 truncation
批量处理不同长度的输入时需要 padding。模型通常也有最大序列长度，因此长输入要截断或采用其他策略。
```python
batch = tokenizer(
['Short example.', 'A somewhat longer example for batching.'],
padding=True,
truncation=True,
max_length=128,
return_tensors='pt'
)
```
截断可能删除最重要的内容。生产使用前，应检查从哪一侧截断，并考虑按标题、段落或页面切分文档。
### Fast tokenizer 与特殊 token
许多模型使用 fast tokenizer，可以提供 token 到字符位置的映射，适合实体识别和高亮。
```python
encoded = tokenizer(
'Ada Lovelace worked on an early computing project.',
return_offsets_mapping=True,
return_tensors='pt'
)
print(encoded['offset_mapping'])
```
除非模型文档明确允许，否则不要把一个模型家族的 tokenizer 与另一个模型的权重混用。Tokenizer、processor、配置和权重必须匹配。
## 第四步：使用 Auto 类与模型本身
`Auto` 类会根据模型配置推断架构，使代码可以在兼容模型之间迁移。
```python
import torch
from transformers import AutoModelForSequenceClassification, AutoTokenizer
model_name = 'distilbert-base-uncased-finetuned-sst-2-english'
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name)
inputs = tokenizer(
'The installation instructions are helpful.',
return_tensors='pt',
truncation=True
)
model.eval()
with torch.inference_mode():
outputs = model(**inputs)
predicted_id = outputs.logits.argmax(dim=-1).item()
print(model.config.id2label[predicted_id])
```
批量输入时，应在内存允许的情况下让模型一次处理整个张量。批处理通常可以提高吞吐量，但过大的 batch 会增加延迟和内存压力。
## 第五步：负责任地选择模型
模型选择既是技术决策，也是治理决策。先明确任务，再根据语言、领域、许可证、输入限制、硬件和质量证据筛选。
### 模型选择清单
1. **定义任务。** 分类、抽取、检索、生成、语音和视觉需要不同的模型头与 processor。
2. **检查语言。** 多语言标签不等于每种语言质量相同。
3. **阅读模型卡片。** 关注适用场景、限制、评估数据和已知失败模式。
4. **确认许可证。** 确认是否允许你的商业、内部或再分发用途。
5. **估算内存。** 权重大小只是运行内存的一部分，还要考虑激活值、缓存、框架开销和 batch。
6. **测试真实输入。** 包括普通、困难、歧义、长短、多语言和对抗性示例。
7. **记录准确版本。** 需要复现时固定 revision 或保存内部模型副本。
8. **准备降级策略。** 低置信度分类或格式错误的生成应进入复核、重试或安全响应。
| 选择因素 | 要问的问题 | 重要原因 |
|---|---|---|
| 质量 | 使用了什么指标和测试集？ | 基准测试不一定代表你的数据 |
| 延迟 | 单次请求多快完成？ | 面向用户的应用需要可预测响应时间 |
| 吞吐量 | 单个 worker 能处理多少请求？ | 批处理与 API 的需求不同 |
| 内存 | 真实 batch 下能否在目标设备运行？ | 集成后才出现 OOM 很常见 |
| 许可证 | 是否能按计划使用和分发？ | 法律限制可能阻止部署 |
| 安全 | 模型记录了哪些偏差和有害输出？ | 流畅不代表安全 |
| 维护 | 仓库和文档是否易于理解？ | 更利于升级和排错 |
## 第六步：编写可复用的推理函数
用小型封装为应用提供稳定边界：
```python
from transformers import pipeline
classifier = pipeline(
'sentiment-analysis',
model='distilbert-base-uncased-finetuned-sst-2-english'
)
def classify_text(text: str) -> dict:
if not isinstance(text, str) or not text.strip():
raise ValueError('text must be a non-empty string')
result = classifier(text[:4000], truncation=True)[0]
return {
'label': result['label'],
'score': float(result['score']),
}
print(classify_text('The support response solved my issue.'))
```
生产封装还应加入结构化日志、请求 ID、超时、输入限制、异常处理、模型版本信息和指标。默认不要记录私有输入；若必须保留调试文本，应制定保留期限并删除敏感字段。
### 批量推理
离线处理时，批量传入文本，而不是每一行单独调用：
```python
texts = [
'The delivery was early.',
'The package arrived damaged.',
'I need help changing my address.'
]
results = classifier(texts, batch_size=3, truncation=True)
for text, result in zip(texts, results):
print(result['label'], result['score'], text)
```
应在目标硬件上测试 batch 大小。更大的 batch 不一定更快，可能导致内存压力或排队延迟。
## 第七步：微调预训练模型
微调通过带标签数据使预训练模型适应具体任务。真实、有代表性的数据很重要，微调不能替代数据质量工作。
假设有一个 `reviews.csv` 文件，包含 `text` 和 `label` 两列：
```text
text,label
"The product works as expected",1
"The setup failed twice",0
```
### 加载并划分数据
```python
from datasets import load_dataset
raw = load_dataset('csv', data_files='reviews.csv')['train']
split = raw.train_test_split(test_size=0.2, seed=42)
print(split)
```
如果多行来自同一用户、文档、商品或对话，随机划分可能造成信息泄漏。此时应按相关实体进行分组划分。
### Tokenize 样本
```python
from transformers import AutoTokenizer
model_name = 'distilbert-base-uncased'
tokenizer = AutoTokenizer.from_pretrained(model_name)
def tokenize(batch):
return tokenizer(
batch['text'],
truncation=True,
max_length=256
)
tokenized = split.map(tokenize, batched=True)
```
`max_length` 应根据数据和模型上限选择。增加它可以保留更多上下文，但会增加计算和内存。
### 创建模型与 Trainer
```python
from transformers import (
AutoModelForSequenceClassification,
DataCollatorWithPadding,
TrainingArguments,
Trainer,
)
model = AutoModelForSequenceClassification.from_pretrained(
model_name,
num_labels=2,
id2label={0: 'NEGATIVE', 1: 'POSITIVE'},
label2id={'NEGATIVE': 0, 'POSITIVE': 1},
)
collator = DataCollatorWithPadding(tokenizer=tokenizer)
args = TrainingArguments(
output_dir='./sentiment-model',
eval_strategy='epoch',
save_strategy='epoch',
learning_rate=2e-5,
per_device_train_batch_size=8,
per_device_eval_batch_size=8,
num_train_epochs=3,
weight_decay=0.01,
load_best_model_at_end=True,
report_to='none',
)
trainer = Trainer(
model=model,
args=args,
train_dataset=tokenized['train'],
eval_dataset=tokenized['test'],
processing_class=tokenizer,
data_collator=collator,
)
trainer.train()
```
Transformers 的参数会随版本调整。如果当前版本不识别 `processing_class`，应查看对应版本文档，使用该版本支持的 tokenizer 或 processor 参数。
### 评估微调模型
类别平衡时准确率有用，但它可能掩盖少数类表现不佳的问题。合适时还应加入 precision、recall、F1、混淆矩阵和分组分析。
```python
import numpy as np
import evaluate
accuracy = evaluate.load('accuracy')
f1 = evaluate.load('f1')
def compute_metrics(eval_pred):
logits, labels = eval_pred
predictions = np.argmax(logits, axis=-1)
return {
'accuracy': accuracy.compute(
predictions=predictions,
references=labels
)['accuracy'],
'f1': f1.compute(
predictions=predictions,
references=labels,
average='weighted'
)['f1'],
}
```
如果需要训练期间显示指标，可在训练前把 `compute_metrics` 传给 `Trainer`。应保留最终测试集，直到模型决策完成，否则反复试验会让测试集变成非正式训练集。
### 保存与加载模型
```python
trainer.save_model('./sentiment-model-final')
tokenizer.save_pretrained('./sentiment-model-final')
```
之后可以重新加载：
```python
from transformers import pipeline
predictor = pipeline(
'text-classification',
model='./sentiment-model-final',
tokenizer='./sentiment-model-final'
)
print(predictor('The result was better than expected.'))
```
## 微调、提示词与检索的区别
微调只是改进应用的一种方法，应根据具体问题比较以下方案。
| 方法 | 适合场景 | 优点 | 局限 |
|---|---|---|---|
| Prompting | 灵活指令和少样本实验 | 改动快，不需训练 | 输出可能不稳定 |
| 微调 | 稳定标签、风格或任务行为 | 窄任务中更一致 | 需要数据、评估、算力和维护 |
| 检索加生成 | 基于不断变化的文档回答 | 无需重新训练即可更新知识 | 检索、引用、权限和上下文都很重要 |
| 规则与普通代码 | 确定性格式和业务约束 | 透明可预测 | 面对歧义语言不够灵活 |
| 托管推理 | 不想管理硬件 | 省去部分运维工作 | 成本、隐私、可用性和网络延迟 |
如果要加入库存、政策、日程或账户等经常变化的事实，不应优先微调。检索或数据库通常更合适。
## 生成模型、解码与内存
可以使用 `AutoModelForCausalLM` 直接加载因果语言模型：
```python
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
model_name = 'distilgpt2'
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)
model.eval()
inputs = tokenizer('A clear project plan includes', return_tensors='pt')
with torch.inference_mode():
output_ids = model.generate(
**inputs,
max_new_tokens=50,
do_sample=False,
pad_token_id=tokenizer.eos_token_id,
)
print(tokenizer.decode(output_ids[0], skip_special_tokens=True))
```
有些 decoder-only tokenizer 没有 padding token。单个样本可以设置 `pad_token_id` 避免警告；批处理时应遵循模型文档中的 padding 规则。
### 量化与高效加载
量化用更低精度保存权重，可以减少内存，有时也能提高速度，但可能改变质量并带来硬件限制。它是工程权衡，不是万能优化。
其他方法包括：
- 在硬件支持时使用低精度推理。
- 选择更小或蒸馏模型。
- 动态批处理。
- 生成时使用缓存。
- 采用适配器微调，而不是更新全部参数。
- 缩短输入并进行合理切块。
- 导出到适合目标设备的运行时。
每次优化都要同时测量质量、延迟和内存。内存减少但输出不可接受，不能算成功优化。
## Transformers 的其他任务
Transformers 并不只处理文本。
### 命名实体识别
```python
from transformers import pipeline
ner = pipeline('token-classification', aggregation_strategy='simple')
print(ner('Ada Lovelace worked in London.'))
```
实体标签和聚合行为取决于具体模型。应测试标点、缩写、重叠实体以及训练数据中少见的名称。
### 翻译
```python
from transformers import pipeline
translator = pipeline(
'translation_en_to_fr',
model='Helsinki-NLP/opus-mt-en-fr'
)
print(translator('This tutorial explains model evaluation.'))
```
翻译质量会受到语言对、领域、句子长度和术语影响。法规或技术内容应使用术语表和后处理，并由合格人员审核重要翻译。
### 语音识别
语音 pipeline 可能需要音频后端和模型专用预处理。采样率、噪音、口音、多人重叠、代码切换和个人信息都会影响效果。应阅读 processor 和模型文档，不能假设语音流程与文本完全相同。
### 图像分类与多模态模型
视觉和多模态工作流通常使用 `AutoImageProcessor` 或 `AutoProcessor`，而不只是文本 tokenizer。Processor 可能负责调整图像尺寸、归一化像素、tokenize 文本或准备多种模态。预处理必须与模型配套。
## 部署 Transformers 模型
部署架构应把模型加载与请求处理分开。每次请求都重新加载模型会产生不必要的延迟和内存开销。
一个最小本地 API 模式如下：
```python
from fastapi import FastAPI
from pydantic import BaseModel
from transformers import pipeline
app = FastAPI()
classifier = pipeline(
'sentiment-analysis',
model='./sentiment-model-final'
)
class Request(BaseModel):
text: str
@app.post('/predict')
def predict(request: Request):
if not request.text.strip():
return {'error': 'text must not be empty'}
result = classifier(request.text, truncation=True)[0]
return {'label': result['label'], 'score': float(result['score'])}
```
上线前还应加入身份认证、速率限制、请求大小限制、健康检查、结构化错误和监控。
### 部署方式比较
| 方式 | 适合场景 | 主要优点 | 主要问题 |
|---|---|---|---|
| 本地进程 | 原型或离线工作 | 简单可控 | 可用性和扩展性有限 |
| 容器服务 | 团队部署 | 环境可复现 | 镜像大小、GPU 调度和运维 |
| 托管推理 | 不想管理基础设施 | 减少硬件管理 | 成本、隐私、供应商限制和延迟 |
| 批处理任务 | 大量离线数据 | 吞吐高、便于重试 | 不适合交互式延迟 |
| 端侧部署 | 数据必须留在设备上 | 隐私和离线能力 | 模型大小、硬件和更新复杂度 |
如果需要比较本地 Transformers 与托管模型运行，可参考 [Replicate](/zh/tools/replicate)。它是 freemium 工具，当前价格、支持模型、隐私政策和运行限制应以官方网站为准。托管运行并不等同于在本地加载 Transformers checkpoint。
## 测试与监控
模型应从三层进行测试。
### 单元测试
测试 tokenizer 封装、输入校验、标签映射、截断行为和输出结构。使用固定样本检测意外变化。
### 评估测试
维护有版本的数据集，代表真实使用。加入边界样本和语言、长度、渠道、用户群体或文档类型等切片。新模型应与当前生产模型比较，而不只看单独分数。
### 运行测试
测量冷启动、热延迟、吞吐量、内存、超时、重试和并发。模型即使准确，如果真实流量下频繁超时，也不能算可用。
建议监控：
- 错误和超时率。
- 输入长度与截断频率。
- 置信度或分数分布。
- 标签分布变化。
- 人工覆盖和升级率。
- 硬件使用率与内存压力。
- 数据缺失和质量问题。
置信度分数不能替代风险策略。应使用验证数据设置阈值，并评估假阳性和假阴性的影响。
## 安全、隐私与负责任使用
Transformers 应用可能处理敏感文本、图像、音频或文档。实用措施包括：
- 推理前删除秘密和不必要的个人数据。
- 把凭证放在环境变量或密钥管理器中，不要写进源代码。
- 限制私有模型仓库访问权限。
- 校验上传文件并限制大小和类型。
- 把检索文档和用户提示视为不可信输入。
- 未经过沙箱和校验，不要让生成文本直接执行代码。
- 为高影响决策明确人工复核流程。
- 检查模型许可证与数据集条款。
- 自动分类影响个人时，提供申诉或纠正路径。
当模型连接工具或私有文档时，还要防范提示注入和数据泄露。限制工具权限，隔离不同租户，并确保检索权限属于当前用户。
## Transformers 与相关工具如何选择
当你需要控制模型、预处理、权重、微调或部署时，Transformers 很有价值。但如果目标是无代码制作演示文稿、网站、会议记录或通用助手，它未必是最快路径。
| 需求 | Transformers 适配度 | 其他工具类别 |
|---|---|---|
| 用自有标签数据微调分类器 | 很适合 | 托管机器学习平台 |
| 创建自定义推理 API | 很适合 | 托管模型 API |
| 不写代码创建演示文稿 | 有限 | [Gamma](/zh/tools/gamma) |
| 制作营销设计或图像 | 有限 | [Canva](/zh/tools/canva) 或 [Ideogram](/zh/tools/ideogram) |
| 原型化 AI 网站界面 | 间接适合 | [Bolt.new](/zh/tools/boltnew)、[v0](/zh/tools/v0) 或 [Framer](/zh/tools/framer) |
| 录制并分享产品演示 | 不是主要工具 | [Loom](/zh/tools/loom) |
| 转录或整理会议 | 不是主要工具 | [Fireflies.ai](/zh/tools/firefliesai) 或 [Krisp](/zh/tools/krisp) |
| 运行托管生成模型 | 可通过外部服务实现 | [Replicate](/zh/tools/replicate) |
这些工具处于不同工作层。比如，开发者可以用 Transformers 做私有分类器，用 [Gemini](/zh/tools/gemini) 比较通用助手，再用 [Bolt.new](/zh/tools/boltnew) 快速制作界面原型。各工具均为 freemium，免费额度与付费层可能变化，应查看官方网站的当前价格。
## 常见错误与解决办法
### 生产环境直接使用默认模型
默认 pipeline 模型适合学习，不是通用生产推荐。应根据语言、标签、领域和许可证明确选型。
### 忽略截断
Pipeline 可能在删除部分输入后仍返回结果。应记录 token 长度并监控截断频率。
### 评估数据泄漏
同一用户或文档的近似样本可能让分数虚高。应按照生产中信息到达的方式划分数据。
### 把分数当成真相
分数只反映模型在特定训练和校准条件下的行为。应验证阈值，并在后果较高的场景保留人工审核。
### 过早微调
先用规则、提示词、检索或预训练分类器建立基线。确定具体失败模式后，再判断微调是否值得。
### 每次请求都加载模型
应在 worker 启动时加载一次。大模型要使用合适的服务架构并管理并发。
### 忽略可复现性
记录软件包版本、模型 ID、revision、tokenizer、预处理、随机种子、训练数据版本和评估代码。可复现性是系统属性，不只是一个随机种子。
## 推荐学习路径
建议按以下顺序学习：
1. 用公开示例运行一个 pipeline。
2. 把默认模型替换成明确选择的模型。
3. 理解 tokenizer 输入、mask、padding 和 truncation。
4. 直接调用 `AutoModel` 并观察 logits。
5. 建立小型带标签评估集。
6. 比较基线模型和微调模型。
7. 把推理封装成稳定函数或 API。
8. 加入校验、日志、监控和访问控制。
9. 部署前测试模型和数据变化。
10. 记录限制、许可证和人工升级机制。
这条路径可以避免一个常见问题：在任务定义、标签、评估集和部署限制尚未确认前，就花大量时间优化模型。
## 常见问题 FAQ
### Hugging Face Transformers 免费吗？
Transformers 库是开源的，但项目总成本还可能包括算力、存储、托管、标注、监控和工程时间。每个模型也可能有不同许可证。商业使用前应查看库和模型条款，涉及托管基础设施时还要查看官方当前价格。
### 使用 Transformers 必须有 GPU 吗？
不需要。小模型和许多分类任务可以在 CPU 上运行。大型模型、微调、高吞吐推理和低延迟应用更适合 GPU。应在计划使用的硬件上测试准确模型和 batch 大小。
### Pipeline 和模型有什么区别？
模型包含神经网络和权重。Tokenizer 或 processor 负责准备输入，pipeline 则把预处理、模型执行和后处理组合成常见任务接口。入门时用 pipeline，需要更大控制力时再直接使用模型和 tokenizer。
### 聊天机器人应该微调大语言模型吗？
不一定。先判断检索、更好的提示词、结构化工具或小型任务分类器能否解决问题。微调适合稳定行为和特殊格式，但不能可靠地提供实时事实，而且需要认真评估。
### 如何从模型中心选择好模型？
先检查任务和语言兼容性，再阅读模型卡片、确认许可证、了解训练和评估细节、估算内存与上下文限制、测试真实示例，并固定 revision。单独的最高分不足以证明模型适合你的应用。
### 如何降低 Transformers 推理内存？
可以使用更小模型、支持时使用低精度、量化、较小 batch、更短输入、兼容的缓存机制和适配器训练。必须同时衡量质量、延迟和内存，因为某项优化可能改善一个指标，却损害另一个指标。
### Transformers 能处理图像和音频吗？
可以。生态中包含视觉、语音和多模态模型，但具体类、依赖、预处理和硬件要求会因模型而异。应按照模型卡片操作，并在真实音频或图像条件下测试，而不只是使用干净示例。
### Transformers 模型自动安全且准确吗？
不是。预训练模型可能存在偏差、自信地犯错、受到对抗性输入影响，或不适合某个群体和领域。应用必须包含评估、访问控制、监控、人工复核和明确的失败处理。
## 结语
Hugging Face Transformers 提供了从第一次 pipeline 实验到微调、监控和部署模型服务的灵活路径。可靠工作流应当有明确步骤：定义任务，选择兼容模型，检查 tokenization，建立基线，使用代表性数据评估，测量后再优化，并在部署时加入安全和可观测性。
理解模型、tokenizer、processor、pipeline、dataset 和训练工具之间的关系后，你就可以把同样的原则应用到文本、音频、视觉和多模态项目中。库提供强大的构件，而稳定结果来自高质量数据、严谨测试和良好的工程设计。