Transformers documentation

理念

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

理念

Transformers 是一个以 PyTorch 为核心的库。它提供的模型忠实于其原始论文,易于使用,也便于进行二次开发。

一篇包含示例、可视化图表和时间线的更详尽的深度文章可在此处找到,作为我们的标准参考。

我们的理念在实践中不断演进。以下是我们当前稳定的原则。

该库的适用对象

  • 正在探索或扩展模型架构的研究人员和教育工作者。
  • 从事模型微调、评估或部署的从业者。
  • 希望使用具有可预测 API 且“开箱即用”的预训练模型的工程师。

您可以期待的内容

  • 每个模型需要三个核心类:configuration、models 以及一个预处理类。Tokenizers 处理 NLP,image processors 处理图像,video processors 处理视频,feature extractors 处理音频,processors 处理多模态输入。

  • 所有这些类都可以通过一个通用的 from_pretrained() 方法,以简单且统一的方式从预训练实例进行初始化。该方法会从 Hugging Face Hub 或您自己保存的检查点中下载(如需要)、缓存并加载相关的类实例及其关联数据(包括配置的超参数、分词器的词汇表、处理器的参数以及模型的权重)。

  • 在这三个基础类之上,该库提供了两个 API:pipeline() 用于快速在给定任务上使用模型进行推理,以及 Trainer 用于快速训练或微调 PyTorch 模型。

核心原则

以下这些原则经过时间的沉淀而逐渐确立,并在我们新的理念博客文章中进行了详细说明。它们在维护者审查 PR 和贡献时指导其决策。

  • 权威来源。实现必须忠实于官方结果和预期行为。
  • 一个模型,一个文件。 用户阅读模型文件时,核心的推理/训练逻辑自上而下清晰可见。
  • 代码即产品。 优化代码的可读性和 diff 体验。优先使用显式的命名,而非巧妙的间接引用。
  • 标准化,而非抽象。将模型特定的行为保留在模型中。仅对通用基础设施使用共享接口。
  • DRY*(在有助于用户时进行复用)。最终用户的模型文件保持自包含。基础设施被分离出来。
  • 极简用户 API。 代码路径少,kwargs 可预测,方法稳定。
  • 向后兼容性。公共接口不应被破坏。旧的 Hub 工件必须继续可用。
  • 一致的公共接口。命名、输出和可选诊断功能均保持一致并经过测试。

主要类

  • 配置类 存储构建模型所需的超参数,包括层数和隐藏层大小。您并不总是需要手动实例化这些配置。当使用未经修改的预训练模型时,创建模型的过程会自动实例化相应的配置。

  • 模型类是 PyTorch 模型(torch.nn.Module),至少被 PreTrainedModel 包装。

  • 模块化 Transformers。 贡献者编写一个小型的 modular_*.py 分片,声明对现有组件的复用。该库会自动将其展开为用户阅读和调试的可见文件 modeling_*.py。维护者审查该分片;用户则修改展开后的文件。这种方式在避免样板代码漂移的同时,保留了“一个模型,一个文件”的原则。更多信息请参阅贡献文档。

  • 预处理类将原始数据转换为模型可接受的格式。分词器存储每个模型的词汇表,并提供用于将字符串编码和解码为 token 嵌入索引列表的方法。图像处理器预处理视觉输入,视频处理器预处理视频输入,特征提取器预处理音频输入,处理器预处理多模态输入。

所有这些类都可以通过三种方法从预训练实例实例化、保存到本地,并在 Hub 上共享:

  • from_pretrained() 允许你从预训练版本实例化模型、配置和预处理类,这些预训练版本可以由库本身提供(支持的模型可在 Model Hub 上找到),也可以由用户存储在本地(或服务器上)。
  • save_pretrained() 允许你将模型、配置和预处理类保存到本地,以便之后使用 from_pretrained() 重新加载。
  • push_to_hub() 允许您将模型、配置和预处理类共享到 Hub,以便所有人都能轻松访问。
Update on GitHub