Este modelo se publicó en HF papers el 2022-10-20 y se contribuyó a Hugging Face Transformers el 2023-06-20.

FLAN-T5

Resumen

FLAN-T5 se publicó en el artículo Scaling Instruction-Finetuned Language Models: es una versión mejorada de T5 que ha sido ajustada en una mezcla de tareas.

Se pueden usar directamente los pesos de FLAN-T5 sin afinar el modelo:

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer


model = AutoModelForSeq2SeqLM.from_pretrained("google/flan-t5-small", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("google/flan-t5-small")

inputs = tokenizer("A step by step recipe to make bolognese pasta:", return_tensors="pt").to(model.device)
outputs = model.generate(**inputs)
print(tokenizer.batch_decode(outputs, skip_special_tokens=True))
['Pour a cup of bolognese into a large bowl and add the pasta']

FLAN-T5 incluye las mismas mejoras que la versión 1.1 de T5 (consulte aquí para obtener todos los detalles sobre las mejoras del modelo).

Google ha publicado las siguientes variantes:

• google/flan-t5-small

• google/flan-t5-base

• google/flan-t5-large

• google/flan-t5-xl

• google/flan-t5-xxl.

Los puntos de control originales se pueden encontrar aquí.

Consulte la página de documentación de T5 para obtener toda la referencia de la API, ejemplos de código y cuadernos. Para más detalles sobre el entrenamiento y la evaluación de FLAN-T5, consulte la tarjeta del modelo.