Эта модель была опубликована в HF papers 2020-05-01 и добавлена в Hugging Face Transformers 2020-11-16.

HerBERT

Обзор

Модель HerBERT была предложена в работе KLEJ: Comprehensive Benchmark for Polish Language Understanding П. Рыбаком, Р. Мрочковским, Я. Трацем и И. Гавликом. Это языковая модель на основе BERT, обученная на польских корпусах с использованием только цели MLM и динамического маскирования целых слов.

Аннотация из статьи следующая:

В последние годы целая серия моделей на основе Transformer обеспечила значительный прогресс в задачах общего понимания естественного языка (NLU). Такой стремительный темп исследований был бы невозможен без общих бенчмарков NLU, позволяющих объективно сравнивать предлагаемые методы. Однако такие бенчмарки доступны лишь для небольшого числа языков. Чтобы смягчить эту проблему, мы представляем комплексный многозадачный бенчмарк для понимания польского языка, дополненный онлайн-таблицей лидеров. Он включает разнообразный набор задач, заимствованных из существующих датасетов для распознавания именованных сущностей, вопросно-ответных систем, текстовой импликации и других. Мы также вводим новую задачу анализа тональности для области электронной коммерции, названную Allegro Reviews (AR). Чтобы обеспечить единую схему оценки и поощрять модели, обобщающиеся на различные задачи NLU, бенчмарк включает датасеты из разных областей и приложений. Кроме того, мы публикуем HerBERT — модель на основе Transformer, обученную специально для польского языка, которая демонстрирует наилучшую среднюю производительность и показывает лучшие результаты по трем из девяти задач. Наконец, мы проводим обширную оценку, включающую несколько стандартных базовых моделей и недавно предложенные многоязычные модели на основе Transformer.

Эта модель была предоставлена пользователем rmroczkowski. Исходный код можно найти здесь.

Пример использования

from transformers import HerbertTokenizer, RobertaModel


tokenizer = HerbertTokenizer.from_pretrained("allegro/herbert-klej-cased-tokenizer-v1")
model = RobertaModel.from_pretrained("allegro/herbert-klej-cased-v1", device_map="auto")

encoded_input = tokenizer.encode("Kto ma lepszą sztukę, ma lepszy rząd – to jasne.", return_tensors="pt").to(model.device)
outputs = model(encoded_input)

# HerBERT can also be loaded using AutoTokenizer and AutoModel:
from transformers import AutoModel, AutoTokenizer


tokenizer = AutoTokenizer.from_pretrained("allegro/herbert-klej-cased-tokenizer-v1")
model = AutoModel.from_pretrained("allegro/herbert-klej-cased-v1", device_map="auto")

Реализация Herbert аналогична BERT, за исключением метода токенизации. Справочник по API и примеры см. в документации BERT.

HerbertTokenizer