Использование SpanMarker на Hugging Face

SpanMarker — это фреймворк для обучения мощных моделей распознавания именованных сущностей с использованием привычных энкодеров, таких как BERT, RoBERTa и DeBERTa. Тесно интегрированный с библиотекой 🤗 Transformers, SpanMarker эффективно использует её возможности. В результате SpanMarker будет интуитивно понятен всем, кто знаком с Transformers.

Исследование SpanMarker в Hub

Модели span_marker можно найти, применив фильтр слева на странице моделей.

Все модели на Hub обладают следующими полезными возможностями:

1. Автоматически сгенерированная карточка модели с кратким описанием.
2. Интерактивный виджет, с помощью которого можно взаимодействовать с моделью непосредственно в браузере.
3. Виджет Inference Providers, позволяющий отправлять запросы на инференс.

Установка

Для начала вы можете воспользоваться руководством по установке SpanMarker. Также можно установить пакет одной командой через pip:

pip install -U span_marker

Использование существующих моделей

Все модели span_marker можно легко загрузить из Hub.

from span_marker import SpanMarkerModel

model = SpanMarkerModel.from_pretrained("tomaarsen/span-marker-bert-base-fewnerd-fine-super")

После загрузки вы можете использовать SpanMarkerModel.predict для выполнения инференса.

model.predict("Amelia Earhart flew her single engine Lockheed Vega 5B across the Atlantic to Paris.")

[
    {"span": "Amelia Earhart", "label": "person-other", "score": 0.7629689574241638, "char_start_index": 0, "char_end_index": 14},
    {"span": "Lockheed Vega 5B", "label": "product-airplane", "score": 0.9833564758300781, "char_start_index": 38, "char_end_index": 54},
    {"span": "Atlantic", "label": "location-bodiesofwater", "score": 0.7621214389801025, "char_start_index": 66, "char_end_index": 74},
    {"span": "Paris", "label": "location-GPE", "score": 0.9807717204093933, "char_start_index": 78, "char_end_index": 83}
]

Если вы хотите загрузить конкретную модель SpanMarker, нажмите Use in SpanMarker — и вы получите готовый фрагмент кода!

Дополнительные ресурсы

• Репозиторий SpanMarker
• Документация SpanMarker