Hugging FaceでのAllenNLPの活用

allennlpは、さまざまな言語タスクで最先端のモデルを開発するためのNLPライブラリです。現代のNLPで一般的なコンポーネントやモデルに対して、高レベルの抽象化とAPIを提供します。また、NLP実験の実行と管理を容易にする拡張可能なフレームワークも提供しています。

Hubでのallennlpの探索

モデルページの左側でフィルタリングすることで、Hub上でallennlpのモデルを見つけることができます。

Hub上のすべてのモデルには、便利な機能が備わっています

1. 自動ホスティングされたTensorBoardトレースを備えたトレーニングメトリクスタブ。
2. 検索可能性を高めるためのメタデータタグ。
3. ブラウザ上でモデルを直接試すことができるインタラクティブなウィジェット。
4. 推論リクエストを行うことを可能にするInference Providersウィジェット。

既存のモデルを使用する

Predictorクラスを使用して、Hub上の既存のモデルを読み込むことができます。これを実現するには、from_pathメソッドを使用し、リポジトリIDに"hf://"プレフィックスを付与します。以下はエンドツーエンドの例です。

import allennlp_models
from allennlp.predictors.predictor import Predictor

predictor = Predictor.from_path("hf://allenai/bidaf-elmo")
predictor_input = {
    "passage": "My name is Wolfgang and I live in Berlin", 
    "question": "Where do I live?"
}
predictions = predictor.predict_json(predictor_input)

このようなスニペットを取得するには、右上のUse in AllenNLPをクリックできます。

モデルの共有

最初のステップは、モデルをローカルに保存することです。例えば、archive_model メソッドを使用して、モデルを model.tar.gz ファイルとして保存できます。その後、圧縮されたモデルを Hub にプッシュできます。allennlp でモデルをトレーニングすると、モデルは自動的にシリアライズされるため、それを優先的なオプションとして使用できます。

AllenNLP CLIの使用

CLIでプッシュするには、以下に示すallennlp push_to_hfコマンドを使用できます。

allennlp push_to_hf --repo_name test_allennlp --archive_path model 

Pythonスクリプトから

push_to_hf 関数は、bash スクリプトと同じパラメータを持っています。

from allennlp.common.push_to_hf import push_to_hf

serialization_dir = "path/to/serialization/directory"
push_to_hf(
    repo_name="my_repo_name",
    serialization_dir=serialization_dir,
    local_repo_path=self.local_repo_path
)

わずか1分で、モデルをHubに公開し、ブラウザで直接試して、コミュニティの他のメンバーと共有できます。必要なメタデータはすべて自動的にアップロードされます!

追加のリソース

• AllenNLPのウェブサイト。
• AllenNLPのリポジトリ。