Transformers documentation
Training on TPUs
Get started
Tutorials
パイプラインを使用して推論を実行するAutoClass を使用して移植可能なコードを作成するデータの前処理事前トレーニングされたモデルを微調整するスクリプトを使用してトレーニングする🤗 Accelerate を使用して分散トレーニングをセットアップする🤗 PEFT を使用してアダプターをロードしてトレーニングするモデルを共有するLLM を使用した生成
Task Guides
自然言語処理
オーディオ
コンピュータビジョン
マルチモーダル
世代
プロンプト
開発者ガイド
🤗 トークナイザーの高速トークナイザーを使用する多言語モデルで推論を実行するモデル固有の API を使用するカスタムモデルを共有するチャットモデルのテンプレートONNX へのエクスポートコミュニティリソーストラブルシューティング
パフォーマンスとスケーラビリティ
概要 大きなモデルのインスタンス化torch.compile()を使用した推論の最適化
効率的なトレーニングテクニック
単一の GPU で効率的にトレーニングするための方法とツール複数の GPU と並列処理CPU での効率的なトレーニング分散CPUトレーニングTPU に関するトレーニング特殊なハードウェアに関するトレーニングトレーニング用のカスタム ハードウェアTrainer API を使用したハイパーパラメータ検索
推論の最適化
貢献する
コンセプチュアルガイド
フィロソフィー用語集🤗 Transformersの機能🤗 Transformersがタスクを解決する方法Transformerモデルファミリートークナイザーの概要注意機構パディングと切り詰めBERTology固定長モデルのパープレキシティWebサーバー推論用パイプラインモデルトレーニングの解剖学
API
You are viewing v5.6.2 version. A newer version v5.8.1 is available.
Training on TPUs
注意: シングルGPUセクションで紹介されているほとんどの戦略(混合精度トレーニングや勾配蓄積など)およびマルチGPUセクションは一般的なモデルのトレーニングに適用できますので、このセクションに入る前にそれを確認してください。
このドキュメントは、TPUでのトレーニング方法に関する情報をまもなく追加いたします。
Update on GitHub