Transformers documentation

BridgeTower

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

このモデルは2022年6月17日にHF papersで公開され、2023年1月25日にHugging Face Transformersに貢献されました。

BridgeTower

概要

BridgeTowerモデルは、Xiao Xu、Chenfei Wu、Shachar Rosenman、Vasudev Lal、Wanxiang Che、Nan Duan による BridgeTower: Building Bridges Between Encoders in Vision-Language Representative Learning で提案されました。このモデルの目的は、各単一モーダルエンコーダーとクロスモーダルエンコーダーの間にブリッジを構築し、クロスモーダルエンコーダーの各層で包括的かつ詳細な相互作用を可能にすることで、追加の性能および計算コストをほぼ無視できるレベルに抑えながら、さまざまな下流タスクで優れた性能を実現することです。

本論文はAAAI’23会議に採択されました。

論文の抄録は以下の通りです。

近年、視覚言語表現学習の分野では、TWO-TOWER アーキテクチャを持つ Vision-Language (VL) モデルが主流となっています。現在の VL モデルは、軽量な単一モーダルエンコーダを使用し、深いクロスモーダルエンコーダ内で両モーダルの抽出、アライメント、融合を同時に学習するアプローチ、または、深く事前学習された単一モーダルエンコーダの最終層の単一モーダル表現を上位のクロスモーダルエンコーダに投入するアプローチのいずれかをとっています。どちらのアプローチも、視覚言語表現学習を制約し、モデルの性能を制限する可能性があります。本論文では、BRIDGETOWER を提案します。BRIDGETOWER は、単一モーダルエンコーダの上位層とクロスモーダルエンコーダの各層の間に接続を構築する複数のブリッジ層を導入します。これにより、クロスモーダルエンコーダ内で、事前学習された単一モーダルエンコーダの異なる意味レベルの視覚表現とテキスト表現の間で、効果的なボトムアップ型のクロスモーダルアライメントと融合が可能になります。わずか 400 万枚の画像のみで事前学習を行った BRIDGETOWER は、さまざまな下流の視覚言語タスクで最先端の性能を達成しました。特に、VQAv2 の test-std セットにおいて、BRIDGETOWER は 78.73% の精度を達成し、同じ事前学習データを使用しながら、ほぼ無視できる程度の追加パラメータと計算コストで、従来の最先端モデル METER を 1.09% 上回りました。さらに、モデルをスケールアップした場合、BRIDGETOWER は 81.15% の精度を達成し、桁違いに大きなデータセットで事前学習されたモデルを凌駕します。

BridgeTower architecture. Taken from the original paper.

このモデルは、Anahita Bhiwandiwalla、Tiep Le、Shaoyen Tseng によって提供されました。元のコードはこちらで確認できます。

使用のコツと例

BridgeTowerは、ビジュアルエンコーダー、テキストエンコーダー、および複数の軽量なブリッジ層を備えたクロスモーダルエンコーダーで構成されています。このアプローチの目的は、各単一モーダルエンコーダーとクロスモーダルエンコーダーの間にブリッジを構築し、クロスモーダルエンコーダーの各層で包括的かつ詳細な相互作用を可能にすることです。原理的には、提案されたアーキテクチャに、任意のビジュアル、テキスト、またはクロスモーダルエンコーダーを適用できます。

BridgeTowerProcessor は、RobertaTokenizer と BridgeTowerImageProcessor を単一のインスタンスにラップし、それぞれテキストのエンコードと画像の準備を行います。

以下の例では、BridgeTowerProcessorとBridgeTowerForContrastiveLearningを使用して対照的学習を実行する方法を示します。

import requests
from PIL import Image

from transformers import BridgeTowerForContrastiveLearning, BridgeTowerProcessor


url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)
texts = ["An image of two cats chilling on a couch", "A football player scoring a goal"]

processor = BridgeTowerProcessor.from_pretrained("BridgeTower/bridgetower-large-itm-mlm-itc")
model = BridgeTowerForContrastiveLearning.from_pretrained("BridgeTower/bridgetower-large-itm-mlm-itc", device_map="auto")

# forward pass
scores = dict()
for text in texts:
    # prepare inputs
    encoding = processor(image, text, return_tensors="pt").to(model.device)
    outputs = model(**encoding)
    scores[text] = outputs

次の例では、BridgeTowerProcessorとBridgeTowerForImageAndTextRetrievalを使用して画像とテキストの検索を実行する方法を示します。

import requests
from PIL import Image

from transformers import BridgeTowerForImageAndTextRetrieval, BridgeTowerProcessor


url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)
texts = ["An image of two cats chilling on a couch", "A football player scoring a goal"]

processor = BridgeTowerProcessor.from_pretrained("BridgeTower/bridgetower-base-itm-mlm")
model = BridgeTowerForImageAndTextRetrieval.from_pretrained("BridgeTower/bridgetower-base-itm-mlm", device_map="auto")

# forward pass
scores = dict()
for text in texts:
    # prepare inputs
    encoding = processor(image, text, return_tensors="pt").to(model.device)
    outputs = model(**encoding)
    scores[text] = outputs.logits[0, 1].item()

以下の例では、BridgeTowerProcessorとBridgeTowerForMaskedLMを使用してマスク言語モデリングを実行する方法を示します。

from transformers import BridgeTowerProcessor, BridgeTowerForMaskedLM
from PIL import Image
import requests

url = "http://images.cocodataset.org/val2017/000000360943.jpg"
image = Image.open(requests.get(url, stream=True).raw).convert("RGB")
text = "a <mask> looking out of the window"

processor = BridgeTowerProcessor.from_pretrained("BridgeTower/bridgetower-base-itm-mlm")
model = BridgeTowerForMaskedLM.from_pretrained("BridgeTower/bridgetower-base-itm-mlm", device_map="auto")

# prepare inputs
encoding = processor(image, text, return_tensors="pt").to(model.device)

# forward pass
outputs = model(**encoding)

results = processor.decode(outputs.logits.argmax(dim=-1).squeeze(0).tolist())

print(results)
.a cat looking out of the window.

ヒント:

この BridgeTower の実装では、RobertaTokenizer を使用してテキスト埋め込みを生成し、OpenAI の CLIP/ViT モデルを使用して視覚埋め込みを計算します。
事前学習済みbridgeTower-baseおよびbridgetower masked language modeling and image text matchingのチェックポイントが公開されました。
BridgeTowerのImage Retrievalおよびその他の下流タスクにおける性能については、Table 5を参照してください。

Transformers

BridgeTower

概要

使用のコツと例

BridgeTowerConfig

クラス transformers.BridgeTowerConfig

BridgeTowerTextConfig

クラス transformers.BridgeTowerTextConfig

BridgeTowerVisionConfig

クラス transformers.BridgeTowerVisionConfig

BridgeTowerImageProcessor

class transformers.BridgeTowerImageProcessor

preprocess

BridgeTowerImageProcessorPil

クラス transformers.BridgeTowerImageProcessorPil

preprocess

BridgeTowerProcessor

class transformers.BridgeTowerProcessor

__call__

BridgeTowerModel

class transformers.BridgeTowerModel

forward

BridgeTowerForContrastiveLearning

class transformers.BridgeTowerForContrastiveLearning

forward

BridgeTowerForMaskedLM

class transformers.BridgeTowerForMaskedLM

forward

BridgeTowerForImageAndTextRetrieval

class transformers.BridgeTowerForImageAndTextRetrieval

forward

call