Transformers documentation
GPTQ
GPTQ
GPT-QModel 프로젝트(Python 패키지 gptqmodel)는 GPTQ 알고리즘을 구현합니다. GPTQ는 학습 후 양자화 기법으로, 가중치 행렬의 각 행을 독립적으로 양자화하여 오차를 최소화하는 가중치 버전을 찾습니다. 이 가중치는 int4로 양자화되지만, 추론 중에 fp16으로 즉시 복원됩니다. int4 가중치가 GPU의 글로벌 메모리가 아닌 융합 커널에서 역양자화되므로 메모리 사용량을 4배까지 절약할 수 있습니다. 또한 낮은 비트폭은 통신에 걸리는 시간이 적어 추론 속도도 빨라집니다.
AutoGPTQ는 더 이상 Transformers에서 지원되지 않습니다. 대신 GPT-QModel을 설치하세요.
Accelerate, Transformers, Optimum를 먼저 설치하세요.
pip install --upgrade accelerate optimum transformers
그 다음 아래 명령을 실행하여 GPT-QModel을 설치합니다.
pip install gptqmodel --no-build-isolation
GPTQConfig 클래스를 생성하고, 양자화할 비트 수, 양자화를 위한 가중치 보정에 사용할 데이터셋, 그리고 데이터셋을 준비할 토크나이저를 설정합니다.
from transformers import AutoModelForCausalLM, AutoTokenizer, GPTQConfig
tokenizer = AutoTokenizer.from_pretrained("facebook/opt-125m")
gptq_config = GPTQConfig(bits=4, dataset="c4", tokenizer=tokenizer)문자열 목록으로 직접 데이터셋을 전달할 수 있지만, GPTQ 논문에서 사용한 동일한 데이터셋을 사용하는 것이 강력히 권장됩니다.
dataset = ["gptqmodel is an easy-to-use model quantization library with user-friendly apis, based on the GPTQ algorithm."]
gptq_config = GPTQConfig(bits=4, dataset=dataset, tokenizer=tokenizer)Load a model to quantize and pass GPTQConfig to from_pretrained(). Set device_map="auto" to automatically offload the model to a CPU to help fit the model in memory, and allow the model modules to be moved between the CPU and GPU for quantization.
quantized_model = AutoModelForCausalLM.from_pretrained("facebook/opt-125m", device_map="auto", quantization_config=gptq_config)데이터셋이 너무 커서 메모리가 부족해지는 경우(디스크 오프로딩은 지원되지 않음), max_memory 매개변수를 전달하여 GPU와 CPU에서 사용할 메모리 양을 할당해 보세요.
quantized_model = AutoModelForCausalLM.from_pretrained(
"facebook/opt-125m",
device_map="auto",
max_memory={0: "30GiB", 1: "46GiB", "cpu": "30GiB"},
quantization_config=gptq_config
)하드웨어에 따라 모델을 처음부터 양자화하는 데 시간이 걸릴 수 있습니다. 무료 등급의 Google Colab GPU에서 facebook/opt-350m 모델을 양자화하는 데 약 5분이 걸리지만, NVIDIA A100에서 175B 파라미터 모델을 양자화하는 데는 약 4시간이 걸립니다. 모델을 양자화하기 전에 Hub에서 해당 모델의 GPTQ 양자화 버전이 이미 존재하는지 확인하는 것이 좋습니다.
모델이 양자화되면 push_to_hub()를 사용하여 모델과 토크나이저를 Hub에 업로드하여 쉽게 공유하고 접근할 수 있습니다. 이 과정에서 GPTQConfig도 함께 저장됩니다.
quantized_model.push_to_hub("opt-125m-gptq")
tokenizer.push_to_hub("opt-125m-gptq")save_pretrained()은 양자화된 모델을 로컬에 저장합니다. 모델이 device_map 파라미터로 양자화되었다면, 저장하기 전에 전체 모델을 GPU 또는 CPU로 이동했는지 확인하세요. 아래 예제는 모델을 CPU에 저장합니다.
quantized_model.save_pretrained("opt-125m-gptq")
tokenizer.save_pretrained("opt-125m-gptq")
# if quantized with device_map set
quantized_model.to("cpu")
quantized_model.save_pretrained("opt-125m-gptq")from_pretrained()로 양자화된 모델을 다시 로드하고, device_map="auto"를 설정하여 모델을 사용 가능한 모든 GPU에 자동으로 분배하여, 필요한 메모리보다 더 많이 사용하지 않으면서 모델을 더 빠르게 로드합니다.
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("{your_username}/opt-125m-gptq", device_map="auto")Marlin
Marlin은 NVIDIA A100 GPU(Ampere) 아키텍처에 대해 최적화된 4-bit 전용 CUDA GPTQ 커널입니다. 로딩, 역양자화, 역양자화 후 가중치 실행이 고도로 병렬화되어 있어 기존 CUDA GPTQ 커널 대비 추론 성능이 크게 향상됩니다. Marlin은 양자화 추론에만 사용할 수 있으며 모델 양자화를 지원하지 않습니다.
Marlin 추론은 GPTQConfig의 backend 파라미터를 통해 활성화할 수 있습니다.
from transformers import AutoModelForCausalLM, GPTQConfig
model = AutoModelForCausalLM.from_pretrained("{your_username}/opt-125m-gptq", device_map="auto", quantization_config=GPTQConfig(bits=4, backend="marlin"))GPT-QModel
GPT-QModel은 Transformers에서 GPTQ를 위한 능동적으로 유지 관리되는 백엔드입니다. 처음에는 AutoGPTQ에서 포크되었으나, 이후 더 빠른 양자화, 더 낮은 메모리 사용량, 더 정확한 기본값 등 상당한 개선 사항이 추가되어 분기되었습니다.
GPT-QModel은 대칭 양자화보다 양자화 오류를 낮출 수 있는 비대칭 양자화를 제공합니다. 기존 AutoGPTQ 체크포인트와 역호환되지 않으며, 모든 커널(Marlin)이 비대칭 양자화를 지원하지 않습니다.
GPT-QModel은 최신 LLM 모델, 멀티모달 모델(Qwen2-VL 및 Ovis1.6-VL), 플랫폼(Linux, macOS, Windows 11), 하드웨어(AMD ROCm, Apple Silicon, Intel/AMD CPU, Intel Datacenter Max/Arc GPU 등)에 대한 더 광범위한 지원을 제공합니다.
Marlin 커널은 A100 GPU에 맞게 업데이트되었으며, 다른 커널은 레거시 모델 및 균일하지 않은 in/out-features를 가진 모델을 위해 자동 패딩(auto-padding)을 포함하도록 업데이트되었습니다.
리소스
PEFT notebook를 실행하여 GPTQ 양자화를 직접 체험해 보세요.
Update on GitHub