", num_labels=num_labels
)
# 멋진 트레이닝 인수
training_args = TrainingArguments()
trainer = Trainer(model=model, args=training_args)
# 체크포인트 디렉터리를 사용하여 체크포인트에서 트레이닝을 재개해야 합니다.
trainer.train(resume_from_checkpoint=checkpoint_dir)
```
### 트레이닝 중에 평가 샘플을 로깅하고 보는 방법
Transformers `Trainer`를 통해 W\&B에 로깅하는 것은 Transformers 라이브러리의 [`WandbCallback`](https://huggingface.co/transformers/main_classes/callback.html#transformers.integrations.WandbCallback)에서 처리합니다. Hugging Face 로깅을 사용자 지정해야 하는 경우 `WandbCallback`을 서브클래싱하고 Trainer 클래스의 추가적인 메서드를 활용하는 추가적인 기능을 추가하여 이 콜백을 수정할 수 있습니다.
아래는 이 새로운 콜백을 HF Trainer에 추가하는 일반적인 패턴이며, 아래에는 평가 출력을 W\&B Table에 로깅하는 코드 완성 예제가 있습니다.
```python theme={null}
# Trainer를 정상적으로 인스턴스화
trainer = Trainer()
# Trainer 오브젝트를 전달하여 새로운 로깅 콜백 인스턴스화
evals_callback = WandbEvalsCallback(trainer, tokenizer, ...)
# Trainer에 콜백 추가
trainer.add_callback(evals_callback)
# Trainer 트레이닝을 정상적으로 시작
trainer.train()
```
#### 트레이닝 중 평가 샘플 보기
다음 섹션에서는 모델 예측을 실행하고 트레이닝 중에 평가 샘플을 W\&B Table에 로깅하도록 `WandbCallback`을 사용자 지정하는 방법을 보여줍니다. Trainer 콜백의 `on_evaluate` 메서드를 사용하여 모든 `eval_steps`에서 수행합니다.
여기서는 토크나이저를 사용하여 모델 출력에서 예측 및 레이블을 디코딩하는 `decode_predictions` 함수를 작성했습니다.
그런 다음 예측 및 레이블에서 pandas DataFrame을 만들고 DataFrame에 `epoch` 열을 추가합니다.
마지막으로 DataFrame에서 `wandb.Table`을 만들고 wandb에 로깅합니다.
또한 예측을 `freq` 에포크마다 로깅하여 로깅 빈도를 제어할 수 있습니다.
**참고**: 일반적인 `WandbCallback`과 달리 이 사용자 지정 콜백은 `Trainer`를 인스턴스화한 **후에** Trainer에 추가해야 하며 `Trainer` 초기화 중에는 추가하면 안 됩니다.
`Trainer` 인스턴스는 초기화 중에 콜백에 전달되기 때문입니다.
```python theme={null}
from transformers.integrations import WandbCallback
import pandas as pd
def decode_predictions(tokenizer, predictions):
labels = tokenizer.batch_decode(predictions.label_ids)
logits = predictions.predictions.argmax(axis=-1)
prediction_text = tokenizer.batch_decode(logits)
return {"labels": labels, "predictions": prediction_text}
class WandbPredictionProgressCallback(WandbCallback):
"""트레이닝 중에 모델 예측을 로깅하는 사용자 지정 WandbCallback입니다.
이 콜백은 트레이닝 중 각 로깅 단계에서 모델 예측과 레이블을 wandb.Table에 로깅합니다.
트레이닝이 진행됨에 따라 모델 예측을 시각화할 수 있습니다.
특성:
trainer (Trainer): Hugging Face Trainer 인스턴스입니다.
tokenizer (AutoTokenizer): 모델과 연결된 토크나이저입니다.
sample_dataset (Dataset): 예측 생성을 위한 유효성 검사 데이터셋의 서브셋입니다.
num_samples (int, optional): 예측 생성을 위해 유효성 검사 데이터셋에서 선택할 샘플 수입니다. 기본값은 100입니다.
freq (int, optional): 로깅 빈도입니다. 기본값은 2입니다.
"""
def __init__(self, trainer, tokenizer, val_dataset, num_samples=100, freq=2):
"""WandbPredictionProgressCallback 인스턴스를 초기화합니다.
인수:
trainer (Trainer): Hugging Face Trainer 인스턴스입니다.
tokenizer (AutoTokenizer): 모델과 연결된 토크나이저입니다.
val_dataset (Dataset): 유효성 검사 데이터셋입니다.
num_samples (int, optional): 예측 생성을 위해 유효성 검사 데이터셋에서 선택할 샘플 수입니다.
기본값은 100입니다.
freq (int, optional): 로깅 빈도입니다. 기본값은 2입니다.
"""
super().__init__()
self.trainer = trainer
self.tokenizer = tokenizer
self.sample_dataset = val_dataset.select(range(num_samples))
self.freq = freq
def on_evaluate(self, args, state, control, **kwargs):
super().on_evaluate(args, state, control, **kwargs)
# `freq` 에포크마다 예측을 로깅하여 로깅 빈도 제어
if state.epoch % self.freq == 0:
# 예측 생성
predictions = self.trainer.predict(self.sample_dataset)
# 예측 및 레이블 디코딩
predictions = decode_predictions(self.tokenizer, predictions)
# wandb.Table에 예측 추가
predictions_df = pd.DataFrame(predictions)
predictions_df["epoch"] = state.epoch
records_table = self._wandb.Table(dataframe=predictions_df)
# 테이블을 wandb에 로깅
self._wandb.log({"sample_predictions": records_table})
# 먼저 Trainer 인스턴스화
trainer = Trainer(
model=model,
args=training_args,
train_dataset=lm_datasets["train"],
eval_dataset=lm_datasets["validation"],
)
# WandbPredictionProgressCallback 인스턴스화
progress_callback = WandbPredictionProgressCallback(
trainer=trainer,
tokenizer=tokenizer,
val_dataset=lm_dataset["validation"],
num_samples=10,
freq=2,
)
# Trainer에 콜백 추가
trainer.add_callback(progress_callback)
```
자세한 예제는 이 [colab](https://colab.research.google.com/github/wandb/examples/blob/master/colabs/huggingface/Custom_Progress_Callback.ipynb)을 참조하세요.
### 어떤 추가 W\&B 설정이 제공되나요?
환경 변수를 설정하여 `Trainer`로 로깅되는 항목을 추가로 구성할 수 있습니다. W\&B 환경 변수의 전체 목록은 [여기에서 찾을 수 있습니다](/ko/platform/hosting/env-vars/).
| 환경 변수 | 사용법 |
| ----------------- | ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
| `WANDB_PROJECT` | 프로젝트 이름 지정(기본값: `huggingface`) |
| `WANDB_LOG_MODEL` | 모델 체크포인트를 W\&B Artifact로 로깅(기본값: `false`)
false(기본값): 모델 체크포인트 없음checkpoint: 체크포인트는 모든 args.save\_steps마다 업로드됩니다(Trainer의 TrainingArguments에서 설정).end: 최종 모델 체크포인트는 트레이닝이 끝나면 업로드됩니다.
|
| `WANDB_WATCH` | 모델 그레이디언트, 파라미터 또는 둘 다를 로깅할지 여부 설정
false(기본값): 그레이디언트 또는 파라미터 로깅 없음gradients: 그레이디언트의 히스토그램 로깅all: 그레이디언트 및 파라미터의 히스토그램 로깅
|
| `WANDB_DISABLED` | `true`로 설정하여 로깅을 완전히 끕니다(기본값: `false`) |
| `WANDB_SILENT` | `true`로 설정하여 wandb에서 인쇄된 출력을 표시하지 않습니다(기본값: `false`) |
```bash theme={null}
WANDB_WATCH=all
WANDB_SILENT=true
```
```notebook theme={null}
%env WANDB_WATCH=all
%env WANDB_SILENT=true
```
### `wandb.init`를 사용자 지정하는 방법은 무엇인가요?
`Trainer`가 사용하는 `WandbCallback`은 `Trainer`가 초기화될 때 내부적으로 `wandb.init`를 호출합니다. 또는 `Trainer`를 초기화하기 전에 `wandb.init`를 호출하여 Run을 수동으로 설정할 수 있습니다. 이렇게 하면 W\&B Run 구성을 완전히 제어할 수 있습니다.
`init`에 전달할 수 있는 예는 아래와 같습니다. `wandb.init`를 사용하는 방법에 대한 자세한 내용은 [참조 설명서](/ko/models/ref/python/init)를 확인하세요.
```python theme={null}
wandb.init(
project="amazon_sentiment_analysis",
name="bert-base-high-lr",
tags=["baseline", "high-lr"],
group="bert",
)
```
## 추가 자료
다음은 Transformer 및 W\&B 관련 기사 6가지입니다.
Hugging Face Transformers의 하이퍼파라미터 최적화
* Hugging Face Transformers의 하이퍼파라미터 최적화를 위한 세 가지 전략(그리드 검색, 베이지안 최적화 및 모집단 기반 트레이닝)을 비교합니다.
* Hugging Face Transformers의 표준 uncased BERT 모델을 사용하고 SuperGLUE 벤치마크에서 RTE 데이터셋을 파인튜닝하려고 합니다.
* 결과는 모집단 기반 트레이닝이 Hugging Face Transformer 모델의 하이퍼파라미터 최적화에 가장 효과적인 접근 방식임을 보여줍니다.
전체 리포트는 [여기](https://wandb.ai/amogkam/transformers/reports/Hyperparameter-Optimization-for-Hugging-Face-Transformers--VmlldzoyMTc2ODI)에서 읽어보세요.
Hugging Tweets: 트윗 생성을 위한 모델 트레이닝
* 이 기사에서 작성자는 5분 안에 모든 사람의 트윗에서 사전 트레이닝된 GPT2 HuggingFace Transformer 모델을 파인튜닝하는 방법을 보여줍니다.
* 이 모델은 다음 파이프라인을 사용합니다. 트윗 다운로드, 데이터셋 최적화, 초기 실험, 사용자 간 손실 비교, 모델 파인튜닝.
전체 리포트는 [여기](https://wandb.ai/wandb/huggingtweets/reports/HuggingTweets-Train-a-Model-to-Generate-Tweets--VmlldzoxMTY5MjI)에서 읽어보세요.
Hugging Face BERT 및 WB를 사용한 문장 분류
* 이 기사에서는 자연어 처리의 최근 혁신의 힘을 활용하여 문장 분류기를 구축하고 NLP에 대한 전이 학습 애플리케이션에 중점을 둡니다.
* 우리는 단일 문장 분류를 위해 CoLA(Corpus of Linguistic Acceptability) 데이터셋을 사용합니다. 이 데이터셋은 문법적으로 올바르거나 올바르지 않은 것으로 레이블이 지정된 일련의 문장으로, 2018년 5월에 처음 게시되었습니다.
* Google의 BERT를 사용하여 다양한 NLP 작업에서 최소한의 노력으로 고성능 모델을 만듭니다.
전체 리포트는 [여기](https://wandb.ai/cayush/bert-finetuning/reports/Sentence-Classification-With-Huggingface-BERT-and-W-B--Vmlldzo4MDMwNA)에서 읽어보세요.
Hugging Face 모델 성능 추적에 대한 단계별 가이드
* W\&B와 Hugging Face Transformers를 사용하여 BERT보다 40% 작지만 BERT 정확도의 97%를 유지하는 Transformer인 DistilBERT를 GLUE 벤치마크에서 트레이닝합니다.
* GLUE 벤치마크는 NLP 모델 트레이닝을 위한 9개의 데이터셋 및 작업 모음입니다.
전체 리포트는 [여기](https://wandb.ai/jxmorris12/huggingface-demo/reports/A-Step-by-Step-Guide-to-Tracking-HuggingFace-Model-Performance--VmlldzoxMDE2MTU)에서 읽어보세요.
HuggingFace의 조기 중단 예제
* 조기 중단 정규화를 사용하여 Hugging Face Transformer를 파인튜닝하는 것은 PyTorch 또는 TensorFlow에서 기본적으로 수행할 수 있습니다.
* TensorFlow에서 EarlyStopping 콜백을 사용하는 것은 `tf.keras.callbacks.EarlyStopping` 콜백을 사용하는 것과 간단합니다.
* PyTorch에는 즉시 사용 가능한 조기 중단 메서드는 없지만 GitHub Gist에서 작업 조기 중단 훅을 사용할 수 있습니다.
전체 리포트는 [여기](https://wandb.ai/ayush-thakur/huggingface/reports/Early-Stopping-in-HuggingFace-Examples--Vmlldzo0MzE2MTM)에서 읽어보세요.
사용자 지정 데이터셋에서 Hugging Face Transformers를 파인튜닝하는 방법
사용자 지정 IMDB 데이터셋에서 감정 분석(이진 분류)을 위해 DistilBERT Transformer를 파인튜닝합니다.
전체 리포트는 [여기](https://wandb.ai/ayush-thakur/huggingface/reports/How-to-Fine-Tune-HuggingFace-Transformers-on-a-Custom-Dataset--Vmlldzo0MzQ2MDc)에서 읽어보세요.
## 도움을 받거나 기능 요청
Hugging Face W\&B 통합에 대한 문제, 질문 또는 기능 요청이 있는 경우 [Hugging Face 포럼의 이 스레드](https://discuss.huggingface.co/t/logging-experiment-tracking-with-w-b/498)에 게시하거나 Hugging Face [Transformers GitHub 리포](https://github.com/huggingface/transformers)에 문제를 여유롭게 게시하세요.
### W\&B Run 종료(노트북 전용)
트레이닝이 Python 스크립트에 캡슐화된 경우 스크립트가 완료되면 W\&B Run이 종료됩니다.
Jupyter 또는 Google Colab 노트북을 사용하는 경우 `wandb.finish()`를 호출하여 트레이닝이 완료되었음을 알려야 합니다.
```python theme={null}
trainer.train() # 트레이닝을 시작하고 W&B에 로깅
# 트레이닝 후 분석, 테스트, 기타 로깅된 코드
wandb.finish()
```
### 결과 시각화
트레이닝 결과를 로깅했으면 [W\&B Dashboard](/ko/models/track/workspaces/)에서 결과를 동적으로 탐색할 수 있습니다. 유연하고 대화형 시각화를 통해 한 번에 수십 개의 Runs를 비교하고, 흥미로운 발견을 확대하고, 복잡한 데이터에서 통찰력을 얻는 것이 쉽습니다.
## 고급 기능 및 FAQ
### 최고의 모델을 저장하는 방법은 무엇인가요?
`TrainingArguments`를 `load_best_model_at_end=True`로 `Trainer`에 전달하면 W\&B는 가장 성능이 좋은 모델 체크포인트를 Artifacts에 저장합니다.
모델 체크포인트를 Artifacts로 저장하는 경우 [Registry](/ko/models/core/registry/)로 승격할 수 있습니다. Registry에서 다음을 수행할 수 있습니다.
* ML 작업별로 최고의 모델 버전을 구성합니다.
* Models를 중앙 집중화하고 팀과 공유합니다.
* 프로덕션을 위해 Models를 스테이징하거나 추가 평가를 위해 북마크합니다.
* 다운스트림 CI/CD 프로세스를 트리거합니다.
### 저장된 모델을 로드하는 방법은 무엇인가요?
`WANDB_LOG_MODEL`을 사용하여 모델을 W\&B Artifacts에 저장한 경우 추가 트레이닝을 위해 또는 추론을 실행하기 위해 모델 가중치를 다운로드할 수 있습니다. 이전과 동일한 Hugging Face 아키텍처에 다시 로드하기만 하면 됩니다.
```python theme={null}
# 새 Run 만들기
with wandb.init(project="amazon_sentiment_analysis") as run:
# Artifact 이름 및 버전 전달
my_model_name = "model-bert-base-high-lr:latest"
my_model_artifact = run.use_artifact(my_model_name)
# 모델 가중치를 폴더에 다운로드하고 경로 반환
model_dir = my_model_artifact.download()
# 동일한 모델 클래스를 사용하여 해당 폴더에서 Hugging Face 모델 로드
model = AutoModelForSequenceClassification.from_pretrained(
model_dir, num_labels=num_labels
)
# 추가 트레이닝 또는 추론 실행
```
### 체크포인트에서 트레이닝을 재개하는 방법은 무엇인가요?
`WANDB_LOG_MODEL='checkpoint'`를 설정한 경우 `model_dir`을 `TrainingArguments`의 `model_name_or_path` 인수로 사용하고 `resume_from_checkpoint=True`를 `Trainer`에 전달하여 트레이닝을 재개할 수도 있습니다.
```python theme={null}
last_run_id = "xxxxxxxx" # wandb Workspace에서 run_id 가져오기
# run_id에서 W&B Run 재개
with wandb.init(
project=os.environ["WANDB_PROJECT"],
id=last_run_id,
resume="must",
) as run:
# Artifact를 Run에 연결
my_checkpoint_name = f"checkpoint-{last_run_id}:latest"
my_checkpoint_artifact = run.use_artifact(my_model_name)
# 체크포인트를 폴더에 다운로드하고 경로 반환
checkpoint_dir = my_checkpoint_artifact.download()
# 모델 및 Trainer 다시 초기화
model = AutoModelForSequenceClassification.from_pretrained(
"