New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

torch의 DDP를 이용하여, huggingface의 kogpt2를 파인튜닝하면 GPU들에서 메모리 불균형이 일어납니다. #57

Open

TheDarkKnight-21th opened this issue Jan 30, 2024 · 0 comments

TheDarkKnight-21th commented Jan 30, 2024 •

edited

Loading

torch의 DDP를 이용하여, huggingface의 kogpt2를 파인튜닝하면 GPU들에서 메모리 불균형이 일어납니다.

torch의

DistributedDataSampler로 데이터 셋을 감싸줬고, DDP를 이용해서 학습을 시키면 메모리 불균형이 일어납니다.

왜 일까요?

GPU는 RTX 4090 (24GB) 2대로 학습을 진행했습니다.

스크린샷 2024-01-31 001621

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment