transformers로 model loading 할 때 gpu vram이 model size 보다 큰데 cuda memory out이 발생할 경우

 

 

 

 

AutoModelForCausalLM.from_pretrained('../Meta-Llama-3-8B-Instruct', torch_dtype=torch.bfloat16).to(device)

 

이렇게 datatype을 직접 지정해 주자. meta-llama-3-8b-instruct 모델의 경우 기본 타입이 bfloat16 이다.