앞으로 한 동안 추론용 AI 반도체(NPU)가 중요한 이유 (openai의 시각으로 본)

 

 

 

 

일단 llm base model 학습에 대한 이야기는 접어두겠다.

왜냐하면 기본적으로 gpu 수백, 수천 개로 진행하는 base model 학습은 대기업이 할 수 있는 일이고,

최근에 opensource로 base model들이 잇따라 공개되면서 ai 서비스 구축이라는 측면에서,

대부분의 계층의 사람들이 base model 학습과는 거리가 멀기 때문이다.

한 마디로, 이 글에서는 ai 보급화 측면에서 이야기 한다.

 

finetuning에 대한 openai의 관점을 엿볼 수 있는 페이지가 있다.

https://platform.openai.com/docs/guides/fine-tuning

 

이 페이지에 보면

Once a model has been fine-tuned, you won't need to provide as many examples in the prompt.

라고 굵은 글씨로 써져 있는 부분을 볼 수 있다.

물론 여기서는 few-shot의 성능하락에 대한 이야기이지만,

대충 내맘대로 덧붙여서 해석해 보면, 한번 fine-tuning 되면 범용성이 떨어진다는 뜻이다.

 

또 이런 문구도 있다.

We recommend first attempting to get good results with prompt engineering, prompt chaining (breaking complex tasks into multiple prompts)

즉, 일단 prompt engineering을 먼저 시도해보고 fine-tuning을 시도하는 것을 추천한다는 것이다.

이건 성능이 좋은 llm일 수록 zero-shot, few-shot성능이 좋기 때문에 prompt engineering의 효과가 크다는 배경에서 나온 말이다.

 

이런 openai의 시각으로 미루어 보았을 때,

앞으로 ai 서비스를 만드는 데 하드웨어 쪽에서 가장 중요한 factor는 하드웨어 가속기가 추론을 잘하냐는 것이다.

 

그럼에도 로봇 ai 하시는 분들이나, management ai, 혹은 schollar, academic ai 하시는 분들은 ai에 언어적 token 뿐 아니라,

행위적 token을 추가하여 확장해야 하기 때문에 fine-tuning이 불가피하다.

 

따라서 꼭 base model 학습이 아니더라도 기술 발전 측면에서 학습용 반도체(GPU)는 정말 중요할 거 같다.