mistral nemo 12b로 langchain agent test

 
 
 
 
mistral nemo 12b 모델은 24gb가 넘어 가기 때문에 quantized 된 모델을 사용해야 하는데,
그러려면 llama.cpp를 사용해야 하기 때문에 mistral 모델을 langchain으로 포팅하는 과정을 거쳐야 한다.
(만약 8gb 그래픽카드를 쓴다면 4bit quantized를 쓰길 바란다.)
 
얼마 전 까지 모르던 사실이 하나 있었다.
llm들은 function calling을 기본으로 지원한다는 것...
(본인은 prompt로 제대로 된 react응답을 만들어 보겠다고 삽질을 많이 했었다.)
정해진 포맷으로 function calling을 사용하면 할루시네이션이 많이 줄어든 (적어도 output json format의 할루시네이션은 없는) agent를 만들 수 있어 보인다.
 
결과는 매우 성공적이다. 단순한 작업들은 자동화가 가능해 보인다.
하지만 지능은 좋지 않다.
시킨 작업을 빼먹기도 하고,
정리하라고 하면 대부분 조사한 내용을 나열한다.
(예를 들어 날씨에 대해 조사해서 평년 보다 더운지 알려달라고 하면, 현재 날씨와 평균 날씨를 알려주고 끝낸다.)
아직 실제 function을 넣고 사용해 보지는 않아서 실제로 쓸 때 어떤 문제점이 있는 지는 모르겠다.
(아직 demo function만 넣고 써봤다.)
 
아 글카 많아서 cot 모델 학습 시키고 싶어라~~
 
https://github.com/akswnd98/mistral-nemo-12b-test

GitHub - akswnd98/mistral-nemo-12b-test