local LLM Agent 배포

 

 

 

 

agent를 구현하기 위한 많은 local환경 내에서 self hostable한 tool, toolkit들이 docker로 배포 되고 있다.

당연한 현상이라고 생각한다.

vllm도 docker로 배포할 수 있는데, 나중에 llm agent를 배포할 일이 있다면 중간 레이어에 docker를 도입해야 겠다.