카테고리 없음
local LLM Agent 배포
성난붱이
2025. 2. 14. 19:19
agent를 구현하기 위한 많은 local환경 내에서 self hostable한 tool, toolkit들이 docker로 배포 되고 있다.
당연한 현상이라고 생각한다.
vllm도 docker로 배포할 수 있는데, 나중에 llm agent를 배포할 일이 있다면 중간 레이어에 docker를 도입해야 겠다.