llama-cpp-python 설치

 

 

 

 

llama-cpp-python은 pip로 install 과정에는 cmake와 visual studio build tools나 mingw로 바이너리를 빌드하는 과정이 있다.

따라서 빌드를 위한 환경설정에 유의해서 설치해야 한다.

 

설치 과정

1. visual studio 설치를 켜고, c++를 사용한 데스크톱 개발에 들어가서 각종 빌드 도구들을 설치해 준다.

 

2. cuda를 설치한다. cuda를 설치할 때 지원하는 cuda 버전을 확인해야 한다.

 

2. set "CMAKE_ARGS=-DGGML_CUDA=on" 를 터미널에 입력해서, cuda를 사용하겠다고 명시한다.

 

3. pip install --upgrade --force-reinstall --no-cache-dir llama-cpp-python 를 실행한다.

다음과 같이 pre-built wheel을 통한 설치를 진행할 수도 있다.

pip install llama-cpp-python --extra-index-url https://abetlen.github.io/llama-cpp-python/whl/cu124 --upgrade --force-reinstall --no-cache-dir

 

만약 OSError, 잘 못된 memory 주소 참조 같은 에러가 뜬다면, python 버전을 3.11로 바꿔보길 바란다.
분명 공식 홈페이지에는 3.12로 잘 된다고 적혀 있지만, 잘 안되는 경우가 있다.