[Linux] 나만의 LLM 를 만들어 보자 (feat. Ollama)

 

안녕하세요. 주식회사 서버몬 입니다.

오늘은 오픈소스인 Ollama 를 통해 나만의 LLM 을 만들어 보겠습니다.

 

 

Ollama 란?

 

Ollama는 로컬 환경에서 쉽게 LLM을 실행하고 관리할 수 있도록 설계된 경량화된 LLM 실행 프레임워크입니다. 

쉽게 말해, 로컬 컴퓨터에서 ChatGPT 같은 AI 모델을 실행할 수 있도록 도와주는 도구 이며

GPU 가속을 활용하여 Mac, Linux, Windows 등 다양한 환경에서 쉽게 AI 모델을 실행할 수 있습니다.

 

Ollama 설치하기

다운로드 공식사이트

 

Ollama 는 다양한 운영체제를 지원하지만 본 포스팅에서는 OS 에 직접적인 설치를 진행하지 않을것 입니다.

이번에는  UI 연동과 버전 관리를 편히 하기 위해 WSL 과 docker-desktop 을 활용하여 구성 해보겠습니다.

 

 

WSL 구성

 

WSL(Windows Subsystem for Linux)은 Windows에 리눅스 운영체제를 설치할 수 있도록 도움을 줍니다.
WSL에 우분투(Ubuntu), 오픈수세(OpenSUSE), 칼리(Kali), 데비안(Debian), 등을 설치할 수 있습니다.

 

윈도우 Powershell 실행 후

wsl --install

 

기본적으로 WSL 2 와 Ubuntu 24.04 이미지와 같이 설치 됩니다.

 

wsl --list –online  명령을 통해 다른 배포판 또한 구성이 가능합니다.

 

 

Docker Destktop 설치

 

 

 

 

Docker는 애플리케이션을 컨테이너라는 독립적인 환경에서 실행할 수 있도록 해주는 가상화 기술입니다.

기존의 가상 머신(VM)과 달리, 운영 체제(OS)를 전체적으로 가상화하지 않고, 호스트 OS의 커널을 공유하면서 필요한 라이브러리와 종속성을 패키징하여 가볍고 빠르게 실행할 수 있습니다.

 

다운로드 공식 사이트

다운로드 화면에서 OS 및 CPU 아키텍쳐 구성에 맞게 설치 하도록 합니다.

 

 

Docker Desktop은 Free 계정에서 다운받아서 무료로 사용할 수 있었는데 변경된 정책이 적용되면 개인 사용자나 250인 이하 그리고 $1000만 달러미만 매출의 회사에서만 사용할 수 있게 됩니다.

이 조건을 넘어가는 회사 소속의 사용자들은 유료 플랜을 구독해야합니다.

 

Docker desktop 설치 이후에 구성된 컨테이너 구성시 WSL 를 사용하도록 설정 변경을 진행합니다.

Setting -> Resources - WSL Intergration - "구성된 WSL 시스템" 를 선택합니다.

 

GPU 가속 활성화

컨테이너 내부에서 GPU 리소스 사용을 위해서는 NVIDIA Conatiner Tookit 을 설치 해야 합니다.

 

윈도우 Powershell 실행 

WSL 커맨드로 구성된 리눅스 시스템에 접속 후

아래 커맨드를 입력하여 NVIDIA Conatiner Tookit 을 구성합니다.

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
  && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker

 

 

GPU 인식 테스트

아래 커맨드를 입력하여 GPU 가속 여부를 체크 합니다.

docker run --gpus all nvidia/cuda:11.5.2-base-ubuntu20.04 nvidia-smi

 

성공적으로 컨테이너 환경에서 GPU 리소스 사용을 활성화 했습니다.

 

Ollama & WebUI 구성

Ollama 는 기본 CLI 환경으로 구성 됩니다.

본 포스팅의 목적인 나만에 LLM 사용성이 멀어지게 되는데

이를 해소하기 위해 ChatGPT 의 UI 와 비슷한 WebUI 를 사용할 것 입니다.

 

WSL 리눅스에서 아래 명령어로 컨테이너를 구성합니다.

sudo apt install -y git
git clone https://github.com/valiantlynx/ollama-docker.git
cd ollama-docker

docker-compose -f docker-compose-ollama-gpu.yaml up -d

 

서비스 배포에 약 10분 정도 소요 되었습니다.

 

웹 브라우저로 http://localhost:8080 에 접속 합니다.

 

우리가 많이 접했던 ChatGPT  UI 와 매우 비슷한 것을 볼 수 있습니다.

 

 

 

Ollama 언어모델 구성

 

Ollama 는 다양한 대형 언어 모델을 지원합니다.

대표적인 언어 모델은 아래에서 확인 가능합니다.

모델	설명
Llama 3.3	메타 에서 만든 언어모델로 가장 대중적으로 사용가능
Mistral	Mistal AI 에서 공개한 70억 파라미터 모델
Deep Sheek	중국 Deep Sheek 에서 개발한 언어모델
Gemma	구글에서 개발한 언어모델

 

이외 에도 다양한 모델을 지원하고 , 언어 전체 목록은 https://ollama.com/library 에서 확인 할 수 있습니다.

 

 

언어 모델 다운로드

WebUI 에서도 언어 모델을 선택하고 다운로드 할 수 있습니다.

 

 

최근 이슈가 되었던 Deepseek-r1 모델과 llama3.2 모델을 다운로드 했고

2가지 언어 모델을 통해 "우분투 리눅스" 에 대해서 질문을 했습니다.

 

 

 

각기 다른 언어 모델에서 결과가 나왔고 내 PC 환경에서 LM 구성에 성공 하였습니다.

 

Ollama 와 WebUI 를 사용하여 누구나 무료로 자신의 PC 에서 강력한 LLM 을 실행할 수 있습니다.

설치와  삭제 모두 간단합니다. 또한 다양한 모델을 지원하고 커스터마이징을 할수 있어 활용 범위 또한 넓습니다.

 

Olllama 를 통해 자신만의 AI 어시스턴트를 만들어보는건 어떤가요?

코딩, 글쓰기 ,질의응답 등 다양한 분야에서 활용할 수 있습니다.

 

 

 

1U서버 / 2U서버 / AI서버 / alyac / APC / APC UPS / backup / carepack / centos / chakramax / cuda / DAS / DB / DB서버 / defog / DEFOG랙 / dell5820 / dell5820t / dell7920 / dellpoweredge / dellr240 / dellr340 / dellr350 / dellr450 / dellr540 / dellr630 / dellr640 / dellr740 / dellr750 / dellserver / dellt40 / dellt440 / dellt5820 / dell서버 / DELL서버CPU / DELL서버RAID컨트롤러 / DELL서버SAS하드디스크 / DELL서버가격비교 / DELL서버가격비교견적 / DELL서버견적 / DELL서버구매 / DELL서버디스크교체 / DELL서버메모리 / dell서버서버몬 / DELL서버펌웨어 / DELL서버하드디스크구매 / dell옵션 / dell워크스테이션 / dl20 / dl20gen10 / dl20gen11 / dl360 / dl360gen10 / dl360gen11 / dl380 / dl380g10 / dl380gen10 / dl380gen11 / ECC메모리 / EDFOG랙가격 / embedded / est security / ESTSOFT / FIRMWARE / GPU / gpu서버 / gpu타워형서버 / greenlake / HA솔루션 / HP GPU / hp hdd / hpdl20 / HPDL20Gen10 / hpdl360 / hpdl360gen10 / hpdl380 / hpdl380g10 / HPDL380Gen10 / HPE / HPE GPU / hpe hdd / hpe rok / HPE Service Pack for Proliant / HPE SPP / hpe ssa / hpedl20 / hpedl20gen10 / hpedl360gen10 / hpe서버 / HPE서버CPU / HPE서버RAID컨트롤러 / HPE서버SAS하드디스크 / HPE서버가격비교 / HPE서버가격비교견적 / HPE서버견적 / HPE서버구매 / HPE서버드라이버설치 / HPE서버디스크교체 / HPE서버메모리 / HPE서버비용 / hpe서버소음 / HPE서버펌웨어 / HPE서버하드디스크구매 / hpe옵션 / hpe정품 / hpgen10 / hpml30 / hpserver / hpz2 / hpz4 / hpz4g4 / hpz6g4 / hpz8g4 / hp마이크로서버 / hp서버 / hp서버cto / hp서버pc / HP서버메모리 / hp서버소음 / hp서버컴퓨터 / HP서버파워 / HP서버펌웨어 / HP서버하드디스크 / hp옵션 / hp워크스테이션 / hp정품 / hp프로라이언트 / HYPER BACKUP / ibm서버 / ilo / Intelligent Provisioning / internetdisk / KVM / KVM 기술지원비(비용) / KVM 설치비 / L2스위치 / L3스위치 / LENONO서버SAS하드디스크 / lenovop620 / lenovor650 / LENOVO서버 / LENOVO서버CPU / LENOVO서버RAID컨트롤러 / LENOVO서버가격비교 / LENOVO서버가격비교견적 / LENOVO서버견적 / LENOVO서버구매 / LENOVO서버디스크교체 / LENOVO서버메모리 / LENOVO서버하드디스크구매 / LENOVO펌웨어업데이트 / Linux / ML30 / ml30gen10 / ml30gen11 / ML350GEN10 / ml350gen11 / ML360 / MS CSP / MSSQL / MSSQL 기술지원비(비용) / MSSQL 설치비 / MYSQL / MySQL 기술지원비(비용) / MySQL 설치비 / NAS / NVIDIA / Office 365 / oneview / orange / OS설치 / PA-410 / PA-440 / paloalto / poweredger740 / poweredger750 / precision5820 / QUADRO / r240 / r250 / r340 / r360 / r440 / r550 / r650 / r660 / r740 / r750xs / r760 / r760xs / RAID / redhat / RHEL설치 / RMS랙 / rocky / s100i / securedisk / server / serverpc / smart storage administrator / SPP / sql server / sr250 / sr650 / SYNOLOGY / SYNOLOGY나스 / t150 / t360 / UPS / UPS기술지원 / UPS납품 / UPS설치 / V3 / veeam / vroc / windows server / Windows서버설치 / XEON서버 / z8g4 / 가상서버 / 가성비서버 / 기술지원비(비용) / 나스기술지원 / 나스설치지원 / 네트워크스위치 / 네트워크장비 / 더블테이크 / 데이터베이스 / 델5820 / 델서버 / 델서버비용 / 델서버펌웨어업데이트 / 델옵션 / 델워크스테이션 / 델컴퓨터워크스테이션 / 디포그 / 디포그랙 / 디포그랙가격 / 딥러닝 / 딥러닝pc / 딥러닝서버 / 랙 / 랙(RACK) 기술지원비(비용) / 랙(RACK) 설치비 / 랙납품설치 / 랙설치 / 레노버p620 / 레노버서버 / 레노버워크스테이션 / 레노보서버 / 레노보서버펌웨어 / 레드헷설치 / 레이드 / 레이드구성 / 록키리눅스 / 리눅스 / 리눅스 기술지원비(비용) / 리눅스 설치비 / 리눅스서버 / 리눅스서버설치 / 리눅스서버트러블슈팅 / 리눅스트러블슈팅 / 문서보안 / 문서중앙화 / 미니서버 / 미니서버랙 / 미니서버렉 / 미디어서버 / 방화벽 / 방화벽 기술지원비(비용) / 방화벽 설치비 / 방화벽엔지니어 / 백업 / 백업 기술지원비(비용) / 백업 서버 / 백업서비스 / 백업솔루션 / 보안솔루션 / 보안솔루션구매 / 보안솔루션설치 / 보안툴 / 빔백업 / 샤크라맥스 / 서버 / 서버 기술지원비(비용) / 서 버 랙마운트비용 / 서버 설치비 / 서버 장애조치비용 / 서버CPU / 서버MEMORY / 서버OS설치 / 서버pc / 서버가격 / 서버가속기 / 서버견적 / 서버교체 / 서버구매 / 서버구입 / 서버구축 / 서버기술지원 / 서버납품 / 서버디스크장애처리 / 서버랙 / 서버렉 / 서버렉마운트 / 서버메모리 / 서버 몬 / 서버몬기술지원 / 서버백업 / 서버보안 / 서버부품 / 서버엔지니어 / 서버옵션 / 서버용GPU / 서버용PC / 서버용그래픽카드 / 서버용메모리 / 서버 / 컴퓨터 / 서버용하드디스크 / 서버재고 / 서버컴 / 서버컴퓨터 / 서버트러블슈팅 / 서버판매 / 서버하드 / 서버호스팅 / 스위치 / 스위치 기술지원비(비용) / 스위치 설치비 / 스토리지 / 스토리지 기술지원비(비용) / 스토리지 랙마운트비용 / 스토리지 설치비 / 스토리지 장애조치비용 / 스토리지납품설치 / 스토리지서버 / 시놀로지DS918 / 시놀로지HyperBackup / 시놀로지나스 / 시놀로지나스백업 / 시놀로지하이퍼백업 / 시큐어디스크 / 안랩 / 알약 / 앱서버 / 오피스 365 / 우분투설치 / 워크스테이션 / 워크스테이션pc / 워크스테이션컴퓨터 / 윈도우서버 / 윈도우서버2016 / 윈도우서버2019 / 윈도우서버2022 / 윈도우서버설치 / 윈도우서버컴퓨터 / 윈도우서버트러블슈팅 / 윈도우즈 기술지원비(비용) / 윈도우즈 설치비 / 이스트소프트 / 이스트 시큐리티 / 이중화솔루션 / 이중화솔루션구매 / 이중화솔루션설치 / 인터넷디스크 / 임베디드 / 저가서버 / 저렴한서버 / 정품서버 / 정품서버옵션 / 제온서버 / 젠서버 / 중고서버 / 중고워크스테이션 / 카보나이트 / 카스퍼스키 / 컴퓨터서버 / 케어팩 / 타워서버 / 타워형서버 / 팔로알토 / 페도라설치 / 프로라이언트