인터넷 연결이 필요 없고 결제 요금이 나가지 않는 무료 온프레미스 AI 가동을 위해, Ollama를 통해 7B 크기의 모델을 그래픽카드(VRAM 16GB) 사양에 올려 로컬 추론을 시작합니다.
DAY 2 · 7교시 · 60분
로컬 AI 인프라 구축 및 Ollama LLM 실행
➔
➔
📚1단계: 주요 개념 설명
이번 단원의 목표
내 컴퓨터 GPU에 Ollama를 가동하고 오프라인 한국어 모델 qwen2.5:7b를 적재 실행한다.
🗂️강의 슬라이드
슬라이드 1 / 10
오프라인 온프레미스 AI의 가치
- Day 2 실습의 목적은 요금 청구서가 전혀 나가지 않고, 회사 내부 정보가 밖으로 새 나가지 않는 완전한 내 컴퓨터 인프라 구축입니다.
- 로컬 모델 구동기(Ollama)를 활용하여 대본 기획 모델을 내 시스템 내부에 안착시킵니다.
🛠️2단계: 따라하기 실습
✓실습 미션 체크리스트
우측 메모리 얼로케이터 진단기에서 모델 크기와 정밀도를 조율해 보고, 16GB VRAM 메모리에 용량이 안전하게 밀착 적재되는지 냉각 효율을 확인해 보세요.
Ollama 가동 확인 명령어
# 설치된 모델 확인 ollama list # 16GB VRAM 최적화 7B 모델 다운로드 및 실행 ollama run qwen2.5:7b
💡 코딩 중 막히나요? 모범 솔루션 코드
🧩3단계: 개념 검증 퀴즈
검증 챌린지 미션
Ollama CLI 명령으로 qwen2.5:7b 모델의 적재가 정상 작동하고 포트가 대기(Listening) 상태로 진입했는지 점검합니다.
📝 객관식 개념 확인 (2문항)
Q1. 7B 모델을 4-bit로 양자화(Quantization)하면 얻는 효과는?
Q2. Ollama의 특징으로 옳은 것은?
🔬 인터랙티브 체험 (선택)— 개념을 직접 조작하며 확인해 보세요
요구 VRAM: 5.3 GBVRAM 한계선: 16 GB
🟢 VRAM 용량 안착: 100% GPU 가속화 처리가 완료됩니다!