DAY 2 · 9교시 · 60분

온프레미스 AI와 '모델 선택'의 기준

➔
➔

📚1단계: 주요 개념 설명

이번 단원의 목표

클라우드 대신 내 컴퓨터로 AI를 돌리는 이유와 한계를 이해하고, 이후 4대 생성기술에서 반복해 쓸 모델 선택 6가지 기준과 모델카드 읽는 법을 익힌다.

🗂️강의 슬라이드
슬라이드 1 / 10

Day 2 — 이번엔 '내 컴퓨터'로 만든다

이번엔 '내 컴퓨터'로 만든다☁️ 클라우드1일차💻 로컬 AI2일차⭐
  • 1일차엔 클라우드 AI로 만들었다면, 2일차엔 같은 기능을 내 컴퓨터 안의 무료·오프라인 AI로 다시 만듭니다.
  • 큰 그림은 똑같습니다 — 입력 → 서버 → AI → 결과. 바뀌는 건 'AI가 어디서 도느냐'뿐입니다.
  • 그래서 오늘의 핵심 질문은 '어떤 AI 모델을, 왜 고르느냐'입니다.

🛠️2단계: 따라하기 실습

🛠 따라 만들기 · AI 바이브 코딩
모델 선택 준비 — 16GB 메모리 계산기 만들기

Day 2 내내 쓸 도구를 먼저 준비합니다: 모델이 16GB에 올라갈지 가늠하는 '메모리 계산기'와, 고르기 전에 확인하는 '모델카드 읽기'. Kiro(키로)로 따라 만들고, 막히면 아래 완성 코드를 붙여넣으세요.

🎯 완성 결과: 모델 크기·양자화 비트를 넣으면 필요 메모리와 16GB 적재 여부를 알려 주는 파이썬 계산기
1파이썬 실행 확인

계산기를 돌릴 환경을 점검합니다.

▶ 터미널에서 실행
python3 --version
💡 핵심 코드 설명
  • 버전이 출력되면 준비 완료입니다(없으면 강사 안내로 설치).
  • 오늘 코드는 짧아서, 개념을 손으로 확인하는 데 초점을 둡니다.
2메모리 계산 함수 만들기

'이 모델, 16GB에 올라갈까?'를 코드로 답합니다.

🤖 AI에게 이렇게 시켜보세요

파이썬으로 파라미터 수(단위 B)와 양자화 비트를 받아 필요 VRAM을 대략 계산하는 함수를 만들어줘. 공식은 파라미터수 × (비트/8) × 1.2 이고, 결과가 15GB 미만이면 '16GB OK', 아니면 '빠듯/불가'를 함께 출력해줘.

💡 핵심 코드 설명
  • 가중치 용량 ≈ 파라미터수 × (비트/8) 바이트, 여기에 실행 여유 20%를 더합니다.
  • Qwen3.5 4B·4비트를 넣으면 약 2.4GB → '16GB OK'가 나오는지 확인해 보세요.
3모델카드 3줄 읽기

실행 전에 확인할 세 가지를 몸에 익힙니다.

💡 핵심 코드 설명
  • 모델 배포 페이지에서 ① 크기(파라미터) ② 양자화/파일 크기 ③ 라이선스를 찾아 읽습니다.
  • 이 세 줄만 봐도 '16GB에서 도는지, 상업적으로 써도 되는지'를 판단할 수 있습니다.
🎯 스스로 해볼 미션
0 / 2 완료
'이 모델 16GB에 될까?' 스스로 판단하기

만든 계산기로 여러 모델을 직접 따져 보며, 모델카드 읽는 감을 기릅니다.

출발점(강사와 함께 만든 것): 강사와 함께 VRAM 계산기(파라미터 × 비트/8 × 여유)를 만들었다.
✅ 완료 기준: 임의 모델이 16GB에 올라갈지 근거를 들어 판단하면 성공.
✓실습 미션 체크리스트
1개념 직관

Day 2의 문을 여는 교시입니다. 무료·오프라인·보안이라는 온프레미스의 가치와, 16GB Mac이라는 현실적 제약을 짚습니다. 그리고 앞으로 텍스트·오디오·이미지·비디오 모델을 고를 때마다 꺼내 쓸 '모델 선택 6가지 기준'을 세웁니다. 온프렘의 진짜 실력은 '돌렸다'가 아니라 '왜 이 모델인지 설명할 수 있다'입니다.

2실습 미션

우측 '모델 선택 도우미'에서 만들 서비스의 조건(작업 종류·속도·품질·메모리)을 바꿔 보고, 어떤 후보 모델이 16GB에 적합한지 비교 매트릭스로 확인해 보세요.

16GB 적재 가늠 계산기
# 파라미터 수(B) x (비트/8)에 여유 20%를 더해 대략 계산
def vram_gb(params_billion, bits=4):
    return round(params_billion * (bits / 8) * 1.2, 1)

print("Qwen3.5 4B Q4 ->", vram_gb(4, 4), "GB")   # 약 2.4GB -> 16GB OK
print("FLUX schnell Q4 ->", vram_gb(12, 4), "GB")  # 약 7.2GB(+런타임) -> 주의

💡 코딩 중 막히나요? 모범 솔루션 코드

🧩3단계: 개념 검증 퀴즈

검증 챌린지 미션

모델 선택 6가지 기준을 말할 수 있고, 임의의 모델카드(크기·양자화·라이선스)를 보고 16GB에서 돌아갈지 대략 판단할 수 있는지 점검합니다.

📝 객관식 개념 확인 (2문항)

Q1. 온프레미스(로컬) AI의 가장 큰 '한계'는 무엇인가?

Q2. '8B 모델을 4비트로' 올릴 때 필요한 메모리를 대략 계산하면?

🔬 인터랙티브 체험 (선택)— 개념을 직접 조작하며 확인해 보세요

만들 서비스의 조건을 고르면 4대 기술의 추천 모델 조합이 바뀝니다. 아래에서 기술별 후보를 6가지 기준으로 비교해 보세요.

크기·속도·품질·라이선스의 균형. 우리 실습의 기본 조합.
텍스트
Qwen3.5 4B
오디오
Qwen 0.6B TTS
이미지
FLUX.1-schnell
비디오
이미지+합성
Qwen3.5 4B
/think로 논리 조절. 대본 기본값
메모리
~2.5GB(Q4)
속도
보통
품질/라이선스
상 · 한국어·추론↑
오픈
16GB OK
Gemma4 E4B
가볍고 지시이행이 깔끔
메모리
~3GB
속도
빠름
품질/라이선스
중상 · 톤 깔끔
오픈
16GB OK
Llama 3.x 8B
도구 생태계가 가장 넓음
메모리
~5GB(Q4)
속도
보통
품질/라이선스
중상 · 추론모드 없음
오픈
16GB OK
💡 판단 기준 6가지: 크기 · 양자화 · 16GB 적재 · 속도 · 품질 · 라이선스. 순차 실행이므로 메모리 관건은 합계가 아니라 가장 큰 단일 모델입니다.
다음 교시로 이동하기 (10교시: 텍스트 생성: 로컬 LLM(Qwen3.5) 실행과 모델 비교) ➡️