Llama 로컬 실행 전에 확인할 것: 모델 선택, 양자화, 라이선스

Llama는 Meta가 가중치를 공개해 내려받아 쓸 수 있게 한 모델 계열입니다

Llama는 Meta가 운영하는 공개 가중치 언어 모델 계열입니다. 2023년 초 연구 커뮤니티에 모델을 공개하며 시작했고, 이후 코드 특화 변형인 Code Llama와 Llama 3.x, Llama 4로 이어졌습니다. 모델을 내려받아 자기 서버나 노트북에서 돌리고 LoRA 같은 방식으로 조정할 수 있다는 점이 API 전용 모델과 가장 크게 갈리는 지점입니다.

Llama 4 기준으로 공개된 변형은 Scout와 Maverick이고, Behemoth는 교사 모델로 미리 공개된 상태라고 공개 기술 정보를 모아 정리한 문서가 설명합니다. 이 글은 기간 내 변경 사항을 나열하기보다, 지금 시점에서 실무자가 판단할 수 있는 근거를 모았습니다. 구조 설명은 그 정리 문서와 Llama 기반 후속 연구 초록에 기대고 있으므로, 세부 사양과 최신 조건은 공식 모델 카드와 라이선스 원문으로 마지막에 맞춰 보시기 바랍니다.

급상승 신호는 새 버전 소식보다 로컬 실행과 경량화 관심에서 나옵니다

Muckle 레이더 기준 Llama의 신호 점수는 66.5/100으로 급상승 단계입니다. 최근 7일 언급은 5건으로 직전 7일의 1건에서 늘었고 30일 누적은 6건입니다. 최근 7일에 회자한 채널은 4곳, 회자한 사람·사이트는 5곳이며 직전 7일에는 1곳이었습니다. 처음 포착된 날짜는 2024-06-02이고 논문 추천 수는 9입니다.

절대량이 작아서 몇 건만 더해져도 증가율이 크게 튀는 구간이라는 점은 감안해야 합니다. 그래도 어떤 글이 붙었는지는 읽을 만합니다. 최근 언급된 글은 4비트 양자화, GGUF 변환, 1GB급 VRAM 서버 구성, 맥에서의 로컬 실행, 에이전트 운영 비용 절감 쪽에 몰려 있고 새 모델 공개를 다룬 글은 두드러지지 않습니다. 개발자 커뮤니티 반응을 분석해 보면 관심의 중심은 무엇이 새로 나왔느냐보다 이미 나온 Llama를 내 장비에서 싸게 돌리는 방법에 있다고 읽는 편이 자연스럽습니다. 논문 쪽에서도 Llama 3.1 8B가 양자화, 미세조정, 안전성 평가의 기준 모델로 반복해서 쓰입니다.

Scout는 전문가 혼합 구조와 초기 융합 멀티모달, 긴 문맥 설계를 앞세웁니다

정리 문서에 따르면 Llama 4 Scout는 라우팅 전문가와 공유 전문가를 함께 두는 전문가 혼합(MoE) 구조, 텍스트와 이미지를 처음부터 함께 다루는 초기 융합 멀티모달, iRoPE를 포함한 긴 문맥 설계가 보고된 요소입니다. 후반 학습은 경량 SFT, 온라인 강화학습, 경량 DPO 순으로 기술됩니다. 전문가 수나 활성 파라미터 규모 같은 세부 수치는 해당 정리에 없으므로 이 글에서는 적지 않습니다.

Scout의 문맥 길이는 제3자 논문이 최대 1,000만 토큰으로 인용합니다. 다만 모델이 이론상 받을 수 있는 길이와 서비스 제공자가 실제로 열어 두는 한도는 별개이고, 제공자마다 컨텍스트 한도와 양자화 패키징 방식이 다르다고 정리 문서는 설명합니다. 긴 문서나 긴 대본을 통째로 넣을 계획이라면 쓰려는 제공자의 실제 한도부터 확인해야 합니다.

파생 모델도 구분해 두는 편이 좋습니다. NVIDIA의 Llama-Nemotron은 Llama 3에서 출발해 채팅 모드와 추론 모드를 추론 시점에 전환하는 기능을 내세우지만, 이는 NVIDIA가 만든 파생 모델의 기능이며 Meta가 공식 발표한 Llama 기능이 아닙니다.

제작 현장에서는 텍스트 구조화와 보조 에이전트에 먼저 붙입니다

Llama는 텍스트 중심 모델이라 이미지나 영상을 직접 만들지는 않습니다. 디자인, 영상, 3D 작업에서는 생성 도구 앞뒤의 텍스트 작업을 맡기는 쓰임이 현실적입니다. 아래는 보고된 사례를 바탕으로 Muckle이 구성한 작업 흐름입니다.

영상 컷 리스트 정리. 촬영 메모나 대본 초안을 넣고 장면 번호, 길이, 필요한 소스를 JSON으로 뽑게 합니다. 금융 거래 문자열에서 가맹점 정보를 추출하는 운영 시스템이 LoRA로 조정한 Llama 3.1 8B로 F1 96.95%를 기록했다는 보고가 있어, 형식이 정해진 추출 작업은 8B급에서도 승산이 있다는 방향을 시사합니다. 같은 보고에서 LoRA rank 8로 재현한 결과는 96.75%로 기준보다 0.20점 낮았습니다. 작은 설정으로도 큰 손실 없이 맞춰 볼 수 있다는 뜻입니다.

3D 에셋 라이브러리 태깅. 파일명과 설명 문구를 일관된 태그 체계로 바꾸는 일은 정답을 판정하기 쉬워 평가가 간단합니다. 샘플 100건쯤을 직접 정답지로 만들어 두고 모델 크기와 양자화 형식을 바꿔 가며 같은 조건에서 비교하면 됩니다.

디자인 카피와 프롬프트 변형. 같은 브리프에서 톤만 바꾼 카피 여러 벌을 만들거나 이미지 생성 도구용 프롬프트를 다듬는 용도입니다. 영어 합성 우화를 대량 생성한 연구에서 8B Llama 3 변형이 24GB 미만 VRAM의 소비자 GPU 한 대로 1,000편당 약 13.5센트였다고 보고합니다. 다만 영어 과제이고 GPT 기반 평가자가 섞여 있으며 비용 산정 근거가 공개되어 있지 않아, 한국어 초안의 품질이나 실제 제작비로 옮겨 읽으면 안 됩니다.

보조 에이전트. 파일 정리나 렌더 큐 점검처럼 권한을 제한한 업무 자동화에도 쓰입니다. 이때는 뒤에서 다룰 안전성 문제를 먼저 점검해야 합니다.

전문 분야 코드를 맡길 때는 주의가 필요합니다. Llama 3.1 405B 실험에서 단순 알고리즘과 자료구조 문제는 잘 풀었지만 양자컴퓨팅, 생물정보학, AI 문제에서는 어려움을 보였다는 소규모 보고가 있습니다. 셰이더나 렌더링 수식처럼 전문성이 높은 코드는 사람이 검토하는 단계를 두는 것이 안전합니다.

대안과의 비교는 과제와 학습 설정에 따라 결과가 엇갈립니다

표에서 읽을 수 있는 것은 우열이 아니라 조건 의존성입니다. 금융 추출에서는 두 계열의 차이가 0.35점에 그쳤고, Countdown에서는 같은 연구 안에서도 학습 설정에 따라 순위가 뒤집혔습니다. 한국어 용도라면 파생 모델 점수를 그대로 믿기보다 자기 작업 샘플로 같은 조건에서 비교하는 쪽이 정확합니다.

양자화는 메모리를 줄이는 대신 품질을 내놓는 거래입니다

로컬 실행의 핵심은 양자화입니다. Llama 3 저비트 양자화를 1~8비트에서 10개 기법으로 평가한 연구는 특히 초저비트에서 무시하기 어려운 성능 저하가 남는다고 보고합니다. 반대로 Llama 3.2 3B를 4비트로 양자화해 GGUF로 바꾸면 모델 크기가 68.66% 줄고 안드로이드의 Termux와 Ollama에서 실행했다는 사례도 있습니다. 이 사례는 품질을 정성적으로만 확인했고 기기 사양과 속도 수치가 없어서, 어떤 폰에서 쓸 만하다는 보증으로는 읽을 수 없습니다.

메모리 계획에서는 가중치 못지않게 KV 캐시를 봐야 합니다. 문맥이 길어질수록 캐시가 커지기 때문입니다. SwiftKV 연구는 변환과 증류를 거친 Llama 3.1 8B·70B에서 프리필 계산량을 50%, KV 캐시 메모리를 62.5% 줄였다고 보고하지만, 처리량 예시는 4대의 H100과 vLLM 조건이라 개인 장비에 옮길 수 없습니다. 긴 시퀀스 학습도 별개 문제여서, Llama 8B를 기본 설정으로 32K 초과 시퀀스에 학습하면 H100 80GB에서도 메모리 부족이 났다는 보고가 있습니다.

1GB VRAM에서 4비트 Llama를 돌린다는 글이 늘고 있지만, 공개된 측정 자료에서 그 조건의 실행 결과는 확인되지 않습니다. llama.cpp 양자화 형식을 Llama 3.1 8B Instruct에서 3~8비트로 비교한 연구도 있으나, 확인 가능한 범위에는 형식별 결과 수치가 없어 특정 형식을 추천하기 어렵습니다.

라이선스, 안전성, 비용을 배포 전에 따로 점검해야 합니다

라이선스. Llama 4 정리 문서는 재배포와 파생 모델 명명에 관한 의무가 있다고 요약하지만 조항 내용은 싣지 않았습니다. Code Llama가 연구와 상업적 이용을 모두 허용하는 라이선스로 공개됐다는 2023년 초록이 있어도, 현행 버전에 그대로 적용된다고 볼 근거는 아닙니다. 쓰려는 버전의 라이선스 원문과 사용 정책을 직접 읽고, 파생 모델을 배포한다면 명명 조건까지 확인하십시오. Llama-Nemotron이나 DNA 1.0은 각자 별도 라이선스를 따릅니다.

안전성. 공개 가중치는 안전 미세조정의 한계가 지적돼 왔습니다. Llama 2-Chat 13B의 안전 미세조정을 200달러 미만으로 되돌릴 수 있다는 2023년 보고가 있고, Llama 3.1 70B 에이전트 시험에서는 채팅용 안전 훈련이 에이전트 행동으로 잘 일반화되지 않았다고 합니다. 2026년 연구는 네 모델 중 Llama 3.1 8B가 활성화 조향에 가장 취약했고 Gemma 3 27B와 Qwen3.5는 프롬프트 방식에 더 취약했다고 보고합니다. 모두 특정 버전과 소규모 시험의 결과라 계열 전체의 순위로 확대할 수 없지만, 에이전트에 파일 삭제나 외부 전송 같은 권한을 줄 때 별도 시험이 필요하다는 점은 분명합니다.

비용과 사양. 자체 호스팅은 API 요금이 없는 대신 GPU, 전력, 운영 인력이 듭니다. 금융 추출 연구도 8B 모델의 메모리, 지연, 비용 부담을 언급합니다. 앞서 본 수치들은 대부분 저자 보고이며 서로 다른 하드웨어와 런타임에서 나왔으므로, 내 장비에서 직접 재는 값이 가장 믿을 만합니다.

시작은 모델 하나와 평가 샘플 100건으로 좁혀서 합니다

1. 작업을 하나 고릅니다. 컷 리스트 JSON 추출이나 에셋 태깅처럼 정답을 판정할 수 있는 일이 좋습니다.
2. 평가용 샘플을 직접 만듭니다. 한국어 입력과 기대 출력을 쌍으로 모읍니다.
3. 크기와 양자화 형식을 정합니다. 8B급 모델에서 4비트와 8비트를 나란히 놓고 시작하면 품질 손실을 가늠하기 쉽습니다.
4. 런타임을 정합니다. llama.cpp나 Ollama는 개인 장비에서, vLLM은 서버에서 흔히 쓰이는 선택입니다.
5. 정확도, 지연, 메모리 사용량을 같은 샘플로 기록하고, 부족하면 LoRA 조정을 검토합니다. rank를 낮춰도 손실이 작았다는 사례가 있으니 작은 설정부터 시험해 볼 수 있습니다.
6. 내려받기 전에 라이선스와 사용 정책을 읽고, 에이전트로 쓸 때는 권한을 최소로 줍니다.

공식 사이트에서 모델 목록과 라이선스, 모델 카드를 확인한 뒤 위 순서를 밟으면 됩니다.