Stable Diffusion 3.5 실무 정리: 모델 세 종과 편집 도구 활용법

Stable Diffusion은 생성 모델과 편집 도구가 묶인 제품군입니다

Stable Diffusion은 Stability AI가 내놓는 이미지 생성 모델 계열이고, 같은 곳에서 제공하는 이미지 편집·업스케일·제어 도구까지 포함해 Stable Image라는 이름으로 소개됩니다. 공식 제품 페이지는 Stable Diffusion 3.5를 "지금까지 가장 강력한 이미지 모델"로 내세우며, 모델을 Large, Turbo, Medium 세 가지로 나눠 놓았습니다. 이전 세대인 Stable Diffusion XL과 그 증류 버전인 XL Turbo도 추가 모델로 함께 올라 있습니다.

실무자에게 중요한 점은 이것이 단일 앱이 아니라는 사실입니다. 같은 모델을 내 서버에 올릴 수도 있고, API로 붙일 수도 있고, 웹 기반 창작 도구에서 바로 쓸 수도 있습니다. 어떤 경로를 고르느냐에 따라 비용 구조와 통제권이 달라지므로, 모델 이름보다 배포 방식을 먼저 정하는 편이 시행착오를 줄입니다.

언급이 짧은 기간에 몰린 이유는 로컬 실행과 편집 워크플로 이야기가 겹쳤기 때문입니다

Muckle 레이더의 신호 점수는 92.6/100으로 단계는 '과열'입니다. 최근 7일 언급은 20건으로, 그 전 7일의 3건에서 크게 늘었고 30일 누적은 23건입니다. 회자한 채널은 6곳, 회자한 사람·사이트는 19곳으로 직전 주의 3곳에서 늘었습니다. 처음 포착된 시점은 2024-07-04입니다. 절대 건수가 크지 않으니 대중적 폭발이라기보다 한 주 사이에 이야기가 한꺼번에 붙었다고 읽는 편이 정확합니다. 과열이라는 단계 표시도 규모보다 증가 속도를 반영한 값입니다.

최근 언급된 글의 주제를 Muckle 분석으로 묶어 보면 몇 갈래가 보입니다. 하나는 로컬 실행입니다. 그래픽카드를 살지 빌릴지, 구형 GPU에서 어디까지 돌아가는지, 로컬에서 영상까지 가능한지를 묻는 글이 많습니다. 다음은 작업 도구 쪽 이야기로, LoRA 학습으로 캐릭터 일관성을 유지하는 법, 노드 기반 워크플로 도구에서의 적용, 네거티브 프롬프트의 원리 같은 주제입니다. 마지막은 윤리와 권리입니다. 생성 이미지의 소유권, 소수자 과소대표 같은 편향 논의가 함께 올라옵니다. 공식 페이지에서 확인되는 최신 라인업은 3.5 계열이므로, 이번 급증을 특정 신규 출시와 연결할 근거는 공식 문서 기준으로 없습니다. 기존 모델을 둘러싼 실무 논의가 한 주에 모인 현상으로 보는 것이 안전합니다.

모델 세 종과 편집 도구가 핵심 구성입니다

공식 페이지가 밝히는 3.5의 강점은 세 가지입니다. 3D, 사진, 회화, 라인 아트 등 폭넓은 스타일 생성, 훨씬 큰 모델에 견줄 만하다고 주장하는 프롬프트 충실도, 그리고 세계 각지의 인물과 장면을 반영하는 출력 다양성입니다. 프롬프트 충실도는 업체가 내세우는 설명이며 수치 비교는 페이지에 제시되어 있지 않습니다.

모델별 성격은 다음과 같습니다.

편집과 제어 도구는 이미지 생성과 별개로 묶여 있습니다. 편집 쪽에는 객체 지우기, 인페인트, 아웃페인트, 배경 제거, 검색 후 색 바꾸기, 검색 후 교체, 배경 교체와 재조명이 있습니다. 업스케일은 Creative, Conservative, Fast 세 방식이고, 제어 도구는 스케치, 구조, 스타일로 구성됩니다. 모두 업로드한 이미지와 생성한 이미지에 적용할 수 있다고 소개됩니다.

작동 원리는 공개 연구에서 설명하는 방식을 참고할 수 있습니다. 한 연구는 Stable Diffusion이 픽셀 공간이 아니라 VQGAN을 거친 잠재 공간에서 확산을 학습해 효율과 품질을 챙기고, 인페인팅과 국소 편집에도 쓰인다고 설명합니다. 텍스트 프롬프트는 CLIP으로 인코딩된다는 설명도 있습니다. 다만 이 서술은 연구가 다룬 구버전 기준이며, 3.5의 내부 구조를 확정하는 자료는 아닙니다.

디자인·영상·3D 작업에서는 생성보다 편집 도구 조합이 효율을 좌우합니다

디자인 시안 작업. 브랜드 캠페인 시안을 만든다고 가정하면, 먼저 Turbo로 구도와 분위기를 빠르게 여러 장 뽑아 방향을 좁힙니다. 방향이 정해지면 같은 프롬프트를 Large로 올려 최종 후보를 만들고, 러프 스케치가 있다면 스케치 제어로 구도를 고정한 채 질감과 색을 입힙니다. 제품 색상 변형은 검색 후 색 바꾸기, 소품 교체는 검색 후 교체로 처리하면 전체를 다시 생성하지 않아도 됩니다. 마지막에 Conservative 업스케일로 원본 인상을 지키며 해상도를 올리는 순서가 무리가 없습니다.

영상 사전 제작. 3.5는 공식 페이지에서 이미지 모델로 소개되므로 영상 자체를 만드는 도구로 보면 안 됩니다. 영상 팀에게는 스토리보드와 키프레임 제작이 현실적인 쓰임입니다. 한 장면의 기준 이미지를 만든 뒤 스타일 제어로 다른 컷에 같은 화풍을 입히고, 배경 교체와 재조명으로 같은 인물을 여러 시간대에 놓아 보는 식입니다. 이 키프레임을 영상 생성 도구의 시작 이미지로 넘기는 작업은 가능하지만, 그 단계의 품질은 별도 도구에 달려 있습니다. 컷 사이 인물 일관성은 LoRA 학습 같은 추가 작업이 필요해지는 영역으로, 실무자들 후기에서 반복되는 고민이기도 합니다.

3D 작업 보조. 공식 설명에 3D 스타일 생성이 포함되어 있으니 3D 제작 전 단계의 컨셉 아트와 참고 이미지에 유용합니다. 캐릭터 정면·측면 컨셉을 뽑고, 배경 제거로 깨끗하게 분리해 모델러에게 넘기거나, 질감 레퍼런스를 구조 제어로 형태를 맞춰 만드는 흐름이 가능합니다. 다만 3D 메시를 직접 생성한다는 설명은 공식 페이지에 없으므로, 이미지에서 3D로 가는 단계는 다른 도구를 써야 합니다.

개발자 통합. 앱에 이미지 생성이나 편집 기능을 넣는다면 API가 가장 빠른 경로입니다. 인페인트, 업스케일, 배경 제거를 엔드포인트별로 호출하는 구조라 사용자가 올린 사진을 가공하는 서비스에 어울립니다. 자체 인프라에서 돌려야 하는 사정이 있으면 자가 호스팅 라이선스로 배포하고 파인튜닝이나 LoRA를 얹는 방식을 택하게 됩니다.

대안은 같은 패밀리 안에서 고르고, 외부 모델과는 직접 비교해야 합니다

위 표처럼 패밀리 안의 선택지는 속도, 품질, 요구 사양의 균형으로 갈립니다. 속도 개선 연구도 참고할 만합니다. LCM-LoRA 연구는 SD v1.5, SSD-1B, SDXL에 적용한 증류 모듈을 여러 파인튜닝 모델이나 LoRA에 추가 학습 없이 연결할 수 있다고 설명합니다. 이때 언급되는 약 32 A100 GPU 시간은 증류 학습 비용이지 사용자의 추론 사양이 아닙니다. 다른 연구는 모델 조립과 특성 상속으로 생성 속도가 각각 22.4%, 40.0% 빨라졌다고 보고하고, 임의 크기 생성 연구는 기존 타일링 방식 대비 추론 시간이 절반으로 줄었다고 보고합니다. 각각 연구의 실험 조건에서 나온 수치라 내 환경의 속도로 환산할 수 없습니다.

다른 회사의 호스팅형 이미지 서비스나 다른 오픈 계열 모델과의 우열은 이 글에서 단정하지 않습니다. 동일 프롬프트, 시드, 해상도, 편집 조건으로 비교한 최신 평가를 근거로 삼을 만한 자료가 정리되어 있지 않기 때문입니다. 다만 선택 기준은 분명히 세울 수 있습니다. 내 서버에 올려 통제하고 커스터마이징하려면 자가 호스팅이 가능한 이 패밀리가 유리하고, 설치와 운영 부담을 아예 피하려면 웹 앱이나 API형 서비스가 낫습니다. 두 경우 모두 자주 쓰는 프롬프트 열 개 안팎으로 직접 비교해 보는 것이 가장 확실합니다.

라이선스, 비용, 요구 사양, 편향과 안전은 사전에 확인해야 합니다

라이선스와 비용. 공식 페이지는 모든 모델에 "Get license" 경로를 두고 있고, 자가 호스팅 라이선스와 API, 클라우드 파트너 이용을 별도 경로로 안내합니다. 페이지에는 가격이나 상업적 이용 범위, 재배포 조건이 직접 적혀 있지 않습니다. 상업 프로젝트라면 사용할 모델과 경로의 라이선스 문서를 먼저 읽고, 결과물 납품이나 서비스 제공 범위가 허용되는지 확인하십시오.

요구 사양. 공식 설명에서 확인되는 것은 Medium이 소비자 하드웨어용으로 설계되었고, Large는 1메가픽셀 해상도의 전문 용도라는 정도입니다. 모델별 최소 VRAM은 페이지에 없습니다. 증류 학습 비용이나 정량 조건이 없는 메모리 절감 주장을 최소 사양으로 환산하면 안 되므로, 로컬 실행을 계획한다면 공식 모델 카드의 사양을 확인하고 내 GPU에서 해상도와 샘플링 설정별로 직접 시험하십시오.

편향. 공개 연구들은 이미지 생성 모델의 표현 편향을 반복해서 보고합니다. 한 분석은 생성 이미지 96,000장 이상을 대상으로 Stable Diffusion v1.4와 v2를 포함한 세 시스템이 모두 백인성과 남성성에 해당하는 표현을 과다하게 보였다고 보고합니다. 중립 프롬프트로 인물 이미지를 편집해 성별·인종·연령 변화를 보는 평가 연구도 있습니다. 이 연구가 보고한 90.8%는 자동 편향 탐지의 정확도이지 Stable Diffusion의 편향률이 아닙니다. 해당 결과는 모두 구버전과 연구 설계에 한정되므로 3.5에 그대로 적용할 수 없지만, 공식 페이지가 출력 다양성을 강점으로 내세운 만큼 인물 이미지를 대량 생산한다면 결과를 직접 점검하는 것이 좋습니다.

안전 필터. 2022년 연구는 시험한 안전 필터가 우회될 수 있었고 폭력과 고어 같은 콘텐츠를 다루지 않았다고 보고했습니다. 2023년 연구는 안전하다고 분류된 프롬프트 중 약 절반이 여러 안전 장치를 우회하도록 조작될 수 있었다고 보고합니다. 이 역시 시험된 과거 장치의 결과입니다. 서비스에 붙이는 개발자라면 입력과 출력 양쪽에 자체 검수 단계를 두고, 사용하는 버전의 안전 기능 범위를 별도로 시험하는 것이 좋습니다.

편집 결과 검수. 연구에 따르면 기본 VQGAN은 편집하지 않은 영역에도 왜곡을 만들 수 있고, 이를 줄이는 비대칭 디코더가 제안되었습니다. 이 개선안이 현재 제품에 들어 있는지는 확인되지 않습니다. 부분 편집 결과는 수정한 영역과 함께 주변의 원본 영역도 확대해서 비교하는 습관을 들이십시오.

시작하는 방법은 목적에 따라 네 갈래입니다

가장 가벼운 시작은 웹 기반 창작 플랫폼 Stable Assistant입니다. 모든 모델과 편집 도구를 한곳에서 써 볼 수 있어, 프롬프트 감각을 익히고 어떤 도구가 내 작업에 맞는지 판단하기 좋습니다. 앱 개발자는 API로 시작해 인페인트나 배경 제거처럼 한 기능씩 붙여 보는 것이 부담이 적습니다. 클라우드 파트너를 쓰면 별도 인프라 없이 이미 쓰는 클라우드 환경에서 모델을 호출할 수 있습니다. 로컬에서 직접 돌리거나 학습을 얹고 싶다면 자가 호스팅 라이선스를 받아 Medium부터 시도하는 것이 현실적입니다.

첫 주 실습은 같은 프롬프트를 Turbo, Medium, Large에 넣고 속도와 품질 차이를 기록하는 것으로 충분합니다. 그다음 자주 쓰는 편집 한두 가지를 골라 반복 작업 시간이 얼마나 줄어드는지 재 보십시오. 라이선스 조항은 이 단계에서 같이 확인하는 것이 좋습니다.

Muckle의 판단

디자인 시안, 스토리보드, 컨셉 아트처럼 이미지 중심 작업을 반복하는 팀이라면 3.5의 세 모델과 편집 도구 조합은 시험해 볼 가치가 충분합니다. 특히 자가 호스팅과 API를 모두 열어 둔 점은 통제권을 중시하는 팀에게 장점입니다. 반면 라이선스 조건, 모델별 요구 사양, 현행 안전 기능의 범위는 공식 문서에서 확인해야 하는 사항으로 남아 있으므로, 상업 도입 전에 이 세 가지를 먼저 정리하시기 바랍니다. 이번 언급 급증은 특정 신규 발표와 연결되지 않으므로, 공식 라인업이 바뀌는 시점을 함께 지켜보면 됩니다.