이번 포스팅에서는 스테이블 디퓨전의 이미지에 다양한 화풍/동작/자세/조명 등을 부여하는 모델을 적용하는 방법을 설명하겠습니다. 앞서 설명하긴 했지만 일종의 플러그인이라고 생각하시면 됩니다.
- Checkpoint: 이미지의 화풍을 결정하는 베이스 모델입니다. 2D/반 실사/실사 모델 등이 있습니다.
- VAE: 이미지의 질감, 색상 보정, 조명 등에 관여합니다.
- Lora: 특정 동작, 자세, 얼굴, 스타일 등을 이미지에 적용합니다. (ex. 특정 작품, 캐릭터의 외모 적용 등)
모델의 다운로드
모델의 다운로드는 CivitAI.com을 주로 이용합니다. Hugging face도 이용하긴 하지만, 사이트 UI가 직관적이지 않고 사용이 불편하여 자주 사용하지 않습니다. 이번 포스팅에서는 CivitAI에서 모델을 다운로드 받고, 적용하는 방법을 설명하겠습니다. (링크)
CivitAI의 가입
CivitAI에 접속하면 다음 화면을 볼 수 있습니다. 우측 상단의 SIgn in을 눌러 가입을 진행합니다. 구글 계정의 연동이 가능하기 때문에 쉽게 가입할 수 있습니다. 부연 설명은 필요하지 않은 것 같습니다.
Checkpoint
왼쪽 상단에서 Models 탭을 선택하고, Filters 항목에서 All time, Checkpoint를 선택합니다. Most Downloaded 기준으로 정렬하고, 마음에 드는 Checkpoint를 선택하시면 됩니다.
Toonyou라는 Checkpoint를 적용하겠습니다. 우측 상단의 다운로드 버튼을 누릅니다.
화면에 나타나는 이미지를 클릭하면, 텍스트 프롬프트와 네거티브 프롬프트를 확인할 수 있습니다. 프롬프트 작성이 어렵다면, 기존 이미지의 프롬프트를 참조할 수 있습니다.
Lora
Lora와 VAE는 일종의 옵션입니다. Checkpoint만으로도 이미지 생성에 문제가 없지만, 이미지에 좀 더 디테일을 부여하고 싶을 때, Lora와 VAE를 적용합니다. Studio Ghibli Style LoRA를 선택하였습니다.
VAE
별 생각 없이 괜찮아 보이는 VAE를 선택하였습니다. 이미지의 품질을 개선해 주는 효과가 있는 것으로 보입니다.
모델의 적용
각각의 모델을 다음 폴더에 넣어 스테이블 디퓨전에 적용합니다.
스테이블 디퓨전 (로컬 설치)
C 드라이브에 스테이블 디퓨전을 설치했다면, Checkpoint, Lora, VAE의 적용 폴더는 다음과 같습니다.
- Checkpoint: C:\stable-diffusion-webui\models\Stable-diffusion
- Lora: C:\stable-diffusion-webui\models\Lora
- VAE: C:\stable-diffusion-webui\models\VAE
스테이블 디퓨전 (코랩)
코랩을 이용하여 스테이블 디퓨전을 설치했다면, 구글 드라이브의 다음 폴더에 모델을 적용합니다.
- Checkpoint: 내 드라이브:\SD\models\Stable-diffusion
- Lora: 내 드라이브:\SD\models\Lora
- VAE: 내 드라이브:\SD\models\VAE
정리
모델의 다운로드 및 폴더 적용이 끝났습니다. 이제 다음 포스팅에서는 스테이블 디퓨전에서 모델을 설정하고 이미지를 생성하는 과정까지 설명하겠습니다. 다시 한번 과정을 정리하면, CivitAI에서 마음에 드는 모델을 다운로드 받고, 상기 언급한 폴더에 넣습니다. 스테이블 디퓨전을 실행하여 모델 설정을 하고 이미지를 생성하면 됩니다.