이전 포스팅에서 각종 모델을 폴더에 넣는 것까지 마무리하였습니다. 이번 포스팅에서는 스테이블 디퓨전을 실행하고 모델을 설정한 후, 이미지를 생성하는 과정을 설명하겠습니다. 우선 로컬 또는 코랩으로 스테이블 디퓨전을 실행합니다.
모델 설정
Checkpoint
스테이블 디퓨전을 실행하면 다음 화면을 볼 수 있습니다. 우선 좌측 상단에서 Checkpoint의 변경이 가능합니다. 우측의 Refresh 버튼을 누르고 사용하려는 Checkpoint를 선택합니다. 이전 포스팅에서 다운로드 받았던 toonyou를 선택합니다. Checkpoint 선택 항목 하단에는 텍스트 프롬프트와 네거티브 프롬프트 항목이 있습니다. 각각 반영하고 싶은 항목의 텍스트, 반영하고 싶지 않은 항목의 텍스트를 입력합니다.
Lora
화면 중간의 Lora 탭을 클릭합니다. Refresh 버튼을 누르면 폴더에 넣은 Lora 항목이 나타납니다. 원하는 Lora를 선택합니다. 다만 Lora 항목은 아무 때나 사용하는 것이 아니라, 텍스트 프롬프트 작성 중에 사용합니다. 텍스트 프롬프트에 표현(태그)으로 삽입하는 형태이기 때문입니다.
VAE
상단의 Settings 탭을 클릭합니다. 좌측의 사이드 메뉴에서 VAE 항목을 클릭하고, 다운로드 받아서 폴더에 적용했던 VAE를 선택합니다.
이미지 생성
프롬프트 참조
처음부터 직접 프롬프트를 작성하고 이미지를 생성하는 것은 어렵습니다. Checkpoint를 다운로드 받았던 페이지에 있는 예시 이미지나 CivitAI 갤러리의 프롬프트를 참조하여 이미지를 생성하는 것을 추천합니다. 다만 성인 이미지가 많기 때문에, 링크를 남기기가 어렵습니다. 직접 마음에 드는 이미지의 프롬프트를 참조하시기를 바랍니다. 저는 다음 이미지의 프롬프트를 참조하였습니다.
이미지 생성
이제 해당 이미지의 프롬프트를 복사하여 넣고, Lora를 반영합니다. 네거티브 프롬프트는 해당 이미지의 프롬프트를 참조해도 되고, 흔히 많이 쓰는 표현인 worst quality, low quality, bad proportion(나쁜 신체 비율), bad anatomy(신체 왜곡) 등의 표현을 넣어 직접 작성하셔도 됩니다. 네거티브 프롬프트 작성 방법은 별도의 포스팅으로 다시 설명하겠습니다.
프롬프트 작성과 Lora 반영이 끝났으면, Generate 버튼을 눌러 이미지를 생성합니다. 디폴트 이미지의 크기는 512 x 512입니다. 저는 512 x 768의 크기로 이미지를 생성하였습니다. 좌측은 지브리 스튜디오 애니메이션의 스타일 Lora를 반영한 이미지이고, 오른쪽은 Lora를 반영하지 않은 이미지입니다. 주관적인 느낌으로는 Lora를 반영하지 않는 쪽의 이미지가 더 나은 것 같습니다. Lora 반영 시 그림체나 화풍이 크게 바뀌는 경우도 있기 때문에, 이미지를 생성하면서 반영 여부를 결정하시기를 바랍니다.
정리
다시 한번 이미지 생성 과정을 정리하겠습니다. CivitAI의 갤러리나 Checkpoint의 갤러리에서 참조 이미지를 선택합니다. Checkpoint를 선택하고, Settings 화면에서 VAE를 설정하고, 프롬프트를 작성하면서, Lora를 반영합니다. Lora가 어울리지 않거나, 그림체가 심하게 변한다면 사용하지 않습니다. 이후에 프롬프트와 모델을 변경하면서 다양한 이미지를 생성해 보시기를 바랍니다.