이번 포스팅에서는 이미지의 업스케일링 방법을 설명하겠습니다. 이미지의 업스케일링 방법은 총 세 가지(extras, Img-2-Img, Txt-2-Img)가 있습니다. 각각을 설명하고, 개인적으로 생각하는 최적의 업스케일링 방법을 추천하겠습니다.
이미지의 업스케일링
앞서 언급한 것처럼 이미지의 생성 방법은 총 세 가지가 있습니다. Extras 탭 활용, Img-2-Img 활용, Txt-2-Img 활용입니다. 각각의 방법을 간단히 설명하고 비교하겠습니다. 일반적으로 업스케일링 이전의 원본 이미지는 생성에 소요되는 시간을 감안하여 512 x 512, 512 x 768, 768 x 512를 많이 사용합니다. 이미지의 크기를 변경하면 이미지가 크게 바뀌기 때문에, 필요나 취향에 따라 크기를 변경해 보시길 바랍니다.
원본 이미지 생성
우선 원본 이미지를 생성하겠습니다. 프롬프트는 다음과 같습니다.
프롬프트: masterpiece, best quality, ultra realistic, 1 man, muscular, super hero like marvel dare devil, dark red suit with a red mask, full body suit, holding clubs in both hands, cowboy shot
네거티브 프롬프트: (worst quality, low quality:1.4), text, watermark, bad fingers, bad anatomy, bad legs, bad arms, nsfw, extra limbs, extra hand, extra legs
원본 이미지는 다음과 같습니다. 512 x 512로 생성했기 때문에 이미지의 품질이나 디테일이 부족하고, 다소 뭉개지는 경향이 있습니다.
Extras
Scale by(배수) 또는 Scale to(크기를 직접 입력) 항목으로 이미지의 크기를 조정합니다. 그리고 Upscaler 1을 선택합니다. Upscaler 2는 별도로 선택하지 않아도 무방합니다. 현재 실사 이미지는 4 x Ultrasharp를 많이 사용하고, 기타 2D 이미지에는 R-ESRGAN 4x+ Anime6B를 주로 사용합니다. 상단의 창에 원본 이미지를 드래그 & 드랍하거나, 직접 업로드하고 업스케일링을 합니다.
다음과 같이 2배의 업스케일링 이미지(1024 x 1536)가 생성되었습니다. 전반적인 품질이 좋아졌지만, 원본 이미지가 저해상도이기 때문에 디테일, 특히 눈 부분의 표현이 부족합니다.
Img-2-Img
Img-2-Img 탭을 활용하는 방식입니다. 메뉴 상단의 PNG Info.를 선택하고 원본 이미지를 선택합니다. 프롬프트를 포함한 이미지 상세 정보가 나오면, Send to Img-2-Img를 선택합니다. 이렇게 보내기를 선택하면 이미지 정보, 옵션, 프롬프트를 포함한 모든 정보가 Img-2-Img 항목으로 전달됩니다.
Checkpoint를 원본 이미지와 동일하게 설정하고, Resize to 또는 Resize by로 이미지 크기를 결정합니다. 이제 이미지를 업스케일링 합니다.
다음과 같이 2배로 업스케일링 된 이미지가 생성되었습니다.
Txt-2-Img
Txt-2-Img에서는 업스케일러만 별도로 사용할 수는 없습니다. 우선 512 x 512 저해상도의 이미지를 생성합니다. 본인의 의도 및 취향에 맞는 결과물을 얻을 때까지, 프롬프트와 옵션을 수정하면서 이미지를 생성합니다. 원하는 이미지가 생성됐다면, Upscaler를 활용하여 고해상도의 이미지를 생성하는 방식입니다.
Upscaler를 활성화하려면 Hires.fix 토글 버튼을 누릅니다. 사용하는 Upscaler는 extras 항목과 동일합니다. 실사 이미지에는 4xUltrasharp를 많이 사용하고, 애니나 기타 2D 이미지에는 R-ESRGAN 4x+ Anime6B를 주로 사용합니다. Hires steps는 15, Denoising strength는 0.5~0.6을 추천합니다. 원하는 크기를 결정하고 이미지를 생성합니다.
다음과 같은 이미지가 생성되었습니다.
정리
스테이블 디퓨전에서 이미지를 업스케일링 하는 세 가지 방법을 소개하였습니다. 개인적으로 추천하는 방법은 Txt-2-Img입니다. 저해상도로 이미지를 생성하면서 테스트하고, 원하는 이미지가 생성됐다면, 업스케일러를 적용하여 고해상도로 이미지를 다시 생성하는 방법입니다. 다른 두 가지 방법은 업스케일링을 해도 원본 이미지의 낮은 품질이 개선되지 않지만, Txt-2-Img는 이미지 자체를 고해상도로 생성하기 때문에 품질이 우수합니다.