포토샵 고수가 아니라면 일반인들에게 합성이란 누가봐도 티가 나는 밈 제조 수준에 머무르는 영역이었습니다. 그런데 생성형 인공지능 그림 기술의 발전으로 우리도 그럴듯하게 스테이블 디퓨전 배경 합성이 가능한 시대가 되었습니다. 본 글에서는 스테이블 디뷰전 배경 합성 과정을 자세히 살펴보도록 하겠습니다.
스테이블 디퓨전 배경 합성하기
본문에선느 스테이블 디퓨전 배경 합성을 통해 아래와 같이 원본 이미지를 파리 배경의 이미지로 바꿔보고자 합니다.
재료 준비
먼저 스테이블 디퓨전 배경을 합성하기 위해서는 합성에 사용할 인물사진과 배경에 쓰일 사진을 선정해야합니다. 본 글에서는 예시로 아래와 같이 호텔 방 안에 앉아있는 여성 사진과 위키피디아에서 검색으로 얻은 프랑스 파리 사진을 사용하도록 하겠습니다.
좌측 이미지는 역시 스테이블 디퓨전으로 생성한 그림입니다. 배경 합성을 해보기 위해 프롬프트에는 large window를 포함해 그림을 생성했습니다. 창밖으로 보이는 풍경을 우측 파리 풍경으로 바꿀 계획입니다.
이미지 배치
본격적으로 배경을 합성하기 위해서는 이미지 편집 프로그램의 힘을 빌려야 합니다. 포토샵이나 기타 전문 도구가 있다면 더 좋지만, 그렇지 않더라도 무료 편집 툴로도 충분히 시도해볼 수 있습니다. 예시에서는 무료 사진 편집 툴인 포토스케이프X를 사용해 진행해보겠습니다. 공식 홈페이지에서 윈도우, 맥 버전을 모두 무료로 다운받을 수 있습니다.
포토스케이프를 실행한 뒤 상단 사진편집 탭에서 원본 이미지를 불러온 뒤, 합성할 배경을 복사, 붙여넣기로 원본 이미지 위에 올려줍니다. 이후 우측 편집메뉴에서 이미지>불투명도를 조절해 원본이미지가 보일 정도로 불투명도를 바꾼 뒤 창문의 크기를 보면서 배경의 크기가 맞도록 조정합니다.
이후 우측 편집 메뉴에서 변형을 누른 뒤 배경사진의 기울기를 조절해 창가에서 바라봤을 때 보이는 뒤틀기 정도를 비슷하게 맞춰줍니다.
누끼따기
이제 사진편집 탭은 이 상태로 두고 상단 오려내기 탭으로 이동합니다. 여기서는 우측 메뉴의 브러시를 활용해 아래 그림 처럼 배경이 바뀌어야 할 부분을 마스킹해줍니다.
이 때 마스킹 팁으로는, 마스크 반전을 잘 활용해서 잘못 칠한 부분들을 수정할 수 있다는 것입니다. 더불어 추후 스테이블 디퓨전 배경 합성을 진행할 때를 대비해 되도록 인물이나 피사체가 조금 깎이더라도 배경이 덜 상하도록 하는 것이 좋습니다. 인물, 피사체는 스테이블 디퓨전 배경 합성 과정에서 어느정도 생성형 이미지로 복구가 가능하기 때문입니다. 마스킹을 마쳤으면 마우스 우클릭 > 클립보드로 복사하기를 선택합니다.
합치기
이제 상단 사진편집 탭으로 다시 이동하여 위에서 마스킹을 마친 이미지를 붙여넣고(ctrl+v) 저장합니다.
여기까지 진행한 것만으로도 대략적인 합성의 완성도가 꾀나 높다는 것을 알 수 있습니다. 하지만 자세히 잘 보면, 합성의 경계면인 배경과 창틀간의 사이, 배경과 커튼간의 사이, 배경과 인물간의 경계선 등이 조금은 어색합니다. 이제 여기서부터는 스테이블 디퓨전을 활용해 조금 더 디테일을 살려보도록 하겠습니다.
스테이블 디퓨전 배경 합성 디테일링
스테이블 디퓨전 배경 합성의 핵심은 바로 컨트롤넷의 타일리샘플(ControlNet Tile Resample) 기술과 인페인트(inpaint) 기술입니다. WebUI i2i의 inpaint 탭으로 이동합니다.
위 그림과 같이 배경과 합성 경계면에 마스킹을 한 뒤 프롬프트는 최대한 간략히 작성하고 타일 리샘플을 적용해 부분부분을 생성합니다. 위 예시 이미지는 좌측의 배경과 창틀, 커튼의 경계면을 마스킹 한 것이고 마찬가지로 우측, 상단 등을 똑같은 방식으로 타일리샘플을 몇차례 진행합니다.
인페인트 + 타일리샘플을 진행할 때 타일리샘플은 기본 설정에 Control Mode를 Balanced로 두고, 인페인트는 대략 다음과 같이 세팅하여 진행하였습니다.
- Resize mode : Just resize(latent upscale)
- Mask mode : Inpaint masked
- Masked content : original
- Inpaint area : Only masked
- Reszie to : 마스킹한 영역에 맞게 직접 조절
- CFG Scale : 사용중인 모델의 적정 CFG 유지
- Denosing Strength : 0.4~0.6
마찬가지로 인물과 배경의 경계도 아래 그림처럼 마스킹하여 타일리샘플을 진행합니다. 앞서 마스킹 팁에서 인물이 조금 깎이더라도 배경을 최대한 살리는 것이 중요한 이유가 여기 있습니다.
만약 인물과 배경의 경계면에 미처 다 지워지지 않은 이전 배경이나 노이즈가 남아있는 경우라면 아무리 타일리샘플을 진행하더라도 해당부분이 자연스럽게 수정되지 않기 때문입니다.
완성
위 단계를 모두 거친 뒤 완성한 이미지는 다음과 같습니다. 보기에 따라 전문적인 포토샵 고수의 손길에는 한참 못미치지만, 그래도 스테이블 디퓨전 배경 합성 과정을 통해 인물과 배경, 창틀 및 커튼과 배경 사이의 이질감을 최소화할 수 있었습니다.
본문의 예시에서는 실내에서 실외를 비추는 구도를 합성하였기 때문에 빛의 방향이나 기타 부분에서 비교적 큰 수고가 들지 않았습니다. 따라서 배경과 인물의 거리감 정도만 고려해서 빠르게 재료 이미지를 선정할 수 있었습니다.
하지만 만약 야외 사진에서 합성을 시도하신다면, 조금은 더 고난도의 작업이 될 수 있습니다. 사진의 구도는 물론이거니와, 빛의 방향과 강도 등에 따라 질감이 달라지기 때문에 전반적인 이미지의 분위기까지도 고려해야 하기 때문입니다. 이런 경우 필요하다면 배경을 합성한 뒤 합성한 부분을 다시 한번 타일리샘플로 그려주는 것도 방법이 될 수 있습니다.