인공지능 기술의 급격한 발전으로 많은 분들이 기술을 활용한 시장 개척에 뛰어들고 있습니다. 오늘은 AI 그림의 한 큰 축을 담당하고 있는 스테이블 디퓨전을 활용해 AI 쇼핑몰 모델 옷 합성이 가능할지 한 번 도전해보고자 합니다. 자세한 도전 과정과 AI 쇼핑몰 모델의 장단점 및 개선 필요 사항 등에 궁금하신 분들은 본문을 꼭 끝까지 읽어보시기 바랍니다.
AI 쇼핑몰 모델 결과물
먼저 필자가 직접 도전해본 과정에 대해 말씀드리기 앞서 결과물을 살펴보도록 하겠습니다. 아래는 한 쇼핑몰에서 패션 카테고리에서 임의로 옷 3벌을 선택하여 해당 옷을 기반으로 가상의 AI 쇼핑몰 모델을 만들어 본 결과입니다.
기존의 쇼핑몰 사진에는 마네킹에 입혀놓은 옷이었지만, 스테이블 디퓨전으로 AI 쇼핑몰 모델을 만들면 위와 같이 마치 모델이 옷을 입은 것처럼 그림을 그릴 수 있습니다. 단, 옷과 배경의 경계, 마네킹 목각 손이 그대로 남아있는 점 등은 추가 수정이 필요한 부분입니다. 전반적인 느낌은 그래도 사람이 직접 옷을 입은 느낌이 듭니다.
마찬가지로 옷과 배경의 경계, 손을 새로 그리지 못한 부분 등 수정할 부분이 많지만 느낌만 보시기 바랍니다.
손이 덜 나온 그림이라 AI 쇼핑몰 모델로 상품 상세페이지 작업이 더욱 사실적으로 묘사될만한 사진입니다.
AI 쇼핑몰 모델 장점
스테이블 디퓨전을 활용해 AI 쇼핑몰 모델을 생성해보면서 느낀 장점은 다음과 같습니다.
- 빠른 생성 : 실제 모델이 옷을 피팅하고 사진을 촬영하는 과정을 생각해보면 AI 쇼핑몰 모델로 이미지를 생성하는 것이 훨씬 더 빠르고 간편합니다.
- 다양한 연출 : 배경에 대한 연출이 자유롭습니다. 방구석(?)에서 작업하는데 실내, 실외, 세계 어디든 갈 수 있습니다.
- 작업 단순화 : 스튜디오나 로케이션 사진을 촬영하고, 다시 카메라에서 컴퓨터로 사진을 옮겨 후보정까지 하는 작업을 1단계로 줄일 수 있습니다. 애초에 이미지 생성툴(스테이블 디퓨전)로 작업하여 이미지 편집툴까지 컴퓨터에서 모두 작업이 이뤄지기 때문에 연속성이 좋습니다.
AI 쇼핑몰 모델 단점 및 개선사항
스테이블 디퓨전을 활용해 AI 쇼핑몰 모델 작업 중 느낀 아쉬운 점과 개선이 필요한 부분은 다음과 같습니다.
- 사전 준비 : 상품 사진이 필요합니다. 단순히 바닥에 널부러진 옷 사진이 아니라 최소한 마네킹이 입고 있는 사진이 준비되어야 조금 더 퀄리티 높은 사진을 만들 수 있습니다.
- 디테일링 : 실제와 같아 보이도록 하기 위해 후보정 작업이 중요합니다. 예시 이미지는 거의 후보정이 이뤄지지 않아 손의 표현, 옷과 배경의 경계 등에 이질감이 있습니다.
- 제한적인 포즈 : 원본 상품 사진의 포즈에서 크게 벗어난 연출이 불가합니다. 옷 밖으로 노출되는 손, 팔, 다리, 발, 얼굴 등만 자유롭게 변형 가능합니다. 옷 자체로 가려진 부위는 연출 변형이 불가능하지는 않지만 실제와 다른 모습의 옷으로 그려질 가능성이 있기 때문에 현실적으로 어려움이 있습니다.
AI 쇼핑몰 모델 작업 과정
이제 위에서 살펴본 AI 쇼핑몰 모델을 작업한 과정일 직접 보여드리도록 하겠습니다.
작업 툴
작업에 사용된 프로그램은 아래 2가지 입니다.
- 스테이블 디퓨전 Automatic1111 WebUI (무료)
- Adobe 포토샵
기본적으로 생성형 인공지능 이미지는 스테이블 디퓨전 A1111 WebUI를 활용했지만, ControlNet 워크플로우를 작성하는데 무리가 없는 분들은 ComfyUI를 이용하셔도 무방합니다.
포토샵의 경우 누끼를 따는 것이 주요 목적이기에 무료 프로그램인 포토피아(Photopea) 또는 크리타(Krita)를 활용하셔도 무방합니다.
작업 절차
AI 쇼핑몰 모델 작업 절차는 크게 다음과 같이 3단계로 나눌 수 있습니다.
- 상품 이미지 준비 : 상품이미지, 마스크 이미지 준비
- 스테이블 디퓨전 사전 준비 : 오픈포즈 에디터, 오픈포즈, 캐니
- AI 쇼핑몰 모델 생성 : 스테이블 디퓨전 인페인트 + 컨트롤넷
상품 이미지 준비
먼저 상품 이미지를 준비해야 합니다. 옷 이미지를 준비할 때 중요한 것은 마네킹이 입고 있는 이미지를 준비해야 한다는 점입니다. 물론 실제 사람이 입고 있는 사진이 있다면 더 좋지만, 우리가 AI 쇼핑몰 모델을 테스트 해보는 목적은, 실모델이 없이 상품만으로 착장 이미지를 만들 수 있을지에 대해 알아보기 위함입니다. 만약 마네킹 이미지가 없다면 최소한 옷걸이에 걸려있는 이미지는 되어야 이미지 생성에 활용이 가능합니다.
이미지가 준비되었다면, 포토샵 또는 유사 이미지 편집 프로그램을 이용해 아래와 같이 배경제거 이미지 및 상품 마스크 이미지를 생성해줘야 합니다. 본 글에서는 누끼따는 방법 및 마스크 만드는 방법에 대해서 자세히 다루지는 않겠습니다.
스테이블 디퓨전 사전 준비
이제 재료가 갖춰졌으니 기능을 준비해야 합니다. AI 쇼핑몰 모델 제작에 필요한 주요 기능은 바로 컨트롤넷(오픈포즈, 캐니)와 오픈포즈 에디터 입니다. 마찬가지로 본 글에서는 두 확장기능 설치 방법에 대해서 자세히 다루지는 않겠습니다. 확장기능 깃 주소는 아래를 참고하시기 바랍니다.
사실 깃 허브 주소를 모르더라도, WebUI에서 Extensions > Available에서 두 기능 모두 검색 및 원클릭 설치가 가능합니다. 컨트롤넷 설치 후에는 Openpose 및 Canny 모델을 꼭 다운받아 모델 폴더에 넣어주시기 바랍니다. 모델 폴더 위치는 [스테이블 디퓨전 WebUI 설치 경로 > extensions > sd-webui-controlnet > model] 입니다.
확장기능 설치 및 컨트롤넷 모델 다운로드가 완료되었다면 먼저 오픈포즈에디터로 이동해 아래와 같이 배경제거 이미지를 불러온 뒤 Detection from Image를 눌러 openpose를 추출합니다. 이후 생성된 openpose 스켈레톤을 Send to img2img를 눌러 i2i 탭으로 보내줍니다.
AI 쇼핑몰 모델 생성
이제 정말 모든 준비가 되었습니다. 먼저 img2img에서 inpaint 탭으로 이동한 뒤 세팅을 다음과 같이 해줍니다.
- Resize mode : Just resize 또는 Just resize (latent upscale)
- Mask mode : Inpaint masked (만약 마스크를 반대로 만들었다면 inpaint not masked)
- Masked content : fill / original / latent noise 중 1개 택일 (fill 선택 추천)
- Inpaint area : Whole picture
- Resize by : 1
- Denoising strength : 0.7 이상
ControlNet은 2개를 사용할 예정으로 다음과 같이 세팅해주었습니다.
첫번째 컨트롤넷은 위에서 넘겨받은 Openpose 뼈대가 있기 때문에 Control Type을 OpenPose로 선택하고, 전처리(Preprocessor)를 none으로 바꿔줍니다.
두번째 컨트롤넷에서는 Control Type을 Canny로 선택합니다. 위 이미지의 좌측 하단 설정을 참고하여 컨트롤 넷 프리뷰를 활성화(Allow Preview)하고, Upload independent control image도 활성화 한 뒤 배경제거 이미지를 업로드 합니다.
이후 위 이미지 우측 전처리기(Preprocessor)가 canny로 선택된 것을 확인한 뒤 우측에 있는 불꽃 모양을 눌러 위 그림과 같이 전처리 미리보기에 옷의 외곽선이 따진 것을 확인합니다.
이제 정말 모든 준비가 끝났습니다. 프롬프트에 내가 원하는 배경과 인물의 자세, 구도 등을 입력한 뒤 Generate를 눌러주면 아래와 같이 AI 쇼핑몰 모델을 생성할 수 있습니다.
이렇게 생성된 이미지는 보통 모델의 얼굴이 뭉개지거나 전체적인 퀄리티가 조금 떨어질 수 있습니다. 이 때는 간단히 얼굴을 다시 인페인트하거나, 타일리샘플 등의 기술을 활용하여 디테일을 향상시킬 수 있습니다. 이외 본인의 후보정 작업을 통해 이미지를 가공하면 됩니다. 포토샵 리터칭에 능숙하신 분들은 사진을 내려받아 조금 더 손을 보면 그럴듯한 이미지를 만들어낼 수 있습니다.
추가 팁
배경이 원하는대로 잘 생성되지 않을때는 배경제거이미지를 만들 때 흰 배경 대신 원하는 배경을 미리 삽입한 뒤, Generation 전 Denoising strength를 0.65~0.7정도로 줄인 뒤 생성해보시는 것도 방법입니다.
또한 배경제거 이미지의 배경이 단색이면서 inpaint 설정이 original일 경우 결과 이미지의 채도가 너무 낮게[ 나올 수도 있습니다. 이 때는 인페인트 설정을 fill 또는 latent noise로 바꿔주시거나, WebUI 설정에서 img2img 생성시 배경 색상 맞춤 옵션을 비활성화 한 뒤 생성해 보시기 바랍니다.
위 예시에서 설명드린 절차 외에 추가로 컨트롤넷 뎁스 등을 활용하면, 모델의 손모양도 제어가 가능합니다. 또한 워크플로우를 잘 구성하면 ComfyUI에서는 위 절차를 대폭 줄여 더욱 간단하게 AI 쇼핑몰 모델 제작이 가능할 것으로 사료됩니다.
