포토샵을 이용하시는 분들은 생성형 채우기 기능을 매우 유용하게 사용하고 계실텐데요, Adobe에서는 점차 생성형 채우기 등의 AI 기능을 유료화하고 있습니다. 포토샵 유료 플랜을 사용하더라도 추후 생성형 채우기를 유료로 사용해야하는 상황을 마주할 수 밖에 없는데요, 이를 대비해 내 PC에 설치한 스테이블 디퓨전을 무료로 포토샵에 연동하여 사용하실 수 있습니다. 본 글에서는 포토샵 스테이블 디퓨전 연동 방법 및 사용법에 대해 살펴보도록 하겠습니다.
포토샵 스테이블 디퓨전 설치방법
포토샵과 스테이블 디퓨전을 연동하기 위해서는 각 프로그램에서 작업을 추가적인 해주어야 합니다.
포토샵 플러그인 설치
포토샵에서 스테이블 디퓨전을 사용할 수 있도록 해주는 플러그인의 이름은 Auto Photoshop StableDiffusion Plugin입니다. 아래는 해당 플러그인의 깃허브 페이지입니다.
해당 페이지에서 아래 설명에 보면 설치 방법에 대해 자세히 설명해주고 있습니다. 플러그인 다운로드 페이지로 가면 가장 하단에 아래와 같이 Assets에서 .ccx 파일을 다운받을 수 있습니다.
해당파일을 다운받아 실행히켜주시면 자동으로 포토샵 스테이블 디퓨전 플러그인 설치가 완료됩니다.
설치가 완료되면 Creative Cloud Desktop에서 위 이미지와 같이 설치 정보가 반영됩니다.
WebUI 포토샵 확장기능(Extensions)설치
이번에는 스테이블 디퓨전에서도 확장기능을 설치해야 합니다. WebUI에서는 위에서 소개드린 깃허브 페이지 주소를 Install from ULR에 입력하여 확장 기능을 설치합니다.
https://github.com/AbdullahAlfaraj/Auto-Photoshop-StableDiffusion-Plugin
WebUI 확장기능 설치 방법에 대해 익숙하지 않은 분들은 아래를 참고하시바랍니다.
ComfyUI에서 포토샵 커스텀노드 설치
Auto Photoshop StableDiffusion Plugin이 처음 공개되었을 당시에는 Automatic1111 WebUI만 연동이 가능했지만 현재는 ComfyUI도 지원하고 있습니다. 따라서 ComfyUI를 구동하여 포토샵과 연동하실 분들은 ComfyUI용 커스텀노드를 설치하시면 됩니다. ComfyUI용 포토샵 플러그인은 Comfy Photoshop SD 입니다.
https://github.com/AbdullahAlfaraj/Comfy-Photoshop-SD
위 깃허브 주소를 기준으로 커스텀 노드 폴더에 Git Clone 하거나 아래 이미지처럼 ComfyUI manager를 이용해 설치하실 수 있습니다.
포토샵에서 ComfyUI를 사용하기 위해서는 comfyui_controlnet_aux라는 커스텀 노드도 함께 설치해주셔야 합니다.
https://github.com/Fannovel16/comfyui_controlnet_aux
ComfyUI에서 Custom Nodes를 설치하는 방법이 익숙하지 않은 분들은 아래 글을 참고하시기 바랍니다.
포토샵 스테이블 디퓨전 사용법
위의 절차를 오류 없이 따라오셨다면 이제 포토샵에서 WebUI 또는 ComfyUI를 사용할 준비가 완료되었습니다. 스테이블 디퓨전을 WebUI와 ComfyUI 각각을 활용해 포토샵에서 사용하는 방법에 대해 살펴보도록 하겠습니다.
WebUI 기반 포토샵 스테이블 디퓨전 사용법
먼저 포토샵을 실행하기 전에 스테이블 디퓨전 실행 배치파일(webui-user.bat)을 수정해주셔야 합니다. webui-user.bat 파일을 마우스 우클릭 > 메모장에서 편집으로 열거나, 평소 사용하시는 text editor로 열어 아래와 같이 수정합니다.
set COMMANDLINE_ARGS= –theme dark –xformers –api
사용중인 설정값 가장 마지막에 –api를 붙여주시면 됩니다. 이 상태로 메모장에서 “다른 이름으로 저장”을 눌러 새로운 실행(배치)파일을 하나 만들어줍니다. 예시에서는 webui-user-api.bat로 새로 저장했습니다. 이제 이 파일로 WebUI를 실행합니다.
WebUI가 실행되면 터미널 창은 살려두고(WebUI가 실행된 브라우저는 닫으셔도 무방합니다.) 포토샵을 실행합니다. 포토샵을 실행하면 Auto-Photoshop-SD라는 창이 새로 생기고 여기서 WebUI의 스테이블 디퓨전 기능 대부분을 사용할 수 있습니다.
그림을 생성하려면 기본적으로 위 그림과 같이 사용자가 캔버스 내에서 그림을 생성할 부위를 선택해줘야 합니다. 이후 Auto-Photoshop-SD 창에서 상황에 맞게 t2i 또는 i2i 설정 바꿔 그림 생성을 진행하시면 됩니다. 그림이 생성되면 Auto-Photoshop-SD 창 아래부분에 생성된 그림이 Preview로 나타나며, 추가로 생성하시려면 Generate more를 눌러 여러장을 생성하신 뒤 Preview에서 마음에 드는 이미지를 선택하시면 됩니다.
ComfyUI 기반 포토샵 스테이블 디퓨전 사용법
포토샵에서 ComfyUI를 사용하는 방법은 WebUI 사용방법과 조금 차이가 있습니다. 일단 ComfyUI에서 내가 사용할 Workflow를 api.json 형태로 저장하고, 이를 포토샵에서 불러와 사용합니다. 먼저 ComfyUI를 실행하고 설정창으로 이동합니다.
설정창에서 Enable Dev mode Options를 체크하여 활성화하면, 메인메뉴에 Save (API Format) 버튼이 새로 생성됩니다. 이제 포토샵에서 사용할 워크플로우를 이 새로 생긴 버튼으로 저장합니다. 이제 다시 포토샵으로 돌아와 Auto-Photoshop-SD의 Settings 탭을 열고 아래 그림과 같이 ComfyUI를 선택해줍니다.
Save 버튼을 누른 뒤, Auto-Photoshop-SD에서 Stable Diffusion 탭으로 돌아와 쭉 하단으로 내리면 Custom ComfyUI Workflow를 발견하실 수 있습니다. 여기서 Load를 눌러 아까 저장했던 워크플로우를 불러옵니다. 예시에서는 ComfyUI의 기본 워크플로우를 저장하고 이를 불러왔습니다.
ComfyUI에서 보던 노드들의 정보가 쭉 나열되는데요, 여기서 모델(체크포인트)와 프롬프트 등 각 노드들의 설정값을 입력한 뒤 상단의 Generate를 누르면 워크플로우가 그대로 실행됩니다. 마지막 노드인 Save Image에 생성된 결과물에 마우스를 올리면 하단에 아이콘 2개가 생깁니다. 좌측 아이콘은 캔버스 위에 생성된 이미지를 해상도 그대로 불러오는 버튼이고, 우측 아이콘은 캔버스 위에 선택한 영역에 결과 이미지를 채우는 버튼입니다.
위 방법을 참고하여 다양한 워크플로우를 포토샵에서 바로 실행하고 결과 이미지를 즉석에서 편집하실 수 있습니다. Realtime 워크플로우를 활용하면 이전에 소개드린 Krita 실시간 AI 드로잉과 같이 LCM 로라를 활용해 포토샵에서 실시간 드로잉이 가능한데요, 이 부분은 테스트와 함께 다른 글에서 더욱 자세히 다뤄보도록 하겠습니다.
