M2 맥북 스테이블 디퓨전 설치 및 생성 속도 테스트 | WebUI 및 ComfyUI

주로 NVIDIA 그래픽카드를 장착한 윈도우 PC를 서버로 실행하고 맥북 및 아이패드를 포함한 다양한 디바이스로 접속해 사용하다보니, 메인으로 사용중인 M2 맥북 스테이블 디퓨전 설치는 고려대상도 아니었습니다. 특히 외출을 하더라도 외부접속이 가능하기 때문에 언제든 서버를 실행하고 브라우저로 접속만 하면 집에 있는 그래픽카드를 100% 속도로 이용할 수 있기 때문에 더욱 관심이 없었던 것 같습니다. 하지만 인터넷 연결이 마땅치 않은 공간에서 맥북만 가지고 급하게 이미지를 생성해야 한다면 느리더라도 한 번 도전해볼만한 가치가 있겠다는 생각에 직접 맥북에 WebUI 및 ComfyUI를 설치해보고 실행해 보면서 느낀바를 공유드리고자 합니다.

M2 맥 스테이블 디퓨전 속도는 괜찮을까?

설치 방법을 알려드리기에 앞서 많은 분들이 궁금해하시는 애플실리콘 맥 스테이블 디퓨전 속도에 대해 먼저 짚고 넘어가야 할 것 같습니다. 제아무리 애플실리콘이 m1, m2를 거쳐 현세대 m3까지 발전하며 우수한 그래픽 성능을 발휘한대도 무시무시한 크기로 전력을 쭉쭉 빨아먹는 외장 그래픽카드를 따라오기엔 그 격차가 너무 큽니다. 마치 고속도로에서 1,000cc 레이 타고 3,000cc 벤츠를 쫓아가려는 욕심이랄까요?

그런데 중요한 점은 1,000cc 레이도 도심주행에는 충분하다는 사실입니다. 되려 가다서다 막히는 시내에서는 무겁고 덩치큰 벤츠보다 연료 효율도 더 좋죠. M2 맥북 스테이블 디퓨전 속도도 마찬가지였습니다. Hires.fix를 비롯해 온갖 업스케일 및 고퀄리티 작업을 위한 익스텐션들을 활용하기에는 엿부족이지만, SD1.5 기준으로 정말 기본 해상도 이미지를 생성하는 수준에서는 조금 느리긴 하지만 급한대로 써볼만 한 수준이라는 느낌이 들었습니다. 아래 영상은 맥북 스테이블 디퓨전 속도를 보여드리기 위해 WebUI 및 ComfyUI에서 512×512 이미지를 생성하는 모습입니다.

🔻15″ 맥북 스테이블 디퓨전 이미지 생성 영상 WebUI – 약 26초🔻

영상에 사용된 맥북은 M2 15″ 맥북에어 제품이고, 외장모니터(QHD)에 연결된 상태에서 실행한 모습을 녹화한 화면으로 WebUI에서는 Generation 버튼을 클릭한 뒤 이미지가 생성되기까지 약 26초 정도 소요되었습니다.

🔻15″ 맥북 스테이블 디퓨전 이미지 생성 영상 ComfyUI – 약 31초🔻

ComfyUI에서는 동일 설정으로 이미지를 생성하는데 약 31초가 소요되는 모습입니다. 아무래도 ComfyUI는 최초 이미지 생성시 Queue 버튼을 누른 뒤에 체크포인트 모델이 로딩되기 때문에 미리 모델을 로딩해놓은 WebUI보다 조금 더 시간이 걸렸습니다.

맥북 스테이블 디퓨전 설치 방법 – WebUI

공식적으로 Automatic1111에서 애플실리콘 탑재 맥에 WebUI 설치를 지원하고 있습니다. 설치 절차까지 자세히 안내가 되어 있기 때문에 해당 문서를 기준으로 쉽게 설치를 진행할 수 있습니다. 큰 설치 절차는 다음과 같습니다.

• Homebrew 설치
• Python 3.10.9~11 설치
• A1111 WebUI Git clone
• 체크포인트 모델 & VAE 모델 다운로드 및 이동
• Dependencies 설치
• WebUI 이미지 생성

Homebrew 설치

먼저 Homebrew 설치를 위해 공식 홈페이지로 이동하면 아래와 같은 화면을 보게 됩니다.

Install Homebrew 아래 적힌 명령어 부분을 복사(명령어 우측의 버튼을 누르면 복사)합니다.

이후 맥의 터미널을 실행하고 위와 같이 복사한 명령어를 입력하면 Homebrew가 설치됩니다. 맥 터미널은 spotlight 검색에서 “터미널”을 검색하거나 응용프로그램에서 터미널을 찾아 실행하면 됩니다.

Python 설치

리눅스 기반의 맥OS는 기본적으로 파이썬과 깃이 설치되어 있지만, 파이썬 버전이 다를 수 있기 때문에 3.10.9 ~ 3.10.11 사이 버전으로 설치해주셔야 합니다. 파이썬 공식 홈페이지에 접속한 뒤 아래와 같이 MacOS의 스테이블 릴리즈 중 3.10에서 가장 최신판인 3.10.11을 다운로드 받아 설치합니다.

설치를 완료한 뒤에는 터미널을 열고 “python3”를 입력하여 제대로 3.10.11버전이 설치된 것을 확인합니다. 터미널을 위 예시와 같이 꾸며서 사용하고 싶거나 터미널 자체 사용하 방법에 대해 익숙하지 않은 분들은 아래 글을 참고하시기 바랍니다.

Git Clone 및 모델 이동

이제 WebUI를 설치할 폴더를 만들고 해당 폴더에서 터미널을 열어 git clone 명령어를 입력합니다. 터미널은 아래와 같이 “폴더에서 마우스 우클릭 > 서비스 > 폴더에서 새로운 터미널 열기”를 하거나 터미널에서 cd 디렉토리 입력으로 설치할 폴더로 이동합니다.

보통 네트워크 상태가 나쁘지 않다면 수초 내로 클론이 완료됩니다. 깃 클론이 완료되면 아래와 같이 stable-diffusion-webui 폴더에서 models 폴더 내 VAE 폴더 및 Stable-diffusion 폴더에 각각 미리 다운로드 받은 VAE 모델과 체크포인트 모델을 옮겨줍니다.

체크포인트 모델과 VAE 모델은 모두 Civitai 또는 huggingface 등에서 다운로드 받을 수 있습니다. 모델 파일 다운로드 및 폴더 이동에 관한 자세한 사항은 아래 글을 참고해주시기 바랍니다.

Dependencies 설치 및 WebUI 실행

이제 다시 터미널에서 Stable-diffusion-webui 폴더로 이동하여 ./webui.sh를 입력하면 WebUI 실행에 필요한 부수적인 라이브러리 설치가 알아서 진행됩니다.

설치가 종료되면 WebUI가 실행됩니다. 실행된 WebUI에서 인터페이스 기본 설정을 해주신 뒤 이미지를 생성하시면 됩니다. 다음 WebUI 실행때도 ./webui.sh 명령어를 입력해주면 됩니다.

맥북 스테이블 디퓨전 설치 방법 – ComfyUI

맥에서 WebUI를 성공적으로 설치하셨다면 ComfyUI를 설치하는 것도 크게 어렵지 않습니다. ComfyUI 설치는 아래 순서대로 진행합니다.

• ComfyUI 수동 설치(깃클론 및 모델 복사)
• 가성환경에서 Pytorch 설치
• ComfyUI 실행

단, 앞서 WebUI를 설치하면서 이미 가상환경을 구축하고 dependencies를 설치한 상태이므로 해당 환경에서 Pytorch만 추가로 설치하고 ComfyUI를 실행하는 절차입니다.

ComfyUI 깃 클론 및 모델 복사

깃 클론과 모델 복사 방법은 WebUI와 동일하므로 구체적인 안내는 생략합니다. ComfyUI 깃 주소는 아래와 같습니다.

깃 클론이 완료되어 새로 생성된 ComfyUI 폴더 내에 models 폴더로 진입한 뒤 VAE 폴더 및 checkpoints 폴더에 각각 미리 다운로드 받은 VAE 모델과 체크포인트 모델을 옮겨줍니다.

가상환경 진입 및 Pytorch 설치

기존 WebUI를 설치하면서 구축한 가상환경(venv)의 위치를 알아야 진입이 가능합니다. 따로 venv 폴더를 만들고 환경을 구축하지 않으셨다면 아래 그림과 같이 WebUI가 설치된 폴더 안에서 venv 폴더를 확인할 수 있습니다. 이 폴더가 바로 우리가 진입할 가상환경입니다.

해당 가상환경에 진입하기 위해 터미널에서 stable-diffusion-webui 폴더로 이동한 뒤 source venv/bin/activate.bin을 입력해 가상환경을 활성화합니다. 가상환경에 대한 구체적인 설명이 필요하신 분들은 아래 글을 참고하시기 바랍니다.

성공적으로 가상환경에 진입한 상태에서 아래 명령어를 입력하면 Pytorch설치가 진행됩니다.

이미 가상환경이 구축된 상태여서 파이토치 설치만 마무리되면 dependencies 설치를 추가로 진행하지 않고 바로 ComfyUI 실행이 가능합니다.

ComfyUI 실행

가상환경에 진입한 상태에서 다시 터미널의 현재 위치를 ComfyUI폴더로 이동해야 합니다. 이후 해당 위치에서 python3 main.py를 입력하면 ComfyUI가 정상적으로 실행됩니다.