지난 포스팅에서 다룬 FLUX 모델의 높은 이미지 품질과, 높은 프롬프트 이해도 덕분에 굉장히 빠른 속도로 관련 기술이 발전하고 있습니다. 그 중에서도 특히 FLUX GGUF 양자화 모델의 경우, 기본 모델의 무거운 용량을 획기적으로 다이어트 하면서도 높은 품질을 유지할 수 있어 매우 큰 주목을 받고 있습니다. 오늘은 ComfyUI에서 FLUX GGUF 양자화 모델을 구동하는 방법에 대해 살펴보겠습니다.
FLUX GGUF 양자화 모델 다운로드
City96이란 분의 허깅페이스 페이지를 방문하면, FLUX 모델을 Dev, Schnell 모두 GGUF 형식으로 양자화하여 배포하고 있습니다.
해당 페이지로 접속해서 위 이미지와 같이 Files and versions로 이동하여, 원하는 모델을 다운받아 사용할 수 있습니다. Q 뒤의 숫자가 커질수록 모델의 용량이 늘어나며, 그와 함께 이미지의 품질도 상승합니다. 현재 다수의 AI 커뮤니티에서는, gguf Q8 버전의 경우 FLUX.1 Dev 일반모델(FP16)과 거의 유사한 품질의 이미지를 생성할 수 있다고 인정하고 있습니다.
약 24GB의 막대한 용량을 자랑하는 일반모델 대비 절반 수준인 12.7GB 용량의 모델로 비슷한 품질의 이미지를 생성할 수 있다는 것은 상대적으로 저사양 GPU를 사용하는 유저들에게는 매우 반가운 소식입니다.
다운받은 모델은 ComfyUI 설치 위치에서 models 폴더 내 unet 폴더로 이동시켜주시면 됩니다. 이외 CLIP 및 VAE 모델은 일반 FLUX 모델과 동일하게 사용할 수 있으므로, 이미 다운받으신 분들은 추가로 다운로드할 필요가 없습니다. FLUX가 처음이신 분들은 아래 글을 참고하여 CLIP 모델과 VAE 모델을 다운로드 받아 주시기 바랍니다.
Custom Node 설치
일반 FLUX 모델은 ComfyUI만 최신으로 업데이트 되어있다면 바로 사용이 가능하지만, GGUF 양자화 모델은 모델을 사용하기 위해 추가적으로 커스텀노드를 설치해주셔야합니다. ComfyUI Manager에서 아래와 같이 GGUF를 검색하여 설치하시거나, 아래 깃 주소를 이용해 설치해주시면 됩니다.
Git Repo : https://github.com/city96/ComfyUI-GGUF.git
ComfyUI에서 커스텀 노드를 설치하는 것이 익숙하지 않으신 분들은 아래 글을 참고하시기 바랍니다.
Workflow 구성
FLUX GGUF 양자화 모델을 이용할 때, 일반 FLUX 모델로 구성한 워크플로우와 차이점은 단 하나입니다. 바로 GGUF 형식의 파일을 읽어올 수 있는 모델 로딩 노드를 달리 구성해주시면 됩니다. FLUX 모델 로드를 제외하면 아래의 그림을 참고하여 다른 노드들은 일반 FLUX와 동일하게 적용해주시면 됩니다.
SD1.5 또는 SDXL 등 기존 스테이블 디퓨전 모델을 기준으로 체크포인트 모델에 해당하는 출력단을 따로따로 구성한 것을 대체했다는 의미로 Checkpoint 그룹을 구성해 두었고, 해당 그룹에는 일반 FLUX 모델 로더(Load Diffusion Model : 구 Unet loader)를 배치했습니다. 상단의 보라색 노드가 바로 FLUX GGUF 모델을 로딩해주는 Unet Loader(GGUF)로, 앞서 설치한 커스텀 노드에서 불러온 것입니다. 두 모델을 Switch (Any) 노드로 보냄으로써, 상황에 맞게 둘 중 하나를 선택해 KSampler로 입력할 수 있도록 구성했습니다.
위 이미지는 해당 워크플로우를 통해 FLUX dev FP8 모델과, GGUF Q6 및 Q4 모델을 이용해 생성한 이미지를 비교한 결과입니다. 사용중인 PC의 성능상 24GB 원본 모델을 사용할 수가 없어서 FP8 모델을 기준으로 두고 Q6 모델과 Q4 모델로 생성한 결과를 비교했습니다. 보시다시피, 사실상 언뜻 보아서는, 디테일의 큰 차이가 눈에 띄지는 않는 모습입니다. 이미지 생성시 모든 설정을 동일하게 진행하면, 결과 이미지에서도 99% 동일한 이미지가 생성되므로, 빠른 모델로 먼저 테스팅을 해보고, 마음에 드는 결과물은 다시 원본 모델로 생성하여 사용하는 것도 좋은 방법인 것 같습니다.
FLUX 모델 기반 인페인트 워크플로우 구성 및 테스트 결과 등에 대해 추가적으로 궁금하신 분들은 위 영상을 참고해주시기 바랍니다.
