하루가 멀다하고 FLUX 관련 기술들이 발전하고 있습니다. 최근들어 Local에서 FLUX LoRA 학습을 많이들 진행하는 추세인데요, 일반적으로 구동에 비해 학습은 “정밀도”를 더욱 요구하는 작업이기 때문에, 절대적인 컴퓨팅 파워가 받쳐주지 않으면 아예 진행 자체가 불가합니다. 때문에 초기에는 낮은 VRAM에서는 FLUX LoRA 학습 자체가 불가했지만, 여러 우회로가 확보되면서 현재는 상대적으로 낮은 12GB의 VRAM을 탑재한 GPU에서도 로라 학습이 가능한 … Read more
Ollama는 사용자의 로컬 PC에서 설치하여 사용할 수 있는 LLM(Large Language Model)입니다. LLM은 언어모델을 의미합니다. 이해를 위해 ChatGPT를 예로 들면, 웹을 통해 사용자가 질문을 하면, 인공지능 모델(GPT 모델)이 답변을 사용하는 것과 같이 Ollama를 PC에 설치하고, 사전에 학습된 모델을 다운받아두면, 인터넷에 접속하지 않고도, 인공지능 모델에게 질문을 던지고, 답변을 들을 수 있습니다. 본문에서는 Ollama를 설치하고, 이를 ComfyUI에서 사용하는 … Read more
지난 포스팅에서 다룬 FLUX 모델의 높은 이미지 품질과, 높은 프롬프트 이해도 덕분에 굉장히 빠른 속도로 관련 기술이 발전하고 있습니다. 그 중에서도 특히 FLUX GGUF 양자화 모델의 경우, 기본 모델의 무거운 용량을 획기적으로 다이어트 하면서도 높은 품질을 유지할 수 있어 매우 큰 주목을 받고 있습니다. 오늘은 ComfyUI에서 FLUX GGUF 양자화 모델을 구동하는 방법에 대해 살펴보겠습니다. FLUX … Read more
Flux 모델이 등장하면서 생성형 AI 그림 커뮤니티가 매우 뜨겁습니다. 당사의 자체 자료에 따르면 미드저니 6을 능가하는 성능을 내면서도, 로컬에서 오픈소스로 사용 가능한 상황이기 때문에, 등장 자체만으로도 뜨거운 감자일 수 밖에 없는 것 같습니다. 본문에서는 현재 공개된 Flux 모델에 대해 살펴보고, ComfyUI에서 Flux 모델을 구동하는 방법에 대해 알아보겠습니다. Flux 모델 Flux는 Black Forest Labs에서 2024년 8월 … Read more
AI 기술을 이용해 가상의 인물을 설정하고 SNS 사진을 생성해 운영하는 계정들이 많이 생겨나고 있습니다. 그만큼 생성형 AI가 만들어주는 이미지가 실사와 구분이 어려울만큼 사실적이라고 볼 수 있습니다. 하지만, 프롬프트 원클릭만으로 만들 수 있는 이미지의 구도와 느낌은 어느정도 제약이 따르기 마련입니다. 본문에서는 배경 사진만 있다면, 그 속에 인물을 그려넣는 방식으로 가상 인물 중심의 SNS 게시물용으로 사용할 이미지를 … Read more
본문에서는 컨트롤넷 타일 및 Ultimate SD Upscale을 활용하여 가장 편리하면서도 괜찮은 품질을 얻을 수 있는 SDXL 업스케일 방식에 대해 살펴보도록 하겠습니다. SD1.5와 달리 SDXL은 기본 해상도가 높기 때문에, 결과 이미지를 업스케일하는 것 또한 많은 컴퓨팅 파워를 요구합니다. 업스케일을 한 번 진행하는 것만으로도 시간이 꽤 걸리기 때문에, 오늘 소개드리는 간편하면서도 일정수준 이상의 품질이 보장되는 방식을 사용해보시기 … Read more
ResAdapter는 이름 그대로 해상도(Resolution)를 적절한 값으로 적용(Adapter)해주는 역할을 합니다. 본문에서는 ComfyUI에서 SD1.5 체크포인트 모델을 이용해 SDXL 해상도의 이미지를 생성해보고, 적용 전의 이미지와 비교해보겠습니다. ResAdapter의 필요성 1024×1024 해상도 기반의 SDXL 모델이 처음 등장하기 전까지 512×512 해상도 기반의 SD1.5 파인튜닝 모델이 전세계적으로 활발하게 학습되고 공유되면서, 모델 자체의 디테일과 표현력이 굉장한 수준으로 상승했습니다. SDXL은 기본적으로 SD1.5보다 높은 해상도의 … Read more
Rgthree 커스텀 노드에서 Fast Groups Bypasser 및 Fast Groups Muter 노드를 이용해 워크플로우의 그룹 스위칭을 구현해봅니다. 지난 글에서 ComfyUI Logic 및 스위칭에 대해 살펴보면서, On/Off 스위치의 중요성과, 임시로 스위치를 만들어 사용하는 방법에 대해 소개드린 적이 있습니다. 제대로된 스위치 노드가 없는 상황에서는 결국 Bypass 또는 Mute를 단축키로 사용하거나, 혹은 이미지를 다음단계로 강제로 넘겨주지 않는 방식으로 워크플로우의 … Read more
ComfyUI에서 영상을 다룰 때 필수적으로 사용하는 커스텀노드인 Video Helper Suite와, 인물의 얼굴을 빠르게 바꿔주는 reactor를 이용해 영상 속 얼굴을 바꾸는 간단한 워크플로우를 구성해보겠습니다. 영상은 사실 연속된 이미지 모음(프레임)을 시간의 흐름에 맞게 보여주는 것이기 때문에, 스테이블 디퓨전으로 이미지를 생성하고 편집하는 과정을 각 프레임마다 작업해주기만 하면, 이론적으로 영상도 편집이 가능합니다. 본문에서는 ComfyUI에서 원본 영상을 각 프레임로 나누고, … Read more