ComfyUI는 사용자가 이미지를 비디오로, 텍스트를 오디오로 변환할 수 있는 강력한 도구입니다. 이 도구를 통해 누구나 창의적인 멀티미디어 콘텐츠를 제작할 수 있습니다. 이번 글에서는 ComfyUI를 활용하여 비디오와 오디오를 생성하는 방법을 단계별로 설명드리겠습니다. 여러분도 이 글을 참고하여 ComfyUI를 쉽게 활용해 보세요.
1. ComfyUI로 비디오 만들기
이미지에서 비디오로 변환하기
ComfyUI를 사용하면 이미지를 간단히 비디오로 변환할 수 있습니다. 이를 위해 필요한 것은 두 가지 모델입니다. 하나는 14 프레임 비디오 모델, 다른 하나는 25 프레임 비디오 모델입니다. 이 모델들은 ComfyUI의 체크포인트 폴더에 넣어야 합니다.
준비물:
간단한 워크플로우:
- 초기 이미지를 준비합니다.
- ComfyUI 인터페이스에 이미지를 로드합니다.
- 14 프레임 모델을 사용하여 비디오를 생성합니다.
또한, SDXL을 사용하여 초기 이미지를 생성한 후 이를 25 프레임 모델에 전달하여 비디오를 생성할 수도 있습니다. 아래 링크를 참조하세요.
중요한 파라미터 설명:
- video_frames: 생성할 비디오 프레임 수
- motion_bucket_id: 숫자가 높을수록 비디오에 더 많은 움직임이 추가됨
- fps: 프레임 속도로, 숫자가 높을수록 비디오가 덜 끊김
- augmentation level: 초기 이미지에 추가되는 노이즈 양을 조절, 높을수록 비디오가 초기 이미지와 덜 닮음
VideoLinearCFGGuidance는 프레임 간의 샘플링을 개선하는 노드입니다. 이를 통해 초기 프레임에서 마지막 프레임으로 갈수록 cfg 값이 점진적으로 증가합니다.
2. ComfyUI로 오디오 만들기
Stable Audio Open 1.0 모델 활용
ComfyUI는 텍스트에서 오디오를 생성하는 데도 유용합니다. 이를 위해 Stable Audio Open 1.0 모델을 사용할 수 있습니다.
필요한 모델 파일:
- t5_base.safetensors
- stable_audio_open_1.0.safetensors
이 모델 파일들을 ComfyUI의 clip 및 checkpoints 폴더에 각각 저장합니다.
간단한 워크플로우:
- ComfyUI 인터페이스에 필요한 모델 파일을 로드합니다.
- 아래 예제 오디오 파일을 다운로드하여 ComfyUI에 로드하거나 드래그합니다.
이 예제를 통해 텍스트에서 오디오를 생성하는 과정을 쉽게 따라할 수 있습니다.
결론
ComfyUI는 이미지와 텍스트를 비디오와 오디오로 변환하는 강력한 도구입니다. 여러분도 이 가이드를 참고하여 다양한 멀티미디어 콘텐츠를 쉽게 제작해 보세요. 창의적인 아이디어를 실현하는 데 큰 도움이 될 것입니다.
참고 자료: ComfyUI, “Video Examples”