RTX 5090으로 오래된 영상을 복원하기: SwiftVR 로컬 시작 가이드

예를 들어 오래된 480p 여행 영상을 큰 화면에서 다시 보고 싶다고 해보겠습니다. SwiftVR의 예제는 `upscale=4`로 출력 크기를 네 배 확대합니다. 따라서 원본 비율과 픽셀 크기를 먼저 확인해 결과가 실제로 필요한 화면·편집 규격에 맞는지 살펴야 합니다. 목표는 장면을 새로 그리는 일이 아니라 원본에 이미 있던 윤곽과 질감을 복원하는 것입니다. 인물 얼굴의 모양이 유지되는지, 잔디와 건물 경계가 덜 뭉개지는지, 움직이는 장면에서 프레임³ 사이가 갑자기 흔들리지 않는지를 미리 적어 둡니다. 그래야 선명해 보인다는 인상 하나로 영상 전체가 좋아졌다고 판단하지 않습니다.

SwiftVR의 모델 카드 제목은 ‘Real-Time One-Step Generative Video Restoration’입니다. 모델은 2026년 6월 공개됐고 Wan2.2-TI2V-5B를 기반으로 합니다. 여기서 ‘생성’이라는 이름이 들어가도 이 글의 사용 흐름은 프롬프트로 새 동영상을 만드는 것이 아니라 저화질 입력을 복원하는 것입니다. 이미 있는 영상이 없거나 장면 내용을 바꾸고 싶다면 다른 생성 모델을 찾아야 합니다.

원본의 프레임률, 해상도, 길이도 기록해 둡니다. 복원 전후를 비교할 때 재생 창이 자동으로 크기를 바꾸거나 플레이어가 프레임을 건너뛰면 눈으로 본 차이가 모델 결과와 섞일 수 있습니다. 같은 구간을 같은 크기로 놓고 멈춘 프레임 몇 장과 움직임을 함께 확인하면 윤곽 보존과 시간적 안정성을 따로 살펴볼 수 있습니다.

SwiftVR 제작자는 RTX 5090 한 장에서 1080p 약 26 FPS를 보고했습니다. 조건은 BF16, 기본 PyTorch⁴ SDPA 경로, 인과적 청크 프로토콜이며 하드웨어별 재학습이나 커널 교체가 필요 없다고 모델 카드에 적었습니다. 이 숫자는 프레임 처리율이지 ‘30초짜리 영상은 정확히 몇 초면 끝난다’는 보장이 아닙니다. 입력 읽기, 영상 디코딩, 청크 버퍼링, 출력 인코딩과 저장이 전체 작업에 더해지기 때문입니다.

모델 카드의 다른 표는 단일 H100에서 2560×1440, 인과적 스트리밍, 24프레임 조건으로 평균 0.766초와 31.32 FPS, 피크 메모리 38.01GB를 기록합니다. 이 값은 5090 결과가 아닙니다. 같은 카드에는 H100에서 4K 약 14 FPS라고도 별도로 적혀 있습니다. 해상도와 GPU⁵가 모두 다르므로 QHD 또는 4K 작업이 RTX 5090에서도 같은 속도라고 계산할 수 없습니다.

LightX2V는 SwiftVR을 별도 실행기로 지원하며, 저장소는 단일 H100에서 요청당 1.91배 속도 향상과 피크 GPU 메모리 65.71% 감소를 보고합니다. 그 측정의 비교 기준도 H100입니다. RTX 5090 수치에 이 배수를 곱하면 실제 측정하지 않은 결과가 만들어집니다. 우선 공식 SwiftVR 실행 경로를 기준선으로 성공시키고, LightX2V로 옮겼을 때는 같은 RTX 5090·같은 입력·같은 출력 해상도를 따로 측정해야 합니다.

공식 SwiftVR 예제에는 PyTorch 2.10.0·torchvision 0.25.0의 CUDA⁶ 12.4 휠 명령이 있지만, 그 조합을 RTX 5090에 그대로 권하지 않습니다. Blackwell(sm_120) 지원을 맞추려면 공식 PyTorch CUDA 12.8 휠 저장소에서 같은 버전 쌍을 설치하고, 사용 중인 NVIDIA 드라이버가 이를 지원하는지 확인하세요. CUDA 휠은 사용자 공간 런타임⁷을 포함하므로 로컬 CUDA Toolkit 설치와는 별개입니다. 모델 가중치와 추론 코드는 Apache-2.0으로 공개되어 있습니다.

별도 환경에서 코드를 설치한 뒤 가중치를 `H-oliday/SwiftVR` 모델 ID로 내려받습니다. 체크포인트⁸ 폴더에는 ReAE 가중치, 빈 프롬프트 임베딩, Diffusers 형식의 transformer⁹ 파일이 필요합니다. CUDA 12.8 휠이 실제 설치됐는지는 아래 점검에서 `torch.version.cuda`가 12.8이고 RTX 5090 capability가 (12, 0)인지 확인합니다. `no kernel image is available` 또는 `sm_120 is not compatible`가 나오면 우선 실행 중인 Python이 다른 가상환경¹⁰의 torch를 가져오는지, 설치 휠이 Blackwell 아키텍처를 포함하는지 확인하세요. 모델 적재 중 파일을 찾지 못한다면 `--checkpoint` 폴더 바로 아래의 세 체크포인트 항목이 있는지 확인합니다.

짧은 시험 영상이 끝나면 원본과 결과를 같은 플레이어 크기로 열어 앞서 적은 기준을 확인합니다. 인물 윤곽이 원본과 달라지거나 배경의 작은 무늬가 새로 생긴 것처럼 보이면, 더 선명하다는 이유만으로 통과시키지 않습니다. 중요한 영상이라면 원본 프레임, 복원 프레임을 같은 시점에서 나란히 놓고 얼굴·문자·직선처럼 식별하기 쉬운 부분을 비교합니다. 생성형 복원은 세부를 그럴듯하게 보정할 수 있어 원본에 없던 질감이 실제 정보로 복구됐다고 단정해서는 안 됩니다.

`clip_len`은 시간 방향으로 묶어 처리할 프레임 수이며 저장소 예시는 24를 사용합니다. 길이를 바꾸면 메모리와 청크 경계 동작도 달라질 수 있으니 처음부터 여러 옵션을 동시에 바꾸지 않습니다. 먼저 기본 설정에서 영상 파일이 완성되는지 보고, 그 다음 청크 길이 하나만 바꿔 실행합니다. 결과가 `None`처럼 비어 있거나 마지막 부분만 누락된다면 처리 도중 오류가 있었는지, 입력을 끝까지 읽고 마지막 버퍼를 비우는 단계가 수행됐는지 로그와 파일 길이를 살핍니다.

FPS와 파일 완료 시간은 다른 질문에 답합니다. FPS는 처리 중 프레임이 얼마나 빠르게 계산되는지를 보여 주지만, 시작 로딩과 인코딩까지 포함한 총 시간은 말해 주지 않습니다. 30초 입력 파일을 재생하는 데 30초가 든다는 의미도 아닙니다. 원본 파일 길이와 함께 실행 시작·종료 시각, GPU, 출력 해상도, `clip_len`, 정밀도, FPS를 적으면 다음 번에 같은 작업을 재현할 수 있습니다.

RTX 5090을 쓰고 1080p 복원을 하려는 경우라면 제작자의 약 26 FPS는 실행 가능성을 가늠할 출발점입니다. 다만 내 파일에서 같은 성능을 얻었다는 뜻은 아니므로, 짧은 구간이 성공한 뒤 전체 파일을 한 번 처리해 완료 시간을 재야 합니다. 프레임률이 같아도 길이, 입력 코덱¹¹, 저장 위치와 실행기의 전처리 방식에 따라 대기 시간은 달라질 수 있습니다.

5090이 아닌 GPU라면 H100 표의 31 FPS나 4K 수치를 그대로 대입하지 마세요. 특히 영상 복원은 출력 해상도가 커질수록 프레임마다 처리할 픽셀이 늘어납니다. 먼저 목표 크기를 정하고, 그 크기로 실제 완료한 사례나 본인 장비의 시험 결과를 기준으로 판단합니다. 모델이 실행은 되지만 시간이 너무 길다면, 구매 전에 짧은 구간으로 처리율과 전체 작업시간을 분리해 보고 해상도나 청크 설정을 낮춰도 목적에 맞는지 확인할 수 있습니다.

반대로 새 장면, 인물 동작, 카메라 이동을 만들어야 한다면 SwiftVR이 해결할 일이 아닙니다. 이 가이드의 결론은 ‘RTX 5090이면 영상 AI가 다 된다’가 아니라, 복원이라는 특정 작업에서 제작자가 1080p 수치를 공개했고 그 조건을 내 파일로 확인할 수 있다는 것입니다. 짧은 테스트에서 세부 보존이 만족스럽고 전체 파일 처리시간도 작업 일정에 맞을 때만 기존 영상을 일괄 복원하는 편이 안전합니다.

설치와 모델 사용 조건은 다음 원문에서 확인할 수 있습니다.