n-gram 추측 디코딩·Prompt Lookup 설명

쉽게 말하면

입력한 문서나 앞서 만든 답변에서 비슷한 문구를 찾고, 그 뒤에 이어진 내용을 다음 답의 후보로 씁니다. 별도의 작은 모델이 없어도 되는 가벼운 가속 방법입니다.

장비를 고를 때

코드 수정과 문서 재작성에는 도움이 될 수 있지만 일반 대화에서는 차이가 작을 수 있습니다. 이 기능 때문에 더 비싼 장비를 살 필요는 없습니다.

이 글에서 확인할 내용

• 별도 초안 모델과 추가 가중치가 필요하지 않습니다.
• 입력이나 출력에 반복 패턴이 있어야 후보를 만들 수 있습니다.
• 코드 수정·요약·문서 재작성에서 유리한 편입니다.

n-gram은 연속된 토큰 묶음입니다

최근 생성된 n개 토큰과 같은 패턴을 프롬프트나 이전 출력에서 찾고, 그 뒤에 이어졌던 토큰들을 초안 후보로 가져옵니다. 메인 모델은 이 후보를 묶어서 검증합니다.

언어 모델을 한 번 더 실행해 초안을 만드는 것이 아니라 문맥 안의 패턴을 조회합니다. 그래서 추가 모델 메모리는 거의 필요 없고 준비 비용도 비교적 작습니다.

잘 맞는 작업이 분명합니다

기존 코드를 일부 수정해 다시 출력하거나 원문을 요약하면서 고유명사와 문장을 반복하는 작업은 긴 일치 구간이 생길 수 있습니다. 정형 템플릿, 표 변환과 추론 뒤 결론을 다시 정리하는 출력도 후보가 나올 가능성이 큽니다.

반대로 짧은 질문에 새로운 답을 쓰는 대화나 창의적인 글은 과거 문맥과 맞는 후속 구간이 적습니다. 이때는 조회 비용만 들고 기본 디코드와 비슷하거나 약간 느릴 수 있습니다.

n과 후보 길이의 균형

n이 너무 작으면 흔한 짧은 패턴이 잘못 일치해 승인률이 낮아집니다. 너무 크면 정확한 일치를 찾기 어려워 후보가 자주 비게 됩니다.

후보 길이도 길수록 무조건 좋은 것은 아닙니다. 긴 후보가 맞으면 큰 이득을 얻지만 앞부분에서 틀리면 뒤 토큰 계산이 낭비됩니다. 런타임 기본값을 출발점으로 작업별 승인 길이를 봐야 합니다.

캐시 방식과 조회 방식

단순 조회는 현재 토큰 기록에서 마지막 일치 구간을 찾습니다. 해시 맵이나 n-gram 캐시는 패턴과 다음 토큰 통계를 보관해 여러 요청이나 긴 기록에서 더 빠르게 후보를 찾을 수 있습니다.

구현에 따라 캐시가 요청 사이에 공유되기도 하므로 세션 격리와 캐시 초기화 동작을 확인해야 합니다. 같은 이름의 n-gram 옵션이라도 검색 범위와 통계 방식은 런타임마다 다릅니다.

실전 판단법

평소 작업의 실제 프롬프트와 출력으로 기본 디코드 대비 tok/s를 비교하세요. 반복이 많은 샘플 하나의 최고 결과를 모든 대화에 적용하면 과대평가하기 쉽습니다.

메모리가 빠듯해 별도 초안 모델을 올리기 어렵고 반복형 작업 비중이 높다면 먼저 시험할 가치가 있습니다. 일반 채팅이 중심이면 기본 디코드를 유지하고 필요 작업에서만 켜는 방식이 단순합니다.