답변 속도와 가속
최종 업데이트
반복 문구 가속 (Prompt Lookup)·n-gram 추측 디코딩 설명
반복되는 원문을 다음 토큰 후보로 활용해요
Prompt Lookup1은 입력과 앞서 생성한 답에서 반복되는 토큰2 묶음을 찾아 다음 출력 후보로 사용하는 기능이에요. 본 모델이 후보를 검증한 뒤 맞는 부분을 답에 남겨요. 원문을 많이 유지하는 코드 수정이나 문서 재작성에서 생성 시간을 줄일 수 있어요.
함수 이름만 바꿔 같은 코드를 다시 출력할 때, 답변의 상당 부분은 이미 입력에 들어 있어요. Prompt Lookup은 이 반복 구간을 찾아 여러 토큰을 한꺼번에 후보로 보내요. 별도 초안 모델을 내려받지 않고도 시험할 수 있다는 점이 장점이에요.
앞서 나온 토큰의 다음 부분을 찾아요
연속된 토큰 묶음을 n-gram3이라고 불러요. 입력 문서에 ‘계약 기간은 2027년 3월 31일까지입니다’가 있고 답변에서도 같은 문장을 다시 쓴다면, 직전 토큰과 일치하는 구간 뒤의 토큰을 후보로 가져올 수 있어요. 계약서 전체를 별도로 검색하는 대신 모델에 전달된 입력과 생성 기록을 사용해요.
후보를 만드는 조회와 후보를 확인하는 모델 계산이 차례로 이어져요. 본 모델이 현재 문맥에 맞다고 받아들인 연속 구간을 출력하고, 달라지는 지점부터 다시 생성해요. 그래서 반복이 길게 이어지는 요청일수록 한 번에 사용할 후보를 찾기 쉬워요.
문서 앱이 검색한 조항만 모델에 보냈다면 조회 대상도 그 조항까지예요. 다른 페이지가 필요하면 먼저 앱의 문서 검색에서 가져와야 해요. Prompt Lookup은 전달된 문구를 재활용하는 생성 최적화라 검색 누락을 해결하는 단계는 앱 쪽에 남아 있어요.
원문을 많이 남기는 작업에 잘 맞아요
함수 이름을 바꾸고 본문을 그대로 출력하는 작업, 같은 서식으로 표를 다시 쓰는 작업, 계약 조항을 인용하는 작업부터 시험해봐요. 입력과 답변에 일치하는 토큰이 많아 후보가 길게 맞을 가능성이 있어요. 요청할 때 원문 코드나 필요한 조항도 함께 넣어야 해요.
새 설명을 쓰거나 여러 조항의 의미를 비교할 때는 모델이 새 문장을 만들어야 해요. 이때는 그대로 이어 쓸 후보가 적어 효과가 작을 수 있어요. 반복 재작성과 새로운 해석을 따로 비교하면 자주 하는 작업에 도움이 되는지 판단하기 쉬워요.
바뀐 부분은 코드와 테스트로 확인해요
예를 들어 get_renewal_date를 find_renewal_date로 바꾼다고 해볼게요. 옛 이름을 담은 후보는 새 이름을 선택한 본 모델과 맞지 않아 해당 지점에서 탈락할 수 있어요. 이름 뒤의 입력 검사와 날짜 파싱 코드는 같다면 다시 후보로 활용할 여지가 있어요.
후보가 승인됐다는 로그는 토큰 생성 경로를 알려줘요. 코드가 요청대로 동작하는지는 diff와 테스트로 확인해야 해요. 함수 정의만 바뀌고 호출부가 옛 이름을 쓰는지, 입력 검사까지 뜻하지 않게 달라졌는지 살펴봐요.
조회할 n-gram과 후보 길이는 먼저 기본값으로 두세요. 짧은 묶음은 자주 일치하지만 문맥이 다른 곳도 찾을 수 있고, 긴 묶음은 정확한 일치를 찾는 대신 표현이 조금만 달라도 후보가 줄어요. 기본 결과를 남긴 뒤 설정 하나씩 바꾸면 어떤 변화가 도움이 됐는지 알 수 있어요.
PLE 오프로드와 역할을 나눠요
n-gram이라는 말은 Flash-Next의 큰 PLE4 테이블을 설명할 때도 나와요. 두 기능을 고를 때는 무엇을 바꾸는지부터 보면 돼요. Prompt Lookup은 출력 후보를 찾고, PLE 오프로드는 모델 테이블을 둘 저장 위치를 바꿔요.
| 기능 | 다루는 대상 | 주된 목적 |
|---|---|---|
| Prompt Lookup | 입력·생성 기록의 토큰 | 반복 출력의 생성 시간 줄이기 |
| PLE 오프로드 | 모델의 임베딩 테이블 | RAM·SSD를 사용해 VRAM 적재 부담 줄이기 |
같은 작업으로 켜기 전후를 비교해요
실행 프로그램5의 지원 목록에서 Prompt Lookup을 찾고, 이미 잘 동작하는 모델로 시작해요. 함수 이름 변경, 조항 인용, 새 설명 작성 요청을 각각 준비하세요. 같은 입력으로 끈 결과와 켠 결과를 남기고, 모델을 불러오는 시간은 생성 시간과 따로 기록해요.
준비 실행을 마친 뒤 같은 조건으로 여러 번 반복하고 중앙값을 비교해요. 첫 토큰까지 걸린 시간, 이후 생성 시간, 출력 토큰 수를 함께 남기면 답이 짧아져서 빨리 끝난 경우도 구별할 수 있어요. 코드 테스트와 인용할 조항의 누락 여부도 확인해요.
결과를 유지하면서 반복 작업이 빨라졌다면 그 작업에서 사용해요. 모델 적재에 메모리가 부족하다면 양자화6나 지원되는 오프로드 경로부터 살펴봐야 해요. 실행 용량 문제를 해결한 뒤 생성 최적화를 비교하는 순서가 좋아요.
용어 각주
n-그램 조회 추측 — 입력 프롬프트나 생성 기록에서 반복되는 토큰 구간을 찾아 다음 토큰 후보로 제안하는 방식입니다. 문맥 조회로 후보를 만들어 별도 초안 모델 없이 사용할 수 있습니다.
본문으로 돌아가기토큰 — 모델이 입력이나 출력을 나누어 처리하는 단위입니다.
본문으로 돌아가기n-그램 — 연속된 n개의 토큰 또는 항목으로 이루어진 구간입니다. 문맥 조회·추측 생성에 쓰일 수도 있고, 일부 모델에서는 임베딩 테이블의 구성 단위로도 쓰입니다.
본문으로 돌아가기PLE 임베딩 테이블 — Per-Layer Embedding의 약자로, 모델의 특정 층에 임베딩 정보를 더하는 구조입니다. Qwen Flash-Next 계열은 n-그램 테이블을 사용하며, 지원되는 실행 경로에서는 이 테이블을 RAM이나 SSD로 오프로딩할 수 있습니다.
본문으로 돌아가기런타임 — 프로그램이 실행될 때 필요한 기능을 제공하는 소프트웨어 환경입니다. 로컬 AI에서는 모델을 실행하는 엔진을 가리키기도 합니다.
본문으로 돌아가기양자화 — 모델의 가중치나 계산값을 더 적은 비트로 표현해 저장 공간과 메모리 사용량을 줄이는 방법입니다. 표현 단계가 거칠어져 정확도에도 영향을 줄 수 있습니다.
본문으로 돌아가기
자주 묻는 질문
- 이 글에서 가장 먼저 확인할 것은 무엇인가요?
- Prompt Lookup은 입력과 앞서 생성한 답에서 반복되는 토큰 묶음을 찾아 다음 출력 후보로 사용하는 기능이에요. 본 모델이 후보를 검증한 뒤 맞는 부분을 답에 남겨요. 원문을 많이 유지하는 코드 수정이나 문서 재작성에서 생성 시간을 줄일 수 있어요.
- 필요한 메모리는 어느 정도인가요?
- 결과를 유지하면서 반복 작업이 빨라졌다면 그 작업에서 사용해요. 모델 적재에 메모리가 부족하다면 양자화나 지원되는 오프로드 경로부터 살펴봐야 해요. 실행 용량 문제를 해결한 뒤 생성 최적화를 비교하는 순서가 좋아요.