LLM 컨텍스트 길이·RoPE·슬라이딩 윈도

앱은 질문 앞에 시스템 지침과 역할 표기, 도구 설명을 붙일 수 있어요. 이전 대화를 함께 보내는 앱은 앞선 질문과 답변도 포함해요. 문서 앱은 계약서 전체를 보내거나, 검색한 관련 구절만 보내기도 하죠. 입력창에서 보이는 글보다 실제 요청이 길어질 수 있으니 앱의 토큰 표시나 실행 로그를 확인해요.

토큰 수는 글자 수나 PDF 장수로 정확히 환산하기 어려워요. 같은 페이지라도 한국어, 숫자, 표, 코드가 어떻게 나뉘는지에 따라 달라지기 때문이에요. 비교할 때는 같은 문서의 실제 입력 토큰 수를 사용하면 돼요. 후속 요청에서는 이전 대화가 얼마나 다시 포함됐는지도 살펴보세요.

설명을 위해 총 한도가 16,000토큰이라고 가정할게요. 지침과 계약서가 12,000토큰, 이전 대화가 3,000토큰이면 1,000토큰이 남아요. 답변 상한을 2,000으로 정하려면 입력을 줄이거나 지원되는 범위에서 전체 한도를 늘려야 해요. 앱의 요청 제한과 출력 예약 방식에 맞춰 조정하세요.

길이가 넘었을 때 앱은 요청을 거부하거나 오래된 대화를 줄일 수 있어요. 오류가 나오면 로그의 토큰 한도부터 확인하고, 답은 나왔지만 앞선 조건이 빠졌다면 모델에 실제로 전달된 내용을 확인해요. 출력이 중간에 멈춘 경우에는 설정한 상한, 실제 생성 길이와 종료·잘림 표시도 함께 살펴보세요.

모델 카드의 128K나 256K는 지원하는 최대 컨텍스트 길이⁴예요. 실행 프로그램⁵은 그 범위 안에서 사용할 길이를 따로 정하고, 캐시 공간을 미리 예약하거나 필요할 때 늘릴 수 있어요. 그래서 같은 짧은 질문도 설정을 크게 높이면 사용 가능한 메모리가 달라질 수 있어요.

긴 입력은 프리필⁶ 계산을 늘리고, 이전 토큰을 참고하기 위한 KV 캐시에도 공간을 써요. 가중치 파일은 그대로여도 실행 메모리가 늘어나는 이유예요. 같은 모델·KV 형식·정밀도·동시 요청 수에서 문맥 길이만 늘려 피크 메모리와 첫 토큰 시간을 기록하면 필요한 한도를 찾기 쉬워요.

가중치 Q4와 KV 캐시 정밀도는 별도 설정이에요. 두 값을 함께 바꾸기보다 한 번에 하나씩 조정해보세요. 평소 문서와 답변이 안정적으로 들어가는 길이를 기본으로 쓰고, 드물게 긴 문서는 검색이나 분할 요약으로 처리하는 방법도 선택할 수 있어요.

계약서 앞부분의 갱신일과 뒤쪽의 해지 예외를 함께 물어보세요. 조항 번호나 근거 문장도 요청해 원문과 대조하면, 필요한 내용이 답변에 반영됐는지 확인할 수 있어요. 관련 구절만 검색해 보내는 앱이라면 검색 결과에 두 조건이 모두 들어 있는지부터 살펴봐요.

RoPE 확장은 모델의 위치 표현을 조정해 문맥 범위를 늘리는 방법이에요. 모델과 실행 프로그램이 안내하는 확장 조건을 따르고, 앞·중간·뒤의 근거를 같은 질문으로 시험하세요. 슬라이딩 윈도는 가까운 문맥을 중심으로 처리하는 모델 구조이고, 앱이 오래된 대화를 지우는 것은 요청을 구성하는 동작이에요. 어느 단계가 정보를 줄이는지 알면 설정과 입력 중 무엇을 바꿀지 정할 수 있어요.