ABOUT US

LLM(대형 언어 모델)은 입력 프롬프트의 토큰이 병렬로 처리되는 “미리 채우기”와 자동 회귀 분석에서 텍스트가 한 번에 하나의 ‘토큰’을
생성하는 “디코딩”의 2단계 프로세스로 텍스트를 생성합니다. 생성된 각 토큰은 입력에 추가되고 모델에 피드백되어 다음 토큰을 생성합니다.

LLM 추론 최적화는 다음과 같은 일반적인 기술의 이점을 제공합니다.

양자화는 LLM 추론을 위한 하드웨어 요구 사항을 줄이는 데 사용되는 일반적인 기술입니다.
추론 중에 모델 가중치 및 활성화의 정밀도를 줄이면 하드웨어 요구 사항을 크게 줄일 수 있습니다.

델 병렬화는 단일 장치에서 사용할 수 있는 것보다 더 많은 메모리가 필요한 모델을 학습 또는 추론하고
특정 사용 사례에 적합한 학습 시간 및 추론 측정값(지연 시간 또는 처리량)을 만들기 위해 반드시 필요합니다.

LLM의 계산은 주로 행렬-행렬 곱셈 연산에 의해 지배됩니다. 작은 크기의 이러한 작업은 일반적으로 대부분의 하드웨어에서 메모리 대역폭에 제한됩니다. 자동 회귀 방식으로 토큰을 생성할 때 활성화 매트릭스 차원(배치 크기 및 시퀀스의 토큰 수로 정의됨) 중 하나는 작은 배치 크기에서 작습니다. 따라서 속도는 로드된 데이터를 얼마나 빨리 계산할 수 있는지보다는 GPU 메모리에서 로컬 캐시/레지스터로 모델 매개변수를 얼마나 빨리 로드할 수 있는지에 따라 달라집니다. 추론 하드웨어에서 사용 가능하고 달성된 메모리 대역폭은 최대 컴퓨팅 성능보다 토큰 생성 속도를 더 잘 예측하는 지표입니다.

다양한 수준의 텐서 병렬 처리에서 첫 번째 토큰까지의 시간(TTFT)과 출력 토큰당 시간(TPOT)을 측정했습니다. 입력 프롬프트가 길어짐에 따라 첫 번째 토큰을 생성하는 시간이 전체 대기 시간의 상당 부분을 차지하기 시작합니다. 여러 GPU에 걸쳐 Tensor를 병렬화하면 이러한 지연 시간을 줄이는 데 도움이 됩니다. 모델 훈련과 달리 더 많은 GPU로 확장하면 추론 지연 시간에 대한 수익이 크게 감소합니다.

요청을 일괄 처리하여 토큰당 처리량과 시간을 절충할 수 있습니다. GPU 평가 중에 쿼리를 그룹화하면 쿼리를 순차적으로 처리하는 것에 비해
처리량이 증가하지만 각 쿼리를 완료하는 데 시간이 더 오래 걸립니다. 추론 요청을 일괄 처리하는 데는 몇 가지 일반적인 기술이 있습니다.

일괄 처리가 얼마나 잘 작동하는지는 요청 스트림에 따라 크게 달라집니다.
그러나 균일한 요청으로 정적 일괄 처리를 벤치마킹하면 성능의 상한선을 얻을 수 있습니다.

배치 크기에 따라 요청 대기 시간이 늘어납니다. 유 추론 서비스는 일반적으로 균형 잡힌 배치 크기를 선택합니다. 자신의 모델을 호스팅하는 사용자는 애플리케이션에 대한 적절한 대기 시간/처리량 균형을 결정해야 합니다. 챗봇과 같은 일부 애플리케이션에서는 빠른 응답을 위한 낮은 대기 시간이 최우선 사항입니다. 구조화되지 않은 PDF의 일괄 처리와 같은 다른 애플리케이션에서는 개별 문서를 처리하는 대기 시간을 희생하여 모든 문서를 병렬로 빠르게 처리할 수 있습니다.

각 요소는 모델을 구축하고 배포하는 방식에 영향을 미칩니다. 우리는 이러한 결과를 사용하여 하드웨어 유형, 소프트웨어 스택, 모델 아키텍처 및 일반적인 사용 패턴을 고려하는 데이터 기반 결정을 내립니다. 다음은 도출된 몇 가지 권장 사항입니다.