들어가며
지난 인사이트 “ 새로운 생성형 AI 시대를 위한 멀티 LLM 최적화 전략 살펴보기”에서는 OpenAI를 필두로 오픈 소스 및 상업 모델을 포함한 다양한 대규모 언어 모델(LLM)들이 출시되는 중이며, 특히 LLM의 활용이 필요한 기업들이 성능, 규모, 비용 등 여러가지 요인을 통해 적합한 LLM을 선택하여 사용하는 방식인 멀티 LLM에 대한 이야기를 하였다.
이번 시간에는 단일 모델보다 여러 가지 이점을 가져다주는 멀티 LLM의 실제 예시들과 그 퍼포먼스를 극대화하는 활용 방법에 대해 알아보고자 한다.
멀티 LLM 사용 형태
여러 LLM이 이용되는 이유
다양한 언어 모델을 활용하면 각 모델의 특화된 기능이나 전문 지식을 이용할 수 있게 된다. 간단한 예로는 A 모델은 텍스트 요약이나 생성에, B 모델은 문서 번역, C 모델은 이미지 생성에 이용하는 식이다. 따라서 잘 조합된 모델들은 특정 태스크에서 전반적인 성능과 정확도를 높일 수 있게 되며, 효율적인 태스크 처리로 이어지게 된다.
단일 LLM을 사용할 때보다 리스크를 분산하여 안정성을 보장하는 것도 장점이 된다. 지정된 단일 LLM이 동작하지 않는다면, 그 LLM이 속한 전체 시스템은 더 이상 진행되지 않을 확률이 높지만, 멀티 LLM 환경에서는 다른 LLM들이 그 역할을 대신해 줄 수 있게 된다.
이와 같은 장점들로 기업 환경에서는 다양한 LLM을 조합하여 사용할 수 있는 멀티 LLM을 도입하려는 시도가 많고, 각 기업의 구체적인 요구사항들은 매우 다양하기에 그 요구사항을 유연하게 만족할 수 있는 여러 모델의 활용 필요성이 더욱 커지고 있다.
멀티 LLM 활용 사례
LLM Blender
LLM Blender는 여러 가지의 오픈소스 LLM의 강점을 활용하여 일관된 성능을 달성하기 위한 멀티 LLM 프레임워크이다. PairRanker 모듈은 입력값과 여러 후보 텍스트 페어를 함께 인코딩하여 가장 우수한 후보를 결정하는 모듈이 된다. 이 과정으로 개별 모델 출력의 세부 차이를 구별할 수 있게 되며, 이는 기존의 단순한 점수 계산 방식과 달리, 더 정교한 순위를 매기는 데 기여하는 방식이 된다.
LLM Blender는 다양한 LLM의 출력을 통합하는 방식으로 개별 LLM 보다 우수한 성능을 보이며, 이는 단일 LLM의 편향성이나 불확실성을 줄이는 것에 초점이 맞춰져 있다.
다만 LLM Blender는 여러 개의 LLM의 전체 실행을 통해 그 출력을 평가하는 방식이기에 상대적으로 많은 비용과 시간이 필요한 방식이다. 또한 개별 모델의 업데이트나 개선 사항의 신속한 앙상블 프레임워크의 통합에 많은 리소스가 소모될 수 있다.
LangChain Architecture
랭체인은 LLM의 사용을 간소화하고 통합하기 위한 오픈 소스 프레임워크로, 다양한 LLM들을 위한 인터페이스로서 LLM 기반 애플리케이션을 구현하는데 필요한 요소들를 제공해준다.
기본적으로 체인(Chains)이란 요소는 다양한 작업을 순차적으로 연결해주며, 이를 통해 여러 LLM을 연결하여 호출 및 조합할 수 있다. 또한 다른 데이터 소스에 연결하거나 언어 번역 등 용도에 맞도록 체인을 구성할 수 있다.
메모리는 생성되는 대화나 아웃풋에 대한 기억을 유지시켜주는 맥락 정보 즉, 컨텍스트를 유지하게 해주는 요소가 된다. 이는 외부 소스를 통해 저장되기도 하여 장기적인 메모리로서 이용될 수도 있다.
에이전트는 설정된 LLM을 추론 엔진으로 두어, 쿼리에 응답하는 가장 적합한 프로세스를 결정하는 중요한 결정을 하는 요소가 된다.
프롬프트 템플릿은 LLM에 입력되는 지시사항으로, 일관되고 정확하게 사전 구현이 된 템플릿이다. 여러가지 유형이 있으며, 프롬프트 간 조합이나 내부 구성요소의 조합을 다양하게 구성할 수도 있다.
랭체인은 오픈 소스로서 다양한 LLM과 통합할 수 있는 유연성을 제공하지만, 이는 곧 시스템의 복잡함을 더하게 되는 요인이 된다. 즉, 효과적인 사용과 관리를 위해서는 상당한 LLM 관련 이해도와 경험이 필요하다.
CXP의 멀티 LLM
CXP 내 연동 가능한 LLM
CXP는 멀티 LLM 기능을 통해 사용자나 관리자가 원하는 LLM을 선택하여 사용할 수 있는 지원을 기본으로 하며, 특히 별다른 지식이나 설정 없이도 사용자의 상황에 최적화된 LLM 파이프라인 구성을 지원한다. 그 자세한 특징으로 아래 기능들을 포함한다.
예산에 맞는 LLM 구성 자동화
보통 솔루션을 사용하는 테넌트에서 목표로 하는 생성형 AI에 관련된 예산이나 한도가 매달 있기 마련이다. CXP에서는 이 목표 예산액을 기준으로 관련 메트릭의 평균적 수치를 이용한 역산을 통해 미래 가용 자원을 계산하여, LLM 선택 및 프롬프팅 토큰 수를 지능적으로 조정할 수 있다.
설정된 예산 임계치에 근사할 때 알림을 보내거나 사용 기회를 제한하는 식의 전형적인 접근을 넘어, 안정적인 생성형 AI 사용 경험을 보장하는 것이 그 목적이 된다.
업무에 맞는 LLM 구성 자동화
랭코드는 자동차, 통신, 유통, 조선, 패션, 금융, 럭셔리, 보안, 공공, IT 등 매우 다양한 분야에서 CXP 프로젝트를 수행하였다. 이 경험으로 각기 다른 사용자의 질의나 쿼리를 해결하여 왔고, 요청 유형 별 더 효율적인 LLM 및 프롬프트 조합을 실험해왔다. 즉, 태스크의 단위 별 더 적합한 LLM을 구성할 수 있는 경험적 자산을 보유하고 있으며, 이 자산을 활용하여 상황별 최적의 프롬프트나 코드의 모듈을 조합할 수 있게 된다.
LLM 오케스트레이션
상술된 자동화 단계를 모두 포괄하는 LLM 오케스트레이션은 최적의 멀티 LLM 퍼포먼스를 낼 수 있게 해주는 기능이다.
예를 들어, 여러가지 단위 업무가 포함된 하나의 복잡한 쿼리가 입력된다면, CXP는 현 가용 리소스 조회 결과가 반영된 LLM들을 목록화한다. 그리고 ReAct 기법을 통해 각 업무 단위 별 적합한 LLM 혹은 프롬프트 조합을 추론한 후 관련 로직을 더하게 되고, 업무 유형에 따라 병렬 혹은 순차 모델 실행으로 업무를 처리하게 된다. 각 결과물들은 평가 LLM을 통해 기존 쿼리와 함께 이용된 지식베이스를 기반으로 품질 검토가 이뤄지며, 그 이후 최종 답변에 사용되는 데이터로 가공이 된다.
이 일련의 과정이 LLM 오케스트레이션으로 역할하게 되며, 위 흐름은 수많은 다양한 요청에 대응하는 하나의 예시로 실제로는 그 과정이 축소가 되거나 더 확대가 될 수도 있다.
마치며
앞으로도 더 유용한 LLM들은 계속 등장할 것이기에 기업들은 새로운 모델 도입이나 멀티 LLM 전략을 계속하여 최적화해 나가야 할 것이다.
랭코드에서는 이런 새로운 LLM들을 기존 LLM과 비교 테스트하여 그 결과를 분석하고 적절한 LLM을 연동할 수 있는 하나의 파이프라인을 만들어 가고 있다. LLM들을 효율적으로 이용할 수 있는 더 발전된 엔터프라이즈용 플랫폼인 CXP가 될 수 있게 많은 노력을 기울이겠다.


