2024년 02월 뉴스레터


🦄 TX(Total eXperience) Insight 구독자 여러분, 잘 지내셨나요? 
매월 셋째 주 수요일에 찾아오는 랭코드 Newsletter입니다.
지난달에는 스위스 다보스 세계경제포럼(WEF)의 주제인 “AI가 바꿀 미래”의 내용을 바탕으로 2024년을 주도할 AI 트렌드에 대해 알아보았습니다. 

2월호에서는 Basic RAG와 Advanced RAG를 구분하여 소개해 드리려고 합니다. CXP가 처음 세상에 나왔을 때만 하더라도 RAG라는 단어가 존재하지 않아서 기술을 설명할 때마다 난감했던 기억이 납니다.

2020년 8월 Meta AI를 통해 RAG(Retrieval-Augmented Generation, 검색-증강 생성) 기법에 대한 개념이 잡혔고, 이후 Garter와 같은 리서치 기관에서 이를 사용하면서 업계에 조금씩 퍼지기 시작했습니다. 2023년에는 생성형 AI에 대한 관심과 LLM 활용을 위한 다양한 접근법이 시도되면서 하반기부터 Basic RAG를 넘어 Advanced RAG 기법들이 소개되고 있습니다.

RAG는 Retrieval Augmented Generation 즉, 검색 증강 생성으로 불리는 기법입니다. 자연어 처리(NLP) 아키텍처로 이를 LLM과 연계하여 활용하면 더욱 정확하고 유용한 답변을 생성할 수 있게 해줍니다.

이번 랭코드 TX Insight를 통해 RAG 개념을 확실히 잡고, 고급 RAG 기법들에 알아보며 새로운 인사이트를 얻으실 수 있기를 기대합니다!

지난 뉴스레터는 여기에서 확인하실 수 있습니다. 
Basic RAG vs Advanced RAG
(그림 출처: Ivan Ilin Medum Blog)
RAG(Retrieval Augmented Generation)는 검색 증강 생성으로 불리는 아키텍처입니다. LLM이 학습하지 않은 최신 데이터와 외부에 공개되지 않은 데이터에 대해서도 추가 학습 과정 없이 LLM의 강력한 생성 기능을 이용할 수 있도록 하는 것으로, 사용자의 자연어 질문을 이해하고 이를 LLM과 연계해서 더욱 정확한 답변을 생성하게 해주는 기법이죠.

모델을 학습시키는 파인튜닝과 달리 시간과 비용이 적게 들고 무엇보다 실시간으로 변경되는 데이터에 대해서도 정확한 답변이 가능하다는 것이 큰 장점입니다.

위 그림은 벡터 DB를 사용한 기본 RAG 아키텍처입니다. RAG 개념에 대해서는 지난 랭코드 Insight에 자세히 설명되어 있으니 참고해 보세요!

그렇다면 Advanced RAG에서는 어떤 것들이 추가될까요?
(그림 출처: Ivan Ilin Medum Blog)
Advanced RAG

여기엔 기본 RAG 기법에 더욱 정교하고 정확한 답변을 도출하기 위한 여러 가지 작업들이 추가됩니다. 엔터프라이즈급 기업과 사용자 개개인에 맞춘 프롬프트 엔지니어링 작업이 추가된다거나, LLM을 더 세밀하게 컨트롤하고, 지식베이스를 통해 데이터를 체계적으로 관리하는 등의 로직들이 더해지며 Advanced RAG로써 기능합니다.  

예를 들면,

1. 데이터 청킹: 효율적인 벡터 임베딩과 지식베이스 구축을 위해 데이터를 적절한 크기로 청킹하고

2. 벡터 DB 구성: 벡터 임베딩된 내용을 다차원 벡터 DB 속에 저장하며

3. 하이브리드 서치: 시멘틱 서치와 벡터 서치를 활용하여 지식베이스를 검색하고

4. 랭킹 분류: 검색 결과 우선순위나 용도에 맞게 필요한 내용을 정렬, 랭킹을 부여하고 콘텐츠를 새로 조립해서

5. 프롬프트 엔지니어링: LLM이 목적에 맞게 질문과 데이터를 해석하고, 원하는 형태로 결과를 가공해서 답변을 도출할 수 있게 합니다

이런 과정들을 거쳐 생성 AI를 더욱 고도화하고 LLM이 제공하는 강력한 생성 기능들을 최적화하여 활용할 수 있게 됩니다.

랭코드의 솔루션 CXP에도 다양한 Advanced RAG 기법들이 들어가 있습니다. 이 중 일부를 간단하게 소개해 드리려고 합니다.
랭코드 Solution
1. 다양한 문서 대응 및 청킹 전략
CXP는 pdf 문서 외에도 hwp, docx, ppt, xlsx, txt, html, eml, 이미지 파일에 이르기까지 다양한 데이터를 지식베이스로 구축하여 인덱싱할 문서로 활용이 가능합니다. 인덱싱되는 파일 개수에는 제한이 없으며 각 문서는 메타정보 활용, 문맥 단위 청킹 등 랭코드만의 다양한 청킹 로직에 따라 중요한 정보의 소실 없이 세밀하게 청킹되고 인덱싱됩니다. 

또한 엔터프라이즈 기업 문서에는 표 정보가 매우 많은데, 문서 내에서 표가 전달하는 의미를 놓치지 않도록, 감지된 표 부분을 특수 테이블 처리를 하여 인덱싱까지 제대로 전달이 될 수 있게 처리합니다.

2. 하이브리드 서치와 Reranking으로 답변 정확도 강화
CXP는 더 정확한 답변 및 생성 결과를 위해서 벡터 서치와 시멘틱 서치를 모두 활용할 수 있는 하이브리드 서치를 사용합니다.
   
검색 단계에서 비슷한 주제의 문서가 많거나 동일 문서의 수정본들이 있을 경우 Reranking 작업을 통해 문맥에 맞는 근거를 찾아 정확도를 강화하고, 사용자가 직접 문서 간 우선순위를 부여하거나 현행 파일을 선택할 수 있도록 하여 AI 봇이 더욱 사용자 맞춤 지식베이스를 특정할 수 있도록 합니다.
   
생성 단계에서는 각 고객사 도메인에 맞게 정교하게 테스팅된 프롬프트가 제공됩니다. 사용자가 다양한 필요에 맞는 개인용 프롬프트를 직접 작성할 수도 있고, 이 과정에서 AI를 통해 적절한 프롬프트를 작성하게 지시할 수도 있어 경사보다 훨씬 좋은 편의성과 정확도를 제공합니다.

3. 보안 및 거버넌스
랭코드의 AI 기반 PII Detection 기능과 프롬프트 엔지니어링을 활용하여 개인 민감 정보를 세 단계에 걸쳐 처리합니다. 문서 업로드 시, 사용자 질문 시, LLM의 생성 시 개인 정보를 감지하여 사용자에게 알림을 주거나 관리자가 관리 가능하도록 조치하여 개인 식별 정보가 철저하게 관리 될 수 있게 합니다.

또한 CXP 내 각 문서의 이용은 늘 권한 정보를 확인하는 형태로 존재합니다. 사용자의 직급 및 권한에 따라 LLM의 생성 기능을 다르게 조정할 수 있습니다. 생성된 AI 봇의 이용 권한을 사용자의 역할 및 직급에 따라 차별적으로 이용하는 것도 가능합니다.

4. 프롬프트 엔지니어링 등으로 환각 감소
하이브리드 서치와 고객사 맞춤형 프롬프트 엔지니어링으로 AI가 받아들이는 사용자 질문의 이해도를 높이고, 답변 생성 과정에서도 잘못된 정보나 가짜 정보가 들어가지 않도록 차단합니다.

뿐만 아니라 피드백 루프를 통한 강화 학습과 HITL 테스트를 통해 지속적으로 AI 모델이 개선되며 복합 테스트를 통한 답변 최적화 작업으로 환각 현상을 현저히 줄입니다.
Langcode INSIGHT

지난 1년은 생성형 AI(GenAI)의 발전과 보편화로 ‘생성형 AI의 해’ 라고 불러도 과언이 아니었는데요. 이러한 생성형 AI의 눈부신 성장에 힘입어, 많은 기업들도 이를 활용한 다양한 파일럿 프로젝트를 시도함으로써 혁신적인 방법으로 비즈니스 문제를 해결하고 새로운 기회를 탐색하는 움직임을 목격할 수 있었습니다. 이전에 발행된 ‘파일럿 성공: 생성형 AI 프로젝트 구현을 위한 핵심 전략 살펴보기’ 인사이트에서도 생성형 AI 파일럿 프로젝트를 성공적으로 수행하기 위한 전략적 접근법과 핵심 요소들을 정리해드렸는데요. 이번 인사이트에서는 그 범위를 확장하여, 생성형 AI 기술을 기업의 핵심 운영 및 전략에 보다 효과적으로 통합하는 방안에 대해 안내 드리고자 합니다. 

    아래의 더보기 버튼을 눌러주세요 👇
더보기 >
랭코드 News
📢 [중소벤처기업부| 한-독 강소기업 혁신 파트너십 포럼]
한국 유망 스타트업 20 선정 베를린 데모데이 참가 
랭코드가 한국을 대표하는 20개 유망 스타트업에 선정되어, 독일 베를린(2024.02.19)에서 열린 한-독 강소기업 혁신 파트너십 포럼(중소벤처기업부 주관)에 참여하게 되었습니다.

메르세데스 벤츠(Mercedes-Benz), 지멘스(Siemens), 폭스바겐(Volkswagen)을 비롯한 주요 독일 회사 및 정부, 학계, 산업계, VC 등 100명 이상의 한국과 독일 스타트업 생태계 관계자가 모인 가운데 IR과 솔루션 시연을 진행했습니다.

특히, 메르세데스벤츠 자회사인 엠비션(MBition)과의 Automotive 분야 우수 협업 사례로 많은 주목을 받았으며, 이날 자리에 참석한 독일 기반의 글로벌 기업 및 관계자들과 미팅을 통해 협업과 투자의 기회를 포착했습니다.

🦄세계로 뻗어나가는 랭코드, 많은 응원과 기대 부탁드립니다.
이달의 Event
RAG를 이용한 생성형 AI 챗봇을 구축에 관심이 있으시다면 NVIDIA에서 진행하는 Webinar를 신청해 보세요! NVIDIA On Demand Webinar를 통해 다음 내용을 배울 수 있습니다.

1. 챗봇, AI 어시스턴트, 코파일럿이 비즈니스 운영 방식을 혁신하는 방법

2. 엔터프라이즈 생성 AI 애플리케이션을 구동하는 강력한 기술인 RAG의 기본 사항

3. AI 기반 어시스턴트로 가속화되고 있는 주요 사용 사례

4. 지속 가능한 안전한 AI 챗봇을 구축하기 위한 고려 사항
웨비나 신청 >

< Advanced RAG >를 주제로 한 랭코드의 열 번째 TX Insight는 유익하셨나요? 

랭코드는 뉴스레터를 통해
최신의 소식 및 인사이트를 여러분과 함께 나누고자 합니다.

3월에는 더욱 알찬 소식으로 찾아뵙겠습니다. 👋

🦄 랭코드 Business Develop Team 드림

Subscribe to Newsletter (TX Insight)

Langcode publishes a newsletter every month on the third Wednesday of the month (TX Insight).
To stay up to date with Langcode news and the latest IT trends and insights, click the Subscribe button below.