2024년 10월 뉴스레터

이번 달 랭코드 Newsletter는 최근들어 폭증하는 문의와 글로벌 니즈에 대응하느라 넷째 주 월요일에 발행하였습니다.

벌써 2024년 마지막 분기에 접어들었습니다. 그동안 생성형 AI는 혁신적으로 발전하였으며, 기업의 도입률 또한 급증하고 있습니다. 가트너의 최신 조사(Trending Questions About Generative AI)에 따르면, 3분의 2에 달하는 조직이 생성형 AI를 활용 중이며, 이는 23년 9월 대비 19% 포인트 증가한 수치입니다. 더욱 주목할 점은 응답자의 40%가 3개 이상의 사업 부문에서 생성형 AI를 배치했다고 답한 것입니다. 

이번 뉴스레터에서는 가트너 연구자료 “Trending Questions About Generative AI”를 토대로 생성형 AI의 비즈니스 도입에 어떤 트렌드가 있는지 알아보고 엔터프라이즈 기업의 생성형 AI 도입에 있어 어떤 점들이 주요 이슈가 되는지 공유드리려고 합니다. 아울러 랭코드의 고객사들이 CXP를 빠르게 여러 사업 부문으로 확장하는 이유들도 소개시켜드리며 2024년 생성형 AI 도입 트렌드를 종합적으로 TX Insight에 담았습니다.

생성형 AI 생태계나 도입 시 중요하게 고려해야할 보안 요소 등은 지난 TX Insight에서 확인하실 수 있습니다.

📩 24년 08월호 뉴스레터 “산업별 GenAI 비즈니스 활용 전략”

📩 24년 07월호 뉴스레터 “AI 시대, 기업의 데이터 보안전략” 

가트너 연구자료 “Trending Questions About Generative AI”에서는 정부 정책, 기술, LLM 등 다양한 범위에 걸친 생성형 AI 트렌드를 소개했습니다. 그중 이슈가 되고 있는 대표적인 트렌드를 알아보겠습니다. 

생성형 AI의 급속한 확산으로 여러 기업들이 AI 센터 오브 엑설런스(Center of Excellence, COE)를 설립하고 있습니다. AI COE는 여러 부서에서 동시다발적으로 진행되는 AI 프로젝트로 인한 중복 투자와 비일관적 접근을 방지하는 역할을 합니다.

AI COE의 주요 역할은 전사적으로 AI 전략을 수립, 조정하고 부서간 BEST Case 공유, 기술 표준화 관리 등을 수행합니다. 기업 내 AI 인재 육성과 부서 간 지식 공유를 촉진하여 조직의 AI 역량을 높입니다.

이러한 COE 구축 시에는 유연한 운영, 부서 간 협력, 그리고 경영진의 지원이 중요합니다. 지나친 중앙집중화는 피하고, IT, 데이터 분석, 비즈니스 부서가 긴밀히 협력해야 합니다.

효과적인 AI COE 운영을 통해 기업은 생성형 AI를 성공적으로 도입하고 ROI 증대, AX(AI Transformation)를 통한 업무 혁신을 기대할 수 있습니다. AI COE 설립은 단기적으로 추가 비용이 들 수 있지만, 장기적으로는 기업의 AI 경쟁력을 크게 높이는 핵심 요소가 됩니다. 생성형 AI 시대에 AI COE는 더 이상 선택이 아닌 필수입니다. 

기업들이 생성형 AI를 도입하는데 가장 큰 과제 중 하나는 엔터프라이즈 데이터를 AI 시스템과 효과적으로 결합하는 것입니다. 이는 단순히 기술적인 문제를 넘어 비즈니스 가치 창출의 핵심 요소가 되고 있습니다.

엔터프라이즈 데이터와 생성형 AI의 결합은 기업과 도메인에 특화된 지식을 AI에게 주입하는 과정입니다. 이를 통해 AI는 일반적인 지식뿐만 아니라 기업의 고유한 정보와 맥락을 이해하고 활용할 수 있게 됩니다. 예를 들어, 고객 서비스 AI는 회사의 제품 카탈로그, FAQ, 과거 고객 상호작용 기록 등을 학습하여 더 정확하고 맞춤화된 응답을 제공할 수 있습니다.

이러한 데이터 결합을 위해 많은 기업들이 RAG 기술을 활용하고 있습니다. RAG는 AI 모델이 질문에 답할 때 관련 정보를 기업의 최신 데이터베이스에서 검색하여 참조할 수 있게 해줍니다. 이는 AI의 응답 정확도를 높이고, 기업의 데이터를 빠르게 활용할 수 있게 합니다.

그러나 이 과정에서 데이터 보안, 개인정보 보호, 정부 정책 규제 준수 등의 문제가 중요한 고려사항이 되고 있습니다. 기업들은 다양한 거버넌스를 준수하며 민감한 정보가 AI 시스템을 통해 부적절하게 노출되지 않도록 주의해야 합니다. 이를 위해 데이터 액세스 제어, 암복호화, 로그 추적 등의 메커니즘을 구현할 필요가 있습니다. 

ChatGPT와 같은 대규모 언어 모델(LLM)의 발전으로 기업의 운영 방식을 근본적으로 변화하고 있습니다.

LLM은 CX를 포함한 다양한 고객 서비스, 콘텐츠 생성, 코드 작성, 데이터 분석 등 다양한 영역에서 혁신적인 솔루션을 제공하는데 활용되고 있습니다. 고객 지원 챗봇은 더욱 자연스럽고 지능적으로 발달되어 맥락에 맞는 대화를 할 수 있게 되었고, 마케팅 팀은 개인화된 콘텐츠를 빠르게 생성할 수 있게 되었습니다. 개발자들은 LLM을 활용해 코드 작성 속도를 높이고, 복잡한 알고리즘 구현에 도움을 받고 있습니다.

그러나 LLM의 기업 도입에는 여러 가지 고려사항이 있습니다. 가장 중요한 것은 역시 데이터 보안과 개인정보 보호입니다. LLM에 입력되는 기업 데이터가 외부로 유출되지 않도록 하는 것이 중요합니다. 이를 위해 많은 기업들이 프라이빗 클라우드나 온프레미스 솔루션을 고려하고 있습니다.

또한, LLM의 출력을 제어하고 모니터링하는 것도 중요한 과제입니다. LLM이 부적절하거나 편향된 내용을 생성하지 않도록 하는 것, 그리고 기업의 브랜드 톤과 가치에 맞는 응답을 보장하는 것이 필요합니다. 이를 위해 기업들은 LLM 사용에 대한 명확한 가이드라인과 정책을 수립하고 있습니다. 

📌랭코드 Solution 

지금까지 기업의 생성형 AI 도입 트렌드를 살펴보았습니다. AI 센터 오브 엑설런스(COE)의 중요성, 엔터프라이즈급 데이터 결합의 필요성, 그리고 LLM이 기업에 미치는 혁신적인 영향력이었는데요. 이러한 트렌드는 모두 하나의 큰 그림을 그리고 있습니다. 바로 생성형 AI를 효과적으로 도입하고 지속적으로 관리할 수 있는 통합적인 솔루션을 필요로 하고 있다는 것입니다.

랭코드의 CXP는 이러한 시장의 요구를 정확히 파악하고 기업들이 직면한 도전 과제들을 해결할 수 있는 혁신적인 AI 솔루션입니다. 실제로 많은 고객사들이 CXP 초기 도입 후 생성형 AI 비즈니스에 대한 여러 페인 포인트를 해결하고 더 많은 부서로 전사 확장을 시키며 AX를 실현시키고 있는데요. 어떤 강점이 있는지 설명드리겠습니다. 

수많은 부서와 다양한 형태의 임직원, 고객들이 사용할 수 있으려면 AI COE 조직 이상의 무언가가 필요합니다. CXP는 대화형 AI 플랫폼으로서 사용자 개개인에 대응하는 AI 봇 생성, 업무 할당, 데이터 학습 등의 관리를 자동으로 수행하는 오케스트레이션 기능을 제공합니다.

기업의 문서와 데이터를 업로드하는 것만으로 누구나 개인화된 Q&A나 작업 자동화를 수행하는 맞춤형 AI Assistant를 3분만에 제작, 활용할 수 있으며 따로 관리하지 않아도 피드백을 통한 자가 학습으로 사용자에 맞춰 자동으로 개인화, 고도화됩니다.

뿐만 아니라 생성형 AI를 활용한 데이터 분석과 LLM 별 토큰 사용량 분석, 직급과 부서에 따른 권한 체계, 로그를 통한 RAW 데이터 조회 등 모든 AI를 모니터링하고 지속적으로 관리할 수 있는 기능을 하나의 플랫폼에서 제공함으로써 누구나 쉽게 AI를 도입할 수 있게 하여 기업의 AX를 촉진합니다. 

자체 개발 엔진을 활용하여 LLM의 추론 능력과 피드백을 활용하는 Advanced RAG는 지난 뉴스레터나 인사이트 등에서 몇 차례 소개드린 바 있습니다.

이는 간단한 수준의 RAG가 아니라 사용자 질문 분석, 검색 쿼리 작성, 피드백 반영, 시멘틱 서치, 데이터 청킹, 리랭킹 등 광범위한 부분에 걸쳐 최적의 프롬프트 파이프라인을 구성하는 기술로서 복잡한 엔터프라이즈급 데이터를 전처리 없이 정확하게 다룰 수 있게 합니다.

뿐만 아니라 최소 권한 원칙(PoLP), 재학습 방지, 역할 기반 접근 제어(RBAC), 실시간 모니터링 등 데이터 보안의 필수 요소를 종합적으로 제공합니다. 이를 통해 AI 도입 과정에서 기업의 중요한 데이터를 안전하게 보호하고, AI 성능 최적화와 데이터 보안 사이에서 균형을 유지하여, 글로벌 스탠다드에 부합하는 거버넌스를 준수하는 솔루션을 제공합니다.  

CXP는 단순한 정보 검색과 생성이 아니라 기업의 복잡한 지식 체계를 AI 시스템에 완벽히 통합하는 고도화된 기술로 LLM의 추론 능력을 극대화하는 독자적인 알고리즘과 사용자의 피드백을 실시간으로 학습해 반영하는 적응형 솔루션입니다.

기업의 데이터가 많고 복잡할수록 정밀한 RAG를 구현하는데 난이도가 급격히 상승하는데, 랭코드는 이미 수많은 기업들에게 검증받은 노하우로 공공, 금융, 중공업 등 전분야에 걸쳐 뛰어난 성능을 선보이고 있습니다. 

| 상황에 맞게 최적의 모델을 선택하는 Multi-LLM  

OpenAI, Mistral, Gemini, LLaMa, Claude 등 다양한 최신 모델을 적재적소에 사용함으로써 단일 모델의 한계를 뛰어넘고 각 LLM의 강점을 극대화합니다. 단순히 여러 모델을 사용하는 것을 넘어서 기업의 AI 활용 전략에 따라 성능과 비용 효율성을 모두 고려한 오케스트레이션을 제공합니다.

사용자 질문을 파악해서 효과적인 LLM 조합을 선택하거나, 미리 입력해둔 토큰 제한량이 허용하는 만큼 LLM을 사용하는 등 AI의 잠재력을 최대한 발휘하면서 여러 거버넌스를 충족시키는 방향으로 활용할 수 있습니다.

특히 다양한 LLM을 조합하는 만큼 각 LLM의 특성과 장단점을 명확히 파악하여 보안과 할루시네이션 문제를 해결하고 엔터프라이즈 기업의 성공적인 AI Assistant로 활용할 수 있게 만드는 것이 랭코드의 노하우라고 할 수 있겠습니다. 

📢 글로벌 진출 프로그램 통해 유럽 시장 공략 본격화 | 2024년 10월 14일 ~ 11월 15일  

랭코드는 현재, 유럽 4개국(스페인, 독일, 프랑스, 스위스)을 대상으로 글로벌 진출 프로그램에 참여하여 금융, 중공업, 인프라, 공공 등 다양한 산업군의 엔터프라이즈 고객사를 적극적으로 접촉하고 있습니다. 특히, 이들 산업군에서 요구하는 전문적인 솔루션에 대한 니즈와 피드백을 수집하고 있으며, 이를 바탕으로 PoC(개념증명)를 통해 솔루션의 유효성을 검증하고자 합니다.

당사는 국내외 다양한 기업들과의 협업을 기반으로, 글로벌 시장에 대응 가능한 Vertical 생성형 AI 솔루션을 출시하는 것을 목표로 하고 있습니다. 특히, 유럽의 GDPR, AI ACT 등 까다로운 보안 및 정책 요구사항을 준수하면서도, 유럽 현지 솔루션들이 대응하지 못하는 복잡한 유스케이스에 대응할 수 있는 강점을 보유하고 있어, 현지에서 랭코드의 CXP에 대한 관심이 높아지고 있습니다.

이번 프로그램을 통해 유럽 시장에서의 입지를 다지고, 향후 글로벌 고객사들과의 협업을 확대해 나갈 계획입니다. 

📢 [ISO 9001 품질경영시스템/ ISO14001환경경영시스템] ISO 인증 획득 | 2024.10.15   

📢 [중소기업 벤처부 | 구매연계형 중소기업기술혁신개발사업] 선정 | 2024.10.10  

과제명: 고객정보, 구매정보, 상품정보 결합, 헬스케어 상품추천 챗봇  

데이터를 기반으로 하는 인공지능, 머신러닝, 데이터 분석 등의 최신 기술 트렌드와 이런 기술들이 우리의 생활과 기업의 경쟁력을 어떻게 강화하는지에 대한 세미나입니다.

다양한 성공 사례를 통해 새로운 세대의 비전을 공유하며 실질적인 인사이트를 얻을 수 있는 자리라고 하니 AI와 데이터에 관심 있으신 분들께 추천드립니다.

접수는 오늘 미리 마감한다고 하니 참가 희망하시는 분들은 아래 버튼을 클릭해주세요. 

< 생성형 AI 비즈니스 도입 트렌드 > 를 주제로 한 랭코드의 열 여덟째 TX Insight는 유익하셨나요? 

랭코드는 뉴스레터를 통해

최신의 소식 및 인사이트를 여러분과 함께 나누고자 합니다.

11월에는 더욱 알찬 소식으로 찾아뵙겠습니다. 👋