카테고리 아카이브:Articles

윤이지, 이수영, 심민준, 안은정, 정백, 이경전, 메타정보와 지식 그래프를 활용한 대화형 매칭 에이전트의 RAG 성능 개선. 2024 지능정보시스템학회 추계 학술대회, 2024.

Abstract

대화형 매칭 에이전트란, 텍스트 형태의 메시지 입력만으로 원하는 거래상대를 매칭해 주는 거래 매칭 AI 에이전트이다. 이 시스템은 사용자가 입력한 메시지를 기반으로 RAG(Retrieval Augmented Generation) 기술을 사용하여 데이터베이스(DB)에서 해당 메시지와 매칭될 가능성이 있는 다른 사용자의 메시지 후보들을 검색한다. 검색된 후보들 중에서 가장 적절한 매칭 상대를 선택하여 출력하는 과정을 LLM(Large Language Model)을 활용해 수행한다.

메시지 데이터의 양이 증가함에 따라 RAG 단계에서 병목 현상이 발생하는 문제가 있다. 특히, 메시지 DB 내 특정 품목(예: 오징어 매매) 관련 메시지의 수가 적을 때는 효율적으로 매칭 후보를 검색할 수 있지만, 이러한 메시지 수가 증가하면 검색된 결과가 구매자의 의도와 덜 일치하게 되는 경향이 있다. 예를 들어, “오징어 구매하고 싶어.”라는 메시지에 대해 RAG가 판매 메시지보다 구매 메시지를 더 많이 검색해내는 문제가 있다. 이는 RAG가 벡터 유사도를 기준으로 문장을 검색하기 때문에 발생하는 문제로, 판매 의사를 가진 메시지와 구매 의사를 가진 메시지 사이의 매칭이 합리적이지만 실제로는 그렇게 일어나지 않는 경우가 많다. 따라서, 검색 결과에서 판매 관련 메시지가 더 우선적으로 나타날 수 있도록 개선할 필요가 있다. 본 연구는 매칭 에이전트 내 RAG 개선 방안을 2가지 제안한다. 첫째, 메시지의 메타정보를 기반으로 RAG 입력 쿼리를 변경하고, 매칭 메시지 후보 검색 과정을 개선하는 것이다. 둘째, 개체 간의 관계를 파악함으로써, 검색 시 쿼리의 맥락이 반영될 수 있도록 하는 지식 기반 그래프 RAG 방식을 사용하는 것이다.

먼저, 메타정보 기반 RAG 입력 쿼리 최적화이다. 최적화는 입력된 메시지로부터 메타정보들을 추출한 뒤, 이를 적절한 매칭 메시지 후보가 검색될만한 쿼리로서 재구성하는 과정으로 이루어진다. 메시지의 요구사항들을 바탕으로 이루어지는 매칭을 일종의 ‘거래’로 볼 경우, 각 메시지들에 대해 ‘거래주체’, ‘거래상대’, ‘거래대상’, ‘거래행동’, ‘거래조건’ 5가지의 메타정보를 추출할 수 있다. 이러한 메타정보를 바탕으로 사용자의 메시지에 매칭될만한 메시지를 임의로 재구성할 수 있다. 본래 메시지의 거래상대는, 매칭 메시지의 거래주체가 되어야 한다. 또한 ‘팔다’와 ‘사다’라는 단어의 관계와 같이, 본래 메시지의 거래행동은 매칭 메시지에서 상호 보완적이면서도 대칭되는 서술어로 변경될 필요가 있다. 매칭 메시지의 거래대상 및 거래조건은 본래 메시지와 같아야 한다. 아래는 이러한 재구성 과정의 예시이다.

가령, “축구화 팝니다. 저한테 좀 작아서 팔아요.”라는 예시 입력 메시지가 있다. 거래주체는 명시되어 있지 않으므로 제외하고, 나머지 메타정보인 거래상대, 거래대상, 거래행동, 거래조건은 각각 ‘축구화 구매자’, ‘축구화’, ‘판매 중’, ‘판매자에게 작아서 판매’가 된다. 여기서 상술한 재구성 과정에 따라 거래행동인 ‘판매 중’은 ‘구매 중’으로 변경된다. 메타정보는 총 5개로 구분하였으나, 우선순위는 각각 주어, 목적어, 서술어에 해당하는 거래상대, 거래대상, 변경된 거래행동 3가지로 보았으므로 쿼리에는 ‘축구화 구매자, 축구화, 구매 중’ 이라는 나열된 단어들이 입력된다. DB 내에 5개의 축구화 판매 메시지, 5개의 축구화 구매 메시지를 넣고 5개의 메시지가 RAG 결과로 검색되도록 설정한 후 실험을 진행한 결과, 축구화를 판매하고 싶다는 본래 메시지의 경우 축구화 구매 메시지가 2개 검색되었으며 메타정보 조합의 경우 축구화 구매 메시지가 4개 검색되었다. 이 결과는 메타정보를 활용하여 RAG 쿼리를 최적화하면 매칭 정확도를 향상시킬 수 있음을 보여준다.

두 번째는 지식 그래프 기반 RAG의 구현이다. 기존의 벡터 유사도 기반 RAG는, 질문의 맥락을 충분히 고려하지 못해 검색 결과의 정확도가 떨어질 수 있다. 이를 해결하기 위해, Microsoft의 GraphRAG 모델을 참고하여, 이를 상거래에 특화된 매칭 에이전트를 위한 프롬프트로 재해석하였다. 지식 그래프 기반 RAG 방식은 사용자가 입력한 텍스트에서 개체와 관계 정보를 추출하여, 이를 데이터베이스에 지식 그래프 형태로 저장한다. 예를 들어 “굴비명가진수에서 신선하고 고품질의 명품 굴비를 만나보세요! 구매를 원하시면 중부시장으로 오시면 됩니다.”라는 문장이 있을 때, 개체와 관계를 다음과 같은 형태로 추출한다. (“entity”, 굴비명가진수, STORE, 굴비명가진수는 신선하고 고품질의 명품 굴비를 제공하는 곳입니다.), (“entity”, 굴비, PRODUCT, 굴비명가진수에서 판매하는 제품입니다.), (“entity”, 중부시장, LOCATION, 구매를 원하는 고객이 방문해야 하는 장소입니다.), (“relationship”, SELL, 굴비명가진수, 굴비) 이러한 형태로 텍스트로부터 개체와 관계를 추출하여 레코드를 생성한다. 이 과정은 LLM의 프롬프트 엔지니어링을 통해 만들어지며, 이렇게 생성된 레코드를 python의 NetworkX 라이브러리를 사용하여 지식 그래프 형태로 변환한다. 이러한 지식그래프 기반 RAG는 개체 간의 관계를 명확하게 파악해, 모델이 검색된 정보의 맥락을 더 잘 이해하고 이를 답변에 반영할 수 있도록 돕는다.

데이터를 지식 그래프 구조로 저장하게 되면 여러 단계의 정보를 거쳐 연결되는 Multi-hop 추론이 가능하게 되며, 단순히 직접적으로 연결된 정보를 검색하는 것을 넘어 연관된 여러 개체와 관계를 통해 깊이 있는 정보를 얻을 수 있다는 특징이 있다. 예를 들어, 지식 그래프에 ‘굴비명가진수는 명절 선물로 인기 있는 고품질 굴비를 판매한다’, ‘굴비명가진수의 고품질 명품 굴비! 중부시장에서 만나보세요’와 같은 정보가 저장되어 있다면, “명절 선물 뭐가 좋을까?”라는 질문에 대해 굴비명가진수가 위치한 중부시장을 제안할 수 있다. 지식 그래프 기반 RAG에서는 서로 밀접하게 연관된 노드들을 그룹화하는 계층적 클러스터링을 수행한다. 이를 통해 텍스트의 주요 주제와 하위 주제를 효과적으로 파악하고, 각 클러스터에 대한 요약을 생성함으로써 개체 간 관계 이해를 더욱 용이하게 만들며, LLM 입력 토큰에 따른 비용 역시 절감할 수 있다는 장점이 있다. 이러한 접근 방식은 더 정확하고 비용 효율적인 검색 결과를 제공하여 사용자에게 유용한 정보를 제공할 수 있다.

본 연구에서는 대화형 매칭 에이전트의 성능 개선을 위해 두 가지 RAG 개선 방안을 제시하였다. 메타정보 기반 쿼리 최적화는 메시지의 구체적 요구 사항을 반영하여 보다 정확한 매칭 결과를 도출할 수 있도록 돕고, 지식 그래프 기반 RAG는 관련 정보의 맥락적 이해를 극대화하여 검색 결과의 정확도를 높였다. 이러한 기술적 진보는 사용자의 의도와 더 일치하는 매칭 후보를 효과적으로 제시함으로써, 대화형 매칭 에이전트의 실용성을 크게 증진시킬 뿐만 아니라, 데이터를 지식 그래프 구조로 구조화하여 저장함으로써 Multi-hop 추론을 가능하게 하고, 이를 통해 단순한 연결을 넘어서 보다 깊이 있는 정보 접근을 제공한다. 결과적으로, 이 연구는 AI 기반 매칭 시스템의 발전에 중요한 기여를 하며, 최종 사용자에게 보다 만족스러운 경험을 제공할 수 있을 것이다.

정규윤, 정백, 옥근우, 심민준, 이경전, 멀티모달 AI 기반 Taxi Call Agent 서비스 구현. 2024 경영정보학회 추계 학술대회, 2024.

Abstract

본 연구에서는 멀티모달 AI 기술을 활용하여 사용자가 특정 목적지로 이동하는 목적을 달성하기 위해, 다수의 택시 어플리케이션을 호출 및 취소하는 과정을 자동화하는 에이전트 시스템인, Taxi Call Agent를 개발하였다. 이 시스템은 각 어플리케이션의 화면을 캡처하고, UI Automator를 활용하여 화면의 UI 요소를 저장한 뒤 이를 프롬프트와 함께 GPT-4o API로 전송하여 각 어플리케이션에서 필요한 행동을 수신하도록 설계되어 사용자가 입력한 한 문장으로 택시 호출을 가능하게 한다.

현재까지 구현한 Taxi Call Agent는 다음의 두 가지 주요 기능에 초점을 맞추고 있다:

1. 다중 택시 어플리케이션 관리: 시스템은 여러 택시 어플리케이션을 동시에 관리하고, 각 어플리케이션의 화면을 캡처하여 UI 요소를 분석한다. 이를 통해 사용자가 원하는 목적지로의 택시 호출을 여러 택시 어플리케이션에서 동시에 시도한다.

2. 택시 호출 취소 최적화: 여러 택시 어플리케이션을 이용하여 사용자가 원하는 목적지로의 호출을 동시에 시도한 후, 첫 번째로 배차가 확정된 택시를 제외한 나머지 호출을 자동으로 취소하는 기능을 통해 사용자에 효율적인 택시 이용 경험을 제공한다.

추가로 사용자의 요청을 자동화하는 과정에서 발생하는 GPT API 호출 비용의 변동과 기술 발전 속도 등을 고려하여 Taxi Call Agent를 활용한 비즈니스 모델의 실제 실행 가능성을 분석한다.

이경전, 윤이지, 이수영, 정백, 안은정, 심민준, 정규윤, 옥근우, 김담, 박동주, LLM과 RAG에 기반한 대화형 매칭 에이전트 프롬프트 엔지니어링 과정과 최적화 이슈. 2024 지능정보시스템학회 춘계 학술대회, 2024.

Abstract

기업이나 정부 등 사회 조직에서 일반적인 상식과 지식을 가진 사람을 채용하게 되면, 그 채용된 사람은 해당 조직의 규칙과 전문 지식을 교육받아 습득하게 된 이후에 업무에 투입되는 데, 이와 마찬가지로, 일반적인 상식과 지식을 어느 정도 갖춘 LLM (Large Language Model)과 같은 초거대 생성AI가 발전한다 하더라도, 그 AI 시스템이 특정 조직과 목적을 위해 일할 때는, 해당 조직의 규칙을 습득하고 이에 기반하여 일을 할 수 있어야 하는데, 이러한 것을 가능하게 하는 과정이 프롬프트 엔지니어링이다. 그 직무가 매칭(Matching)일 경우, 매칭 에이전트는 시시각각 변하는 사용자들의 요구(Request)와 상황(Situation) 정보를 반영할 필요가 있는데, 이는 현재, RAG(Retrieval Augmented Generation)기술에 기반해야 한다. 본 연구는, 다양한 분야에서 매칭을 하는 에이전트를 위한 핵심 알고리듬을 설계하고 개발하기 위한 프롬프트 엔지니어링 과정과 최적화 이슈를 소개한다. 발전하고 있는 LLM과 RAG 기술을 활용하면, 사람과 사람, 사람과 상품, 사람과 비즈니스 등을 모두 이어줄 수 있는, 말 그대로 특정 카테고리의 구분 없이 상대를 매칭해주는 인공지능 시스템을 개발할 수 있을 것이라고 예상된다. 이 시스템은, 실시간으로 조건에 맞는 상대를 매칭하는데, 사용자가 매칭을 요구하는 대화를 입력했을 때, 해당 조건에 맞는 다른 사용자를 추천해주고, 추천된 상대와 연결하고, 남녀매칭이나 중고거래뿐만 아니라 특정 카테고리에 속하기 어려운 요구들도 매칭하는 것을 목표로 한다.

본 연구에서, LLM은 OpenAI의 GPT-4-Turbo를, RAG를 위한 embedding에는 OpenAI의 “text-embedding-3-large” 모델을 사용하여 다음과 같이 프롬프트 엔지니어링을 진행하고 있다. 모든 입력 대화가 매칭을 원한다는 가정 하에, 사용자가 입력한 대화를 입력값으로하는 RAG를 수행하여 유사한 대화들을 N개 추출한다. 유사한 대화들임을 판단하는 기준은 L2거리로, FAISS 라이브러리를 이용하여 Embedding을 통해 벡터값으로 저장되어 있던 타 사용자들의 대화들과 사용자 대화의 벡터값을 비교함으로써 구할 수 있다. 추출된 N개의 대화와 사용자가 입력한 대화를 함께 프롬프트에 넣고, 사용자의 요구사항에 가장 부합하는 타 사용자의 대화를 매칭하는 답변을 생성한다. 만약, 매칭을 찾지 못할 경우 차선이 될 수 있는 매칭 대화를 연결해주되 차선임을 알리는 답변도 함께 생성하도록 설정하였다. 그럼에도 적절한 매칭이 어려운 경우에는, 매칭되지 못했음을 안내하고 다른 매칭으로 재시도해달라는 답변을 생성한다.

매칭 알고리듬의 성능을 높이기 위한 RAG의 개선과 최적화 실험도 진행하였다. 먼저, RAG 검색을 다양화하여 적절한 문장을 검색하도록 하였다. RAG 검색 시 사용자의 입력 문장을 그대로 검색하는 것뿐만 아니라 형태소 단위로 나누어 검색한다. 이와 더불어, 사용자 입력 문장으로부터 명사를 추출하여 해당 단어에 대한 일반적인 텍스트 검색도 수행한다. 이렇듯 검색 방식을 다양화하는 이유는, 전통적인 키워드 검색 방식을 사용하거나 chunk 단위로 검색할 경우에 더 잘 검색되는 대화들이 있기 때문이다. 가령, ‘제가 쓰던 축구공 팔아요.’라는 대화는 RAG 시 ‘축구공’보다 ‘팔아요’라는 의미에 더욱 집중하여 어떠한 제품을 판매하는 대화들을 추출하지만, 해당 문장을 형태소 단위로 분리 시 ‘축구공’과 더 관련된 문장들을 추출하게 된다. 프롬프트 역시 단순히 사용자의 요구에 따라 매칭된 타 사용자를 출력해달라 하는 것보다 매칭 이유까지 출력하도록 할 때, 그리고 사용자가 어떠한 물건을 사고 싶어할 때 사용자가 원하는 물건과 타 사용자가 판매 중인 물건을 함께 출력해보라 작성할 경우 더 적절하고 정확히 매칭하는 양상을 발견하였다.

매칭 시 응답 속도를 높이는 방법으로서, 유사 대화들과 사용자의 입력 대화를 프롬프트에 넣고 매칭을 요청하는 과정에서, 매칭된 상대의 활동명만을 먼저 출력한 뒤 답변을 생성하는 ‘필터링’ 방법을 시도하였다. 이 방법의 유효성을 검증하기 위해, 판매 상점 및 취미 관련 1,102개의 데이터를 활용하여 RAG를 이용한 문장 필터링 유무에 따른 LLM의 응답 속도를 비교 분석하기 위해 30번의 실험 후, 평균 응답 속도를 측정하고, 독립 표본 T-검정과 단순 회귀분석을 실시하였다. 필터링 미적용에서의 평균 응답 속도는 12.59초인데, 필터링 적용시 경우 평균 응답 속도는 10.85초로 감소하였고, 독립 표본 T-검정의 결과, 필터링 적용 전후의 응답 속도 차이는 p-value 0.0015로 매우 유의미한 것으로 나타났다. 또한 회귀분석을 통해 계산된 p-value는 0.002로, 필터링이 응답 속도에 유의한 영향을 미친다는 결과를 재확인했다. 회귀분석에서 도출된 R-squared 값은 0.735로, 필터링 적용의 설명력이 높음을 시사하며, 이는 필터링이 LLM응답 속도에  영향을 끼치는 주요 요인임을 나타낸다. 본 실험결과는, RAG를 이용한 문장 필터링과 같은 최적화 기법이 LLM 응답 속도를 향상시켜서, 인공지능 시스템의 효율성과 사용자 경험을 개선하는 데 기여할 수 있음을 보여준다. 이러한 매칭 알고리듬과 이에 기반한 매칭 에이전트 서비스를 개발하는 과정은 다양한 LLM 대안을 놓고, 속도와 비용, 매칭 성과를 고려하여 최선의 조합을 취사 선택하고, 또 RAG 자체의 성과를 최대하기 위한 알고리듬을 실험하는 과정을 필요로 한다. 실험 결과로 나온 지식들은 프롬프트로 반영되며, 그것은 절차적 알고리듬의 형태로 표현되기보다는 LLM에게 명령하는 프롬프트에 선언적으로 반영하여, 매칭 알고리듬에서의 코드와 지식의 독립성을 높이는 노력을 계속할 예정이다.

매칭에이전트는 거래 상대방을 찾는 데에 그치지 않고, 둘간의 채팅, 만남, 거래 완결까지 진행할 필요도 있다. 이 과정을 완전히 대화형 인터페이스(CUI: Conversational User Interface)로 구현할 수도 있겠지만, 결제 등의 프로세스는 사용자의 명확한 의사 표시와 행동에 근거할 필요가 있으므로, 이를 대화형이 아닌 사용자 클릭 등의 GUI(Graphical User Interface)로 개발하는 한편, 사용자의 의도 파악 알고리듬이 경량화, 내재화되어 비용과 처리시간이 최소화되는 동시에 정확성을 담보하게 된다면, 완전한 대화형 서비스로 구현하는 것을 준비중이다.

매칭 알고리듬은 다양한 분야에서 사용자 요구를 파악하고 원하는 조건의 상대를 찾아주는 매칭 Agent 시스템에서 유연하게 사용되는 것을 목표로 한다. 특정 도메인에서의 매칭에서 사용될 경우, RAG 검색 방식이나 프롬프트에 포함된 변수들을 파라미터화 하여 특화하여 사용할 수 있도록 개발중이다. 개발된 알고리듬은 현재 ㈜하렉스인포텍의 매칭 에이전트 Jarvis Just (JJ)에 채용되어, 중부시장 등 전통시장에 먼저 적용되고 있다.

본 연구는 처음에는 오직 순수한 LLM기반의 이른바 No Code 프로그래밍의 형태로 구현하는 새로운 에이전트 개발 방식을 목표로 출발하였다. 그런데, 중요한 태스크(Task)는 그저 상식과 일반 지식을 가진 LLM의 채용으로 해결되지 않는다는 점을 개발 과정에서 절감하였다. 더구나 다양한 태스크에 대해서 비용과 시간이 많이 드는 LLM API(Application Programming Interface)를 외부에서 일률적으로 부르는 것은, 실험실 연구가 아닌 실제 산업 현장에 적용하는 연구에는 비현실적이었다. 결국 LLM 그 자체의 최적화, RAG 방법 그 자체의 최적화 등 각 프로세스 단위의 최적화가 필요한 동시에, 여러 다양한 LLM API와 자체 AI 모델에 대한 Make-or-Buy Decision을 가설에 근거한 실험을 통해 채택하고 조합해야 하는 최적화 과정이라는 점을 확인할 수 있었다. 또한, 그러한 최적화의 결과가 프롬프트 상에서의 절차적 코드 형태로 표현되는 것은 시스템 유지 보수 관점과 에이전트의 특정 태스크 지식을 관리한다는 측면에서 모두 비효율적이므로, 프롬프트 엔지니어링 과정에서 코드와 지식을 어떻게 분리함으로써, 최적화를 달성할 수 있는가라는 새로운 이슈를 제기한다는 점을 발견하였다.