Category Archives: Machine Learning / Deep Learning

김수현, Yixin Qiu, 정백, 옥근우, 박원송, 이경전, 경량화된 초거대언어모델을 활용한 개인간 연합학습 구조연구: Healthcare Service 응용. 2023 경영정보관련 춘계통합학술대회, 2023.

Abstract

초거대언어모델(LLM: Large Language Model)을 기반으로 한 서비스가 다양한 분야에서 등장하고 있으며, 이러한 서비스를 개인화하여 제공하는 추세에 있다. 하지만 초거대언어모델 기반 서비스(예: ChatGPT)는 채팅 내용이 서버에 업로드되어 모델의 개선과 성능 향상에 사용될 수 있어 사용자 프라이버시 등의 안전 문제가 존재한다.
이를 해결하기 위해 경량화된 초거대언어모델을 활용하여 개인 간 연합학습 구조를 제안한다. 연구를 위해 ‘LLaMA(Large Language Model Meta AI)’를 채택하였다. 이 모델은 고성능과 작은 파라미터 양을 가지며, 개인 모바일 디바이스에 쉽게 설치가 가능하기 때문에 개인정보를 서버에 업로드할 필요 없이 개인 디바이스에 설치한 LLaMA 모델만으로 학습할 수 있고, 따라서 정보유출의 위험을 줄일 수 있다. LLaMA 모델은 사용자의 피드백에 따라 지속적으로 조정될 수 있다. 더 나아가, 개인 기기 간에 로컬 모델 가중치를 공유하여 최종 모델의 성능을 향상시키는 Personalized Federated Learning(PFL)의 가능성을 확인하고자 한다. 클라이언트 간의 데이터 공유 없이 클라이언트 개인의 데이터로부터 모델을 개인화는 동시에 성능을 높이는 구조가 가능할 것이라 예상된다. 본 연구에서 제안한 구조를 통해 사용자에게 보다 안전하고 고성능이며 개인화된 서비스를 제공할 수 있을 것이다.

옥근우, 오동근, 이건호, 김성만, 정백, 이경전, 생성 AI(Generative AI)를 활용한 Commerce Service 개발: Order Fulfilment & Personalized Event Promotion, 2023 경영정보관련 춘계통합학술대회, 2023.

Abstract

ChatGPT로 대표되는 대규모 언어 모델(LLM: Large Language Model)과 Stable Diffusion과 같은 이미지를 생성하는 모델(IGM: Image-Generation Model) 등 다양한 생성 AI(Generative AI)가 등장하고 있다. 본 연구는 생성 AI를 Merchant 관점에서 활용하여, 새로운 Commerce Service를 개발한 사례를 보고한다.
먼저, 대규모 언어 모델을 활용하여 Conversational Order Fulfilment Service를 개발했다. 일종의 프롬프트 엔지니어링으로, 사용자가 Product를 구매할 때 단순 목록으로 제시되는 구매 옵션을, 대화형 질의응답으로 선택하여 구매할 수 있도록 구현했다. 기존 리스트형 목록으로만 제시되었던 Product의 옵션 정보를, 옵션 정보의 설명이 가능한 질의응답 형식으로 제시할 수 있기 때문에 User-Friendly한 사용이 가능하다.
둘째로, 대규모 언어 모델과 이미지 생성 모델을 결합하여, 특정 Product의 홍보를 촉진하여 판매할 수 있는 Personalized Event Promotion Service를 개발했다. ChatGPT에 Product와 Event 사항을 프롬프트로 입력하여 Event Promotion의 슬로건을 도출하고, 이를 다시 Stable Diffusion에 프롬프트로 입력하여 Product를 홍보하기 위한 Image를 생성한다. 최종적으로 생성된 슬로건과 Image를 결합한 포스터 자동화 제작으로, Merchant에서 특정 Product 판매를 촉진할 수 있다. 소상공인들은 별도의 AI 모델을 개발하지 않아도 생성 AI를 활용하여 사용자들에게 개인화된 Event Promotion 서비스를 제공할 수 있다.

김수현, 정백, 이건호, 조영재, 이경전, 추천시스템 결과물의 빅데이터 분석을 통한 Product Bundling 및 Co-Marketing 제안 방법론. 2022 한국경영정보학회 추계학술대회, 2022.

Abstract

두 개 이상의 다른 상품을 하나로 묶어 가격할인 프로모션을 적용하여 판매하는 것을 Product Bundling이라고 한다. 예를 들어, 배달의 민족은 장바구니 화면에서 “함께 먹으면 좋아요”라는 안내를 통해 Bundling을 제안하며, 쿠팡은 장바구니 담기 선택 시 다른 고객이 함께 구매한 상품을 제안한다. 또한, 서로의 상품이나 서비스를 홍보하기 위해 둘 이상의 상점이 협력하는 마케팅 접근 방식을 Co-Marketing이라고 하는데, 이러한 마케팅 전략은 사용자가 더 많은 상품을 구매하도록 유도한다. 이에 본 연구에서는 초개인화 추천시스템의 결과물을 빅데이터 분석하여 도출한 Product Bundling과 Co-Marketing 방법론을 제안하고자 한다. 먼저, 초개인화 추천시스템을 통해 도출된 추천 상품 리스트에서 동일한 상점의 상품이 복수로 도출될 경우, 상품을 결합하여 제안하는 방법론을 소개한다. 예를 들어, 초개인화 추천시스템을 통해 User A에게는 ‘후라이드 치킨’, ‘피자(갈비천왕비프)’, ‘전복죽’, User B에게는 ‘만두’, ‘후라이드 치킨’, ‘피자(갈비천왕비프)’가 추천된 것을 확인하였다고 하자. 추천시스템 결과에 따라 User C에게 추천을 할 때, User A와 User B에게서 함께 추천된 빈도가 높은 ‘후라이드 치킨’과 ‘피자(갈비천왕비프)’를 결합하여 추천 할 수 있는 것이다. 상점의 관점으로 보았을 때는 추천시스템의 결과물에서 동시에 나타난 빈도가 높은 상점 간 협업을 제안하는 Co-Marketing도 가능하다. 예를 들어, 초개인화 추천시스템에 의해 도출된 추천 상품 리스트를 확인하였을 때, User A에게는 ‘세팔이네38치킨’, ‘청년피자 울산남구점’, ‘배떡 울산점’이 추천되었고, User B에게는 ‘대한냉면고기친구’, ‘세팔이네38치킨’, ‘청년피자 울산남구점’이 추천되었다면 ‘세팔이네38치킨’과 ‘청년피자 울산남구점’에게 Co-Marketing을 제안하여 피자/치킨 세트를 판매하는 등의 Win-Win 관계를 이끌어낼 수 있다. 결과적으로 초개인화 추천시스템을 통한 Product Bundling 및 Co-Marketing은 별도의 시스템을 개발할 필요가 없다는 강점이 있다. 또한, 추천시스템이 도출한 결과를 활용하기 때문에 사용자가 실제로 구매할 만한 상품 및 상점에게 적절한 혜택과 함께 결합을 제안한다. 따라서 판매율 및 수익을 높여 사용자와 상점에게 일석이조의 효과를 내는 구조가 될 수 있음을 확인하였다.

이경전, 이건호, 정백, 김수현, 박경양. (2022).날짜를 반영한 자연어 처리 기반의 추천시스템: EventPromotion.한국경영정보학회 2022 추계학술대회.

Abstract

일년 중에 하루인 12월 25일 크리스마스, 한달에 한 번 있는 월급날과 같이, Time에 따라 구매하는 상품이 달라진다. 한 예로, 아이가 있는 A씨는 마트에 방문할 때마다 주로 기저귀, 분유와 같은 유아용품을 구매했지만, 어버이날에는 부모님을 위한 선물을 구매할 수 있다. 이처럼 Time은 상품을 추천할 때, 매우 중요한 요소 중 하나로 볼 수 있다. 자연어 처리 모델 Transformer를 기반으로 만들어진 사용자 중심 추천시스템 TransformRec은 사용자의 개인정보를 최소한으로 활용하며, 사용자가 구매한 영수증의 상품명을 자연어 그대로 활용하여 가장 적합한 상품을 추천하는 모델이다. 이에 본 연구에서는 상품명을 자연어 그대로 활용하는 기존 TransformRec 추천시스템에, Time을 하나의 자연어로 구분하여 구매한 상품명과 함께 학습하는 Event Promotion 방법론을 제안한다.

Event Promotion 방법론은 구매 영수증 데이터의 Time을 Date(일), Day(요일), Month(월), Month and Date(월과 일) 4가지로 구분하여 각각 상품명과 함께 학습한다. 예를 들어, Date의 경우 월급날과 같이 매월 1일부터 31일의 일자에 따라 상품 구매가 달라질 수 있고, Day의 경우에는 주말을 앞둔 금요일에 주류 구매가 늘어나듯이 요일에 따라 구매 상품이 달라질 것이다. Month의 경우 새해를 시작하는 1월, 가정의 달인 5월 등 월에 영향을 받을 것이며, Month and Date의 경우 12월 25일(크리스마스)와 같이 기념일에 구매하는 상품이 존재할 수 있을 것이다. 이처럼 각 상품을 구매하는 시점이 끼치는 영향을 고려하여 4가지로 Time을 구분하였다.

이를 위해 본 연구는 2017년 1월 4일부터 6월 24일까지(약 5개월)의 영국 온라인 상거래 데이터인 UK-Ecommerce 데이터 셋을 이용하여, 상품명을 자연어로 학습하는 TransformRec(Time Ignore)과 Time을 Date, Day, Month, Month and Date로 추가한 4가지 Event Promotion(Time Aware)을 비교 실험했다. 실험 결과, Time을 고려하지 않은 TransformRec과 Time을 고려한 4가지 Event Promotion의 정확도는 유사하게 나타났다. 하지만, 각 Date, Day, Month, Month and Date을 반영했을 때, Time을 고려하지 않은 모델에서 맞추지 못한 추천 상품을, 특정 Time을 반영했을 때 맞추는 결과를 보였다. 이를 근거로, Event Promotion의 4가지 모델과 TransformRec을 앙상블하여 Time별 정확도가 높은 결과를 모아 추천하였을 때, 기존 Time을 고려하지 않은 TransformRec의 모델의 정확도(17.04%)에서 9.6% 향상된 18.68%의 정확도를 확인할 수 있었다. 본 연구에서는 개인정보를 최소한으로 활용함과 동시에 Time과 상품명을 자연어 그대로 사용하여 성능을 개선했다는 점에 의의가 있다. 향후 연구에서는 Time뿐만 아니라 날씨, 장소와 같이 상품추천 시 고려해야할 요소들을 추가적으로 반영하여 성능을 개선하는 연구를 진행하고자 한다.

최승호, 정백, 황보유정, 박경양, 이경전. (2022).AI-Connect Protocol: A New Federated Deep Learning Method for User-Centric AI Service.한국지능정보시스템학회 2022 춘계학술대회.

Abstract

사용자 중심 인공지능 서비스 구현을 위해 연합학습 (Federated Learning)을 적용하는 과정에서 Data 를 결합하지 않고도 학습 가중치만을 공유해야 되는 문제점이 있다. 위 문제를 경감하기 위해서 학습 가중치만 공유하는 개념에 기반하여
Iterative Parallel Average(IPA)를 제안한다. 새롭게 제안하는 IPA 방식은 학습 Data를 분할하여 순차적으로 Local Model을 만들고 학습 가중치를 반복 누적 평균하여 만든 Global Model이다. 이를 검증하기 위해 각 Local Model의 평균, Data를 결합한 Global Model, 기존의 연합학습에서 사용되고 있는 이른바 Monolithic Average (MA) 방법, 그리고 IPA 방법을 Text classification 와 Text generation 태스크 실험을 통해 비교했다. IPA 방식의 성능은 Local Model의 평균 성능보다 각 태스크에서 4.1%, 8.7%, MA 방법의 성능보다 5.1%, 13.7% 향상되었고, Data를 결합한 Global Model의 성능보다는 낮았다. 결론적으로 Data를 결합하지 않는 조건에서, 새롭게 제안한 IPA 방식의 성능이 향상됨을 확인했다.

Kyoung Jun Lee., Yujeong Hwangbo., Hokyoung Jung., Baek Jeong., & Jong Il Park. (2022). TransformRec: User-Centric Recommender System  for e-Commerce Using Transformer. 23rd International Center for Electronic Commerce.

Abstract
We propose a new User-Centric recommender system using Transformer model called
TransformRec, which uses receipt data without personal information and identity and
considers only the relationships between tokenized product names. TransformRec
recommends a product based on its most recent receipt, which includes product names.
Although a receipt includes a product that the Transformer has not learned,
TransformRec can recommend a real product that is considered as most relevant to the
user’s last purchase. We used two commercial datasets, an e-commerce dataset and
Instacart dataset, and compared the performances of TransformRec, TransformRec
without tokenizing, and Word2Vec. The experimental results demonstrated that the
performance of TransformRec is superior to that of the other two models. Thus, we
conclude that it is possible to recommend a product without using user identity or
demographic information with higher performances. In addition, we confirmed that
reflecting the relationship among tokens can improve recommendation performance.
Keywords: TransformRec, User-Centric, Recommender System, e-Commerce

Lee, K. J., Kwon, J. W., Min, S., & Yoon, J. (2021). Deploying an Artificial Intelligence-Based Defect Finder for Manufacturing Quality Management . AI Magazine, 42(2), 5-18. (Pdf)

ABSTRACT

This paper describes how the Big Data Research Center of Kyung Hee University and Benple Inc. developed and deployed an artificial intelligence system to automate the quality management process for Frontec, an SME company that manufactures automobile parts. Various constraints, such as response time requirements and the limited computing resources available, needed to be considered in this project. Defect finders using large-scale images are expected to classify weld nuts within 0.2 s with an accuracy rate of over 95%. Our system uses Circular Hough Transform for preprocessing as well as an adjusted VGG (Visual Geometry Group) model. Our convolutional neural network (CNN) system shows an accuracy of over 99% and a response time of about 0.14 s. To embed the CNN model into the factory, we reimplemented the preprocessing modules using LabVIEW and had the classification model server communicate with an existing vision inspector. We share our lessons from this experience by explain-ing the procedure and real-world issues developing and embedding a deep learn-ing framework in an existing manufacturing environment without implementing any hardware changes.