Category Archives: Machine Learning / Deep Learning

추천시스템 결과물의 빅데이터 분석을 통한 Product Bundling 및 Co-Marketing 제안 방법론

김수현, 정백, 이건호, 조영재, 이경전. (2022). 추천시스템 결과물의 빅데이터 분석을 통한 Product Bundling 및 Co-Marketing 제안 방법론.한국경영보학회 2022 추계학술대회.

Abstract

두 개 이상의 다른 상품을 하나로 묶어 가격할인 프로모션을 적용하여 판매하는 것을 Product Bundling이라고 한다. 예를 들어, 배달의 민족은 장바구니 화면에서 “함께 먹으면 좋아요”라는 안내를 통해 Bundling을 제안하며, 쿠팡은 장바구니 담기 선택 시 다른 고객이 함께 구매한 상품을 제안한다. 또한, 서로의 상품이나 서비스를 홍보하기 위해 둘 이상의 상점이 협력하는 마케팅 접근 방식을 Co-Marketing이라고 하는데, 이러한 마케팅 전략은 사용자가 더 많은 상품을 구매하도록 유도한다. 이에 본 연구에서는 초개인화 추천시스템의 결과물을 빅데이터 분석하여 도출한 Product Bundling과 Co-Marketing 방법론을 제안하고자 한다. 먼저, 초개인화 추천시스템을 통해 도출된 추천 상품 리스트에서 동일한 상점의 상품이 복수로 도출될 경우, 상품을 결합하여 제안하는 방법론을 소개한다. 예를 들어, 초개인화 추천시스템을 통해 User A에게는 ‘후라이드 치킨’, ‘피자(갈비천왕비프)’, ‘전복죽’, User B에게는 ‘만두’, ‘후라이드 치킨’, ‘피자(갈비천왕비프)’가 추천된 것을 확인하였다고 하자. 추천시스템 결과에 따라 User C에게 추천을 할 때, User A와 User B에게서 함께 추천된 빈도가 높은 ‘후라이드 치킨’과 ‘피자(갈비천왕비프)’를 결합하여 추천 할 수 있는 것이다. 상점의 관점으로 보았을 때는 추천시스템의 결과물에서 동시에 나타난 빈도가 높은 상점 간 협업을 제안하는 Co-Marketing도 가능하다. 예를 들어, 초개인화 추천시스템에 의해 도출된 추천 상품 리스트를 확인하였을 때, User A에게는 ‘세팔이네38치킨’, ‘청년피자 울산남구점’, ‘배떡 울산점’이 추천되었고, User B에게는 ‘대한냉면고기친구’, ‘세팔이네38치킨’, ‘청년피자 울산남구점’이 추천되었다면 ‘세팔이네38치킨’과 ‘청년피자 울산남구점’에게 Co-Marketing을 제안하여 피자/치킨 세트를 판매하는 등의 Win-Win 관계를 이끌어낼 수 있다. 결과적으로 초개인화 추천시스템을 통한 Product Bundling 및 Co-Marketing은 별도의 시스템을 개발할 필요가 없다는 강점이 있다. 또한, 추천시스템이 도출한 결과를 활용하기 때문에 사용자가 실제로 구매할 만한 상품 및 상점에게 적절한 혜택과 함께 결합을 제안한다. 따라서 판매율 및 수익을 높여 사용자와 상점에게 일석이조의 효과를 내는 구조가 될 수 있음을 확인하였다.

날짜를 반영한 자연어 처리 기반의 추천시스템: EventPromotion

이경전, 이건호, 정백, 김수현, 박경양. (2022).날짜를 반영한 자연어 처리 기반의 추천시스템: EventPromotion.한국경영정보학회 2022 추계학술대회.

Abstract

일년 중에 하루인 12월 25일 크리스마스, 한달에 한 번 있는 월급날과 같이, Time에 따라 구매하는 상품이 달라진다. 한 예로, 아이가 있는 A씨는 마트에 방문할 때마다 주로 기저귀, 분유와 같은 유아용품을 구매했지만, 어버이날에는 부모님을 위한 선물을 구매할 수 있다. 이처럼 Time은 상품을 추천할 때, 매우 중요한 요소 중 하나로 볼 수 있다. 자연어 처리 모델 Transformer를 기반으로 만들어진 사용자 중심 추천시스템 TransformRec은 사용자의 개인정보를 최소한으로 활용하며, 사용자가 구매한 영수증의 상품명을 자연어 그대로 활용하여 가장 적합한 상품을 추천하는 모델이다. 이에 본 연구에서는 상품명을 자연어 그대로 활용하는 기존 TransformRec 추천시스템에, Time을 하나의 자연어로 구분하여 구매한 상품명과 함께 학습하는 Event Promotion 방법론을 제안한다.

Event Promotion 방법론은 구매 영수증 데이터의 Time을 Date(일), Day(요일), Month(월), Month and Date(월과 일) 4가지로 구분하여 각각 상품명과 함께 학습한다. 예를 들어, Date의 경우 월급날과 같이 매월 1일부터 31일의 일자에 따라 상품 구매가 달라질 수 있고, Day의 경우에는 주말을 앞둔 금요일에 주류 구매가 늘어나듯이 요일에 따라 구매 상품이 달라질 것이다. Month의 경우 새해를 시작하는 1월, 가정의 달인 5월 등 월에 영향을 받을 것이며, Month and Date의 경우 12월 25일(크리스마스)와 같이 기념일에 구매하는 상품이 존재할 수 있을 것이다. 이처럼 각 상품을 구매하는 시점이 끼치는 영향을 고려하여 4가지로 Time을 구분하였다.

이를 위해 본 연구는 2017년 1월 4일부터 6월 24일까지(약 5개월)의 영국 온라인 상거래 데이터인 UK-Ecommerce 데이터 셋을 이용하여, 상품명을 자연어로 학습하는 TransformRec(Time Ignore)과 Time을 Date, Day, Month, Month and Date로 추가한 4가지 Event Promotion(Time Aware)을 비교 실험했다. 실험 결과, Time을 고려하지 않은 TransformRec과 Time을 고려한 4가지 Event Promotion의 정확도는 유사하게 나타났다. 하지만, 각 Date, Day, Month, Month and Date을 반영했을 때, Time을 고려하지 않은 모델에서 맞추지 못한 추천 상품을, 특정 Time을 반영했을 때 맞추는 결과를 보였다. 이를 근거로, Event Promotion의 4가지 모델과 TransformRec을 앙상블하여 Time별 정확도가 높은 결과를 모아 추천하였을 때, 기존 Time을 고려하지 않은 TransformRec의 모델의 정확도(17.04%)에서 9.6% 향상된 18.68%의 정확도를 확인할 수 있었다. 본 연구에서는 개인정보를 최소한으로 활용함과 동시에 Time과 상품명을 자연어 그대로 사용하여 성능을 개선했다는 점에 의의가 있다. 향후 연구에서는 Time뿐만 아니라 날씨, 장소와 같이 상품추천 시 고려해야할 요소들을 추가적으로 반영하여 성능을 개선하는 연구를 진행하고자 한다.

AI-Connect Protocol: A New Federated Deep Learning Method for User-Centric AI Service

최승호, 정백, 황보유정, 박경양, 이경전. (2022).AI-Connect Protocol: A New Federated Deep Learning Method for User-Centric AI Service.한국지능정보시스템학회 2022 춘계학술대회.

Abstract

사용자 중심 인공지능 서비스 구현을 위해 연합학습 (Federated Learning)을 적용하는 과정에서 Data 를 결합하지 않고도 학습 가중치만을 공유해야 되는 문제점이 있다. 위 문제를 경감하기 위해서 학습 가중치만 공유하는 개념에 기반하여
Iterative Parallel Average(IPA)를 제안한다. 새롭게 제안하는 IPA 방식은 학습 Data를 분할하여 순차적으로 Local Model을 만들고 학습 가중치를 반복 누적 평균하여 만든 Global Model이다. 이를 검증하기 위해 각 Local Model의 평균, Data를 결합한 Global Model, 기존의 연합학습에서 사용되고 있는 이른바 Monolithic Average (MA) 방법, 그리고 IPA 방법을 Text classification 와 Text generation 태스크 실험을 통해 비교했다. IPA 방식의 성능은 Local Model의 평균 성능보다 각 태스크에서 4.1%, 8.7%, MA 방법의 성능보다 5.1%, 13.7% 향상되었고, Data를 결합한 Global Model의 성능보다는 낮았다. 결론적으로 Data를 결합하지 않는 조건에서, 새롭게 제안한 IPA 방식의 성능이 향상됨을 확인했다.

TransformRec: User-Centric Recommender Systemfor e-Commerce Using Transformer

Kyoung Jun Lee., Yujeong Hwangbo., Hokyoung Jung., Baek Jeong., & Jong Il Park. (2022). TransformRec: User-Centric Recommender System  for e-Commerce Using Transformer. 23rd International Center for Electronic Commerce.

Abstract
We propose a new User-Centric recommender system using Transformer model called
TransformRec, which uses receipt data without personal information and identity and
considers only the relationships between tokenized product names. TransformRec
recommends a product based on its most recent receipt, which includes product names.
Although a receipt includes a product that the Transformer has not learned,
TransformRec can recommend a real product that is considered as most relevant to the
user’s last purchase. We used two commercial datasets, an e-commerce dataset and
Instacart dataset, and compared the performances of TransformRec, TransformRec
without tokenizing, and Word2Vec. The experimental results demonstrated that the
performance of TransformRec is superior to that of the other two models. Thus, we
conclude that it is possible to recommend a product without using user identity or
demographic information with higher performances. In addition, we confirmed that
reflecting the relationship among tokens can improve recommendation performance.
Keywords: TransformRec, User-Centric, Recommender System, e-Commerce

자연어 처리 기반의 추천시스템을 활용한 상품 기획 아이디어 도출 방법론: Brainstorming AI

이경전, 정백, 황보유정, 이건호, & 조영재. (2022). 자연어 처리 기반의 추천시스템을 활용한 상품 기획 아이디어 도출 방법론: Brainstorming AI. In KMIS International Conference (pp. 510-510).

Abstract

한국어자연어 처리 모델 중 Transformer를 활용한 TransformRec은 상품을 하나의 상품명으로 학습하는 기존의 학습방식과 달리, 상품명을 세분화된 토큰 단위로 학습하는 방식을 사용한다. 이러한 방식을 사용하게 되면, 실제로 존재하지 않는 상품명이 도출될 가능성이 있는데, 이렇게 도출된 상품명은 사용자에게 더 적합한 상품의 특성을 가질 수 있으므로, 이를 신상품 개발을 위한 아이디어로 활용할 수 있음을 본 논문에서 새롭게 제시한다. 본 논문은 울산 지역 배달 및 주문서비스를 제공하고 있는 울산페달의 데이터를 학습한 TransformRec을 통해, 새로운 상품 기획 아이디어 도출에 활용될 수 있는 Brainstorming AI방법론을 소개한다. 상품명을 세분화하여 학습하는 자연어 처리 기반의 추천시스템은, ‘닭가슴살 크림 스파게티’를 하나의 상품명으로 학습하는 것이 아니라 ‘닭가슴살’, ‘크림’, ‘스파게티’와 같이 세분화된 토큰 단위로 쪼개어 학습을 한다. 추천시스템의 결과 값 역시 토큰 단위로 산출되며, 토큰이 합쳐진 상품명은 일부 존재하지 않는 상품으로 도출될 수 있다. 예를 들어, 어떤 사용자가 ‘닭가슴살 크림 스파게티’, ‘낙지 비빔밥’, ‘제육덮밥’, ‘햄치즈 토스트’를 구매했다면, 이를 ‘닭가슴살’, ‘크림’, ‘스파게티’, ‘낙지’, ‘비빔밥’, ‘제육’, ‘덮밥’, ‘햄치즈’, ‘토스트’의 세분화된 토큰 단위로 학습하게 된다. 산출 값 역시 토큰 단위로 도출되는데, ‘낙지 크림 스파게티’, ‘제육 토스트’와 같이 실제 존재하지 않는 상품명이 도출될 수 있다. TransformRec의 추천 상품 결과 리스트에서 ‘제육 토스트’ 와 같이 실제로 판매되는 상품이 아닌 경우는 전체 상품 결과 리스트에서 약 12%를 차지하고 있는 것으로 나타났다. 이렇게 도출된 존재하지 않는 상품명들, 즉 새로운 상품명들은 신상품 개발을 위한 아이디어로 활용될 수 있다. 기존 추천시스템 연구가 하나의 모델로 추천이라는 하나의 태스크만을 할 수 있었다면, 본 연구팀은 추천시스템을 통한 타겟마케팅을 연구해왔고, 본 논문은 상품 기획에도 적용이 가능함을 보였다. 실제 데이터를 통해 그 가능성을 확인하였으며, 향후 빈도분석 또는 요약분석과 같은 빅데이터 분석을 통해 실제 신상품 출시에 기여할 수 있을 것이다.

Deploying an Artificial Intelligence-based defect finder

Lee, K. J., Kwon, J. W., Min, S., & Yoon, J. (2021). Deploying an Artificial Intelligence-Based Defect Finder for Manufacturing Quality Management . AI Magazine, 42(2), 5-18. (Pdf)

ABSTRACT

This paper describes how the Big Data Research Center of Kyung Hee University and Benple Inc. developed and deployed an artificial intelligence system to automate the quality management process for Frontec, an SME company that manufactures automobile parts. Various constraints, such as response time requirements and the limited computing resources available, needed to be considered in this project. Defect finders using large-scale images are expected to classify weld nuts within 0.2 s with an accuracy rate of over 95%. Our system uses Circular Hough Transform for preprocessing as well as an adjusted VGG (Visual Geometry Group) model. Our convolutional neural network (CNN) system shows an accuracy of over 99% and a response time of about 0.14 s. To embed the CNN model into the factory, we reimplemented the preprocessing modules using LabVIEW and had the classification model server communicate with an existing vision inspector. We share our lessons from this experience by explain-ing the procedure and real-world issues developing and embedding a deep learn-ing framework in an existing manufacturing environment without implementing any hardware changes.

Deploying an Artificial Intelligence-based defect finder for manufacturing quality management

Lee, K. J., Kwon, J. W., Min, S., & Yoon, J. (2021). Deploying an Artificial Intelligence-based defect finder for manufacturing quality management. AI Magazine, 42(2), 5-18.(pdf)

Abstract

This paper describes how the Big Data Research Center of Kyung Hee University
and Benple Inc. developed and deployed an artificial intelligence system
to automate the quality management process for Frontec, an SME company
that manufactures automobile parts. Various constraints, such as response time
requirements and the limited computing resources available, needed to be considered
in this project. Defect finders using large-scale images are expected to
classify weld nuts within 0.2 s with an accuracy rate of over 95%. Our system
uses Circular Hough Transform for preprocessing as well as an adjusted VGG
(Visual Geometry Group) model. Our convolutional neural network (CNN) system
shows an accuracy of over 99% and a response time of about 0.14 s. To embed
the CNN model into the factory, we reimplemented the preprocessing modules
using LabVIEW and had the classification model server communicate with an
existing vision inspector. We share our lessons from this experience by explaining
the procedure and real-world issues developing and embedding a deep learning
framework in an existing manufacturing environment without implementing
any hardware changes.

접근 이력 기반의 하이브리드 세런디피티 추천 시스템

김영현, 한재윤, & 이경전. (2015). 접근 이력 기반의 하이브리드 세렌디피티 추천 시스템. 한국지능정보시스템학회 학술대회논문집, 28-28. (link)

ABSTRACT

본 연구에서는 사용자의 아이템 접근 이력에 기반한 하이브리드 세렌디피티 추천 시스템을 제안한다. 사용자가 접근하지 않은 아이템에 대한 선호도 예측에 관한 연구는 활발히 진행되었으나, 사용자에게 세렌디피티를 느낄 수 있게 하는 추천 시스템에 대한 연구는 여전히 해결해야 할 과제이다. 또한 아마존이나 넷플릭스와 같은 다양한 분야에서 널리 활용되고 있는 협업 필터링 기법은 새로운 사용자나 새로운 아이템을 추천 결과에 반영할 수 없는 콜드 스타트 (cold start) 문제를 가지고 있다. 따라서 본 연구에서는 콜드 스타트 문제를 해결함과 동시에 세렌디피티 추천 서비스를 가능하게 하는 하이브리드 세렌디피티 추천 시스템을 제안한다. 본 시스템은 두 가지의 추천 기법으로 이뤄지고, 각각은 사용자의 주위 환경에 따라 최적의 아이템을 추천하는 상황 기반 추천 기법과, 사용자의 최근의 아이템 접근 이력에 기반한 아이템 접근 이력 기반 추천 기법으로 동작한다. 다시, 접근 이력 기반 추천 기법에서는 사용자들의 아이템 접근 이력에 따라 각각의 사용자가 세렌디피티 서비스를 즐기는 사용자인지 아닌지를 판단하여, 사용자의 특징에 따라 추천하는 아이템을 다르게 설계한다. 본 연구에서 제안한 기법은 오픈 소스 (open source)인 Apache Mahout과 Apache Hadoop을 이용하여 개발하였으며, 시뮬레이션 결과 본 연구의 주요 목적 중 하나인 세렌디피티 성능은 기존의 일반적인 추천 기법보다 적어도 2배 이상으로 향상된 것을 확인하였다.

금융 시장 예측을 위한 앙상블 접근: 스태킹과 롤링 윈도우를 중심으로

한재윤, & 이경전. (2017). 금융 시장 예측을 위한 앙상블 접근. 한국지능정보시스템학회 학술대회논문집, 54-55. (link)

ABSTRACT

금융시장을 예측하는 것은 학문적, 실무적으로 큰 가치를 지니고 있지만 큰 어려움을 지니고 있다. 이를 해결하고자 최근 기계학습을 도입하였으며, 다양한 연구들이 진행되고 있다. 그러나 대부분의 연구는 단일 모델의 성능에 초점을 맞추고 있으며, 여러 모델을 결합하는 앙상블 접근법을 활요한 수는 매우 적다. 본 연구에서는 다양한 기계학습 모델들의 성능을 확인하고, 앙상블 기법으로는 스태킹(stacking)을 사용해 예측을 시도했다. 이 때, 데이터에 포함되어 있는 금융 시장의 변동성의 영향을 줄이기 위해, 로그 수익률과 타임래그 등의 데이터 전처리를 하였다. 또한 금융시장의 변동성에 의해 생기는 문제를 해결하기 위해 롤링 윈도우 기법을 사용하였고, 이는 모델 성능 향상에 큰 기여를 하였다. 실험 결과, 스태킹을 사용한 모델의 성능이 다른 단일 모델보다 뛰어났다. 또한 정확도, 결정계수, RMSE, MAPE 등의 다양한 평가의 관점에서 각각의 평가 기준에 대해 더 좋은 성능을 보이는 타임 래그와 윈도우 크기가 존재한다는 사실을 확인하였다.

앙상블 모델을 통한 인간과 인공지능 간의 최적 운용 시스템 제안: 투자회사를 중심으로

황보유정, 김진호, & 이경전. (2017). 앙상블 모델을 통한 인간과 인공지능 간의 최적 운용 시스템 제안. 한국지능정보시스템학회 학술대회논문집, 14-15. (link)

ABSTRACT

빅데이터 시대가 도래하면서, 다양한 데이터에서 규칙이나 패턴을 통해 의를 찾아내는 연구가 진행되고 있다. 다양한 머신러닝 기법들과 대용량 데이터 분석에 각광받고 있는 딥러닝 기법까지 빅데이터를 기반으로 연구되고 있다. 이렇게 다양한 방ㅂ버을 통하여 예측 모델을 만들어 사용하는 연구는 학계와 산업계에서 많이 연구되고 있다. 하지만 하나의 모델을 만드는 방법은 많이 연구되었지만, 다양한 모델들이 있을 때 어떤 모델을 사용해야하는가에 관한 연구는 많이 진행되지 않았다.

이에 본 연구에서는 다양한 예측 모델들이 있을 때 모델 선택(Decision) 관점과 모델 운영(Operation) 관점을 나누어서 연구하였다. 투자 회사의 예측 모델 선택과 운영 관점을 중심으로 18 개의 주가 지수를 사용하여, 다음날의 주가를 예측하는 예측력이 서로 다른 모델ㅇ르 3 개를 가지고 앙상블 연구를 진행하였다. LSTM, Ridge, LASSO Regression 3 가지 모델을 DNN (Deep Neural Network) 앙상블을 통해 예측력을 높일 수 있는지를 도출하고, 더 나아가 다양한 모델들이 있을 때 모델을 선택하고, 선택한 모델의 진출입까지 머신러닝 방법 중 하나인 의사결정나무 (Decision Tree)로 구현하고자 하였다.