AI-Connect Protocol: A New Federated Deep Learning Method for User-Centric AI Service

최승호, 정백, 황보유정, 박경양, 이경전. (2022).AI-Connect Protocol: A New Federated Deep Learning Method for User-Centric AI Service.한국지능정보시스템학회 2022 춘계학술대회.

Abstract

사용자 중심 인공지능 서비스 구현을 위해 연합학습 (Federated Learning)을 적용하는 과정에서 Data 를 결합하지 않고도 학습 가중치만을 공유해야 되는 문제점이 있다. 위 문제를 경감하기 위해서 학습 가중치만 공유하는 개념에 기반하여
Iterative Parallel Average(IPA)를 제안한다. 새롭게 제안하는 IPA 방식은 학습 Data를 분할하여 순차적으로 Local Model을 만들고 학습 가중치를 반복 누적 평균하여 만든 Global Model이다. 이를 검증하기 위해 각 Local Model의 평균, Data를 결합한 Global Model, 기존의 연합학습에서 사용되고 있는 이른바 Monolithic Average (MA) 방법, 그리고 IPA 방법을 Text classification 와 Text generation 태스크 실험을 통해 비교했다. IPA 방식의 성능은 Local Model의 평균 성능보다 각 태스크에서 4.1%, 8.7%, MA 방법의 성능보다 5.1%, 13.7% 향상되었고, Data를 결합한 Global Model의 성능보다는 낮았다. 결론적으로 Data를 결합하지 않는 조건에서, 새롭게 제안한 IPA 방식의 성능이 향상됨을 확인했다.

TransformRec: User-Centric Recommender Systemfor e-Commerce Using Transformer

Kyoung Jun Lee., Yujeong Hwangbo., Hokyoung Jung., Baek Jeong., & Jong Il Park. (2022). TransformRec: User-Centric Recommender System  for e-Commerce Using Transformer. 23rd International Center for Electronic Commerce.

Abstract
We propose a new User-Centric recommender system using Transformer model called
TransformRec, which uses receipt data without personal information and identity and
considers only the relationships between tokenized product names. TransformRec
recommends a product based on its most recent receipt, which includes product names.
Although a receipt includes a product that the Transformer has not learned,
TransformRec can recommend a real product that is considered as most relevant to the
user’s last purchase. We used two commercial datasets, an e-commerce dataset and
Instacart dataset, and compared the performances of TransformRec, TransformRec
without tokenizing, and Word2Vec. The experimental results demonstrated that the
performance of TransformRec is superior to that of the other two models. Thus, we
conclude that it is possible to recommend a product without using user identity or
demographic information with higher performances. In addition, we confirmed that
reflecting the relationship among tokens can improve recommendation performance.
Keywords: TransformRec, User-Centric, Recommender System, e-Commerce

자연어 처리 기반의 추천시스템을 활용한 상품 기획 아이디어 도출 방법론: Brainstorming AI

이경전, 정백, 황보유정, 이건호, & 조영재. (2022). 자연어 처리 기반의 추천시스템을 활용한 상품 기획 아이디어 도출 방법론: Brainstorming AI. In KMIS International Conference (pp. 510-510).

Abstract

한국어자연어 처리 모델 중 Transformer를 활용한 TransformRec은 상품을 하나의 상품명으로 학습하는 기존의 학습방식과 달리, 상품명을 세분화된 토큰 단위로 학습하는 방식을 사용한다. 이러한 방식을 사용하게 되면, 실제로 존재하지 않는 상품명이 도출될 가능성이 있는데, 이렇게 도출된 상품명은 사용자에게 더 적합한 상품의 특성을 가질 수 있으므로, 이를 신상품 개발을 위한 아이디어로 활용할 수 있음을 본 논문에서 새롭게 제시한다. 본 논문은 울산 지역 배달 및 주문서비스를 제공하고 있는 울산페달의 데이터를 학습한 TransformRec을 통해, 새로운 상품 기획 아이디어 도출에 활용될 수 있는 Brainstorming AI방법론을 소개한다. 상품명을 세분화하여 학습하는 자연어 처리 기반의 추천시스템은, ‘닭가슴살 크림 스파게티’를 하나의 상품명으로 학습하는 것이 아니라 ‘닭가슴살’, ‘크림’, ‘스파게티’와 같이 세분화된 토큰 단위로 쪼개어 학습을 한다. 추천시스템의 결과 값 역시 토큰 단위로 산출되며, 토큰이 합쳐진 상품명은 일부 존재하지 않는 상품으로 도출될 수 있다. 예를 들어, 어떤 사용자가 ‘닭가슴살 크림 스파게티’, ‘낙지 비빔밥’, ‘제육덮밥’, ‘햄치즈 토스트’를 구매했다면, 이를 ‘닭가슴살’, ‘크림’, ‘스파게티’, ‘낙지’, ‘비빔밥’, ‘제육’, ‘덮밥’, ‘햄치즈’, ‘토스트’의 세분화된 토큰 단위로 학습하게 된다. 산출 값 역시 토큰 단위로 도출되는데, ‘낙지 크림 스파게티’, ‘제육 토스트’와 같이 실제 존재하지 않는 상품명이 도출될 수 있다. TransformRec의 추천 상품 결과 리스트에서 ‘제육 토스트’ 와 같이 실제로 판매되는 상품이 아닌 경우는 전체 상품 결과 리스트에서 약 12%를 차지하고 있는 것으로 나타났다. 이렇게 도출된 존재하지 않는 상품명들, 즉 새로운 상품명들은 신상품 개발을 위한 아이디어로 활용될 수 있다. 기존 추천시스템 연구가 하나의 모델로 추천이라는 하나의 태스크만을 할 수 있었다면, 본 연구팀은 추천시스템을 통한 타겟마케팅을 연구해왔고, 본 논문은 상품 기획에도 적용이 가능함을 보였다. 실제 데이터를 통해 그 가능성을 확인하였으며, 향후 빈도분석 또는 요약분석과 같은 빅데이터 분석을 통해 실제 신상품 출시에 기여할 수 있을 것이다.

Deploying an Artificial Intelligence-based defect finder

Lee, K. J., Kwon, J. W., Min, S., & Yoon, J. (2021). Deploying an Artificial Intelligence-Based Defect Finder for Manufacturing Quality Management . AI Magazine42(2), 5-18. (Pdf)

ABSTRACT

This paper describes how the Big Data Research Center of Kyung Hee University and Benple Inc. developed and deployed an artificial intelligence system to automate the quality management process for Frontec, an SME company that manufactures automobile parts. Various constraints, such as response time requirements and the limited computing resources available, needed to be considered in this project. Defect finders using large-scale images are expected to classify weld nuts within 0.2 s with an accuracy rate of over 95%. Our system uses Circular Hough Transform for preprocessing as well as an adjusted VGG (Visual Geometry Group) model. Our convolutional neural network (CNN) system shows an accuracy of over 99% and a response time of about 0.14 s. To embed the CNN model into the factory, we reimplemented the preprocessing modules using LabVIEW and had the classification model server communicate with an existing vision inspector. We share our lessons from this experience by explain-ing the procedure and real-world issues developing and embedding a deep learn-ing framework in an existing manufacturing environment without implementing any hardware changes.

Deploying an Artificial Intelligence-based defect finder for manufacturing quality management

Lee, K. J., Kwon, J. W., Min, S., & Yoon, J. (2021). Deploying an Artificial Intelligence-based defect finder for manufacturing quality management. AI Magazine42(2), 5-18.(pdf)

Abstract

This paper describes how the Big Data Research Center of Kyung Hee University
and Benple Inc. developed and deployed an artificial intelligence system
to automate the quality management process for Frontec, an SME company
that manufactures automobile parts. Various constraints, such as response time
requirements and the limited computing resources available, needed to be considered
in this project. Defect finders using large-scale images are expected to
classify weld nuts within 0.2 s with an accuracy rate of over 95%. Our system
uses Circular Hough Transform for preprocessing as well as an adjusted VGG
(Visual Geometry Group) model. Our convolutional neural network (CNN) system
shows an accuracy of over 99% and a response time of about 0.14 s. To embed
the CNN model into the factory, we reimplemented the preprocessing modules
using LabVIEW and had the classification model server communicate with an
existing vision inspector. We share our lessons from this experience by explaining
the procedure and real-world issues developing and embedding a deep learning
framework in an existing manufacturing environment without implementing
any hardware changes.

접근 이력 기반의 하이브리드 세런디피티 추천 시스템

김영현, 한재윤, & 이경전. (2015). 접근 이력 기반의 하이브리드 세렌디피티 추천 시스템. 한국지능정보시스템학회 학술대회논문집, 28-28. (link)

ABSTRACT

본 연구에서는 사용자의 아이템 접근 이력에 기반한 하이브리드 세렌디피티 추천 시스템을 제안한다. 사용자가 접근하지 않은 아이템에 대한 선호도 예측에 관한 연구는 활발히 진행되었으나, 사용자에게 세렌디피티를 느낄 수 있게 하는 추천 시스템에 대한 연구는 여전히 해결해야 할 과제이다. 또한 아마존이나 넷플릭스와 같은 다양한 분야에서 널리 활용되고 있는 협업 필터링 기법은 새로운 사용자나 새로운 아이템을 추천 결과에 반영할 수 없는 콜드 스타트 (cold start) 문제를 가지고 있다. 따라서 본 연구에서는 콜드 스타트 문제를 해결함과 동시에 세렌디피티 추천 서비스를 가능하게 하는 하이브리드 세렌디피티 추천 시스템을 제안한다. 본 시스템은 두 가지의 추천 기법으로 이뤄지고, 각각은 사용자의 주위 환경에 따라 최적의 아이템을 추천하는 상황 기반 추천 기법과, 사용자의 최근의 아이템 접근 이력에 기반한 아이템 접근 이력 기반 추천 기법으로 동작한다. 다시, 접근 이력 기반 추천 기법에서는 사용자들의 아이템 접근 이력에 따라 각각의 사용자가 세렌디피티 서비스를 즐기는 사용자인지 아닌지를 판단하여, 사용자의 특징에 따라 추천하는 아이템을 다르게 설계한다. 본 연구에서 제안한 기법은 오픈 소스 (open source)인 Apache Mahout과 Apache Hadoop을 이용하여 개발하였으며, 시뮬레이션 결과 본 연구의 주요 목적 중 하나인 세렌디피티 성능은 기존의 일반적인 추천 기법보다 적어도 2배 이상으로 향상된 것을 확인하였다.

금융 시장 예측을 위한 앙상블 접근: 스태킹과 롤링 윈도우를 중심으로

한재윤, & 이경전. (2017). 금융 시장 예측을 위한 앙상블 접근. 한국지능정보시스템학회 학술대회논문집, 54-55. (link)

ABSTRACT

금융시장을 예측하는 것은 학문적, 실무적으로 큰 가치를 지니고 있지만 큰 어려움을 지니고 있다. 이를 해결하고자 최근 기계학습을 도입하였으며, 다양한 연구들이 진행되고 있다. 그러나 대부분의 연구는 단일 모델의 성능에 초점을 맞추고 있으며, 여러 모델을 결합하는 앙상블 접근법을 활요한 수는 매우 적다. 본 연구에서는 다양한 기계학습 모델들의 성능을 확인하고, 앙상블 기법으로는 스태킹(stacking)을 사용해 예측을 시도했다. 이 때, 데이터에 포함되어 있는 금융 시장의 변동성의 영향을 줄이기 위해, 로그 수익률과 타임래그 등의 데이터 전처리를 하였다. 또한 금융시장의 변동성에 의해 생기는 문제를 해결하기 위해 롤링 윈도우 기법을 사용하였고, 이는 모델 성능 향상에 큰 기여를 하였다. 실험 결과, 스태킹을 사용한 모델의 성능이 다른 단일 모델보다 뛰어났다. 또한 정확도, 결정계수, RMSE, MAPE 등의 다양한 평가의 관점에서 각각의 평가 기준에 대해 더 좋은 성능을 보이는 타임 래그와 윈도우 크기가 존재한다는 사실을 확인하였다.

앙상블 모델을 통한 인간과 인공지능 간의 최적 운용 시스템 제안: 투자회사를 중심으로

황보유정, 김진호, & 이경전. (2017). 앙상블 모델을 통한 인간과 인공지능 간의 최적 운용 시스템 제안. 한국지능정보시스템학회 학술대회논문집, 14-15. (link)

ABSTRACT

빅데이터 시대가 도래하면서, 다양한 데이터에서 규칙이나 패턴을 통해 의를 찾아내는 연구가 진행되고 있다. 다양한 머신러닝 기법들과 대용량 데이터 분석에 각광받고 있는 딥러닝 기법까지 빅데이터를 기반으로 연구되고 있다. 이렇게 다양한 방ㅂ버을 통하여 예측 모델을 만들어 사용하는 연구는 학계와 산업계에서 많이 연구되고 있다. 하지만 하나의 모델을 만드는 방법은 많이 연구되었지만, 다양한 모델들이 있을 때 어떤 모델을 사용해야하는가에 관한 연구는 많이 진행되지 않았다.

이에 본 연구에서는 다양한 예측 모델들이 있을 때 모델 선택(Decision) 관점과 모델 운영(Operation) 관점을 나누어서 연구하였다. 투자 회사의 예측 모델 선택과 운영 관점을 중심으로 18 개의 주가 지수를 사용하여, 다음날의 주가를 예측하는 예측력이 서로 다른 모델ㅇ르 3 개를 가지고 앙상블 연구를 진행하였다. LSTM, Ridge, LASSO Regression 3 가지 모델을 DNN (Deep Neural Network) 앙상블을 통해 예측력을 높일 수 있는지를 도출하고, 더 나아가 다양한 모델들이 있을 때 모델을 선택하고, 선택한 모델의 진출입까지 머신러닝 방법 중 하나인 의사결정나무 (Decision Tree)로 구현하고자 하였다.

기계학습과 롤링 윈도우 기법을 활용한 주식시장 및 환율 예측 모델 구현

한재윤, 김진호, 황보유정, & 이경전. (2017). 기계학습과 롤링 윈도우 기법을 활용한 주식시장 및 환율 예측 모델 구현. 한국지능정보시스템학회 학술대회논문집, 69-70. (link)

ABSTRACT

최근 기계학습의 기법과 성능이 발전함에 따라, 금융권에서도 기계학습을 활용하여 주식시장 및 환율 등을 예측하려는 시도가 많아지고 있다. 하지만, 단순히 경제지표를 예측하는 경우, 변동성이 크다는 특징으로 인해 낮은 성능을 보이는 문제가 발생한다. 이에 본 연구에서는 주식 시장에 성질을 안녕 하는 기법들을 탐색, 활용하여 주식시장과 환율이 증감과 지수값을 높은 성능으로 예측하는 모델을 구현하였다. 다양한 국가 기반을 가진 18 개 지수를 사용하였으며, 변동성의 영향ㅇ을 최대한 줄이기 위해 롤링 윈도우 기법을 적용한 기계학습 모델을 구현하였다. 또한 타임래그와 로그 변환 등의 데이터 전처리 기법을 적용하여 기계학습 모델의 성능을 전반적으로 향상시켰다. 그 결과, 모든 주가지수의 증감에 대한 정확도는 평균 0.793 으로 높은 성능을 보였으며, 몇몇 변수에 대해서는 0.90 을 넘는 성능을 보였다. 또한 정화도, MAPE, RMSE, R2 등의 다양한 평가 기준에 대해서 더 좋은 성능을 보이는 타임래그가 존재한다는 사실을 확인하였다.