AI-Connect Protocol: A New Federated Deep Learning Method for User-Centric AI Service

최승호, 정백, 황보유정, 박경양, 이경전. (2022. 06.22-24).AI-Connect Protocol: A New Federated Deep Learning Method for User-Centric AI Service[발표자료]. 한국지능정보시스템학회 2022 춘계학술대회, 서울.

Abstract

사용자 중심 인공지능 서비스 구현을 위해 연합학습 (Federated Learning)을 적용하는 과정에서 Data 를 결합하지 않고도 학습 가중치만을 공유해야 되는 문제점이 있다. 위 문제를 경감하기 위해서 학습 가중치만 공유하는 개념에 기반하여
Iterative Parallel Average(IPA)를 제안한다. 새롭게 제안하는 IPA 방식은 학습 Data를 분할하여 순차적으로 Local Model을 만들고 학습 가중치를 반복 누적 평균하여 만든 Global Model이다. 이를 검증하기 위해 각 Local Model의 평균, Data를 결합한 Global Model, 기존의 연합학습에서 사용되고 있는 이른바 Monolithic Average (MA) 방법, 그리고 IPA 방법을 Text classification 와 Text generation 태스크 실험을 통해 비교했다. IPA 방식의 성능은 Local Model의 평균 성능보다 각 태스크에서 4.1%, 8.7%, MA 방법의 성능보다 5.1%, 13.7% 향상되었고, Data를 결합한 Global Model의 성능보다는 낮았다. 결론적으로 Data를 결합하지 않는 조건에서, 새롭게 제안한 IPA 방식의 성능이 향상됨을 확인했다.

Policy Perceptron: 정책 분류 자동화를 위한 인공지능 모형 개발

이경전 , 황보유정 , 정백 , 유지웅 , 배성원 , 임채원. 2022. Policy Perceptron: 정책 분류 자동화를 위한 인공지능 모형 개발. 한국행정학회 하계학술발표논문집, 2022(0): 2593-2606

Abstract

정책 변동이 점진적인지 아니면 급격하게 일어나는 것인지에 대한 논의가 오랫동안 이어져 온 것과 관련하여, 과거 공공의제 변동의 특성을 연구함과 동시에 글로벌 공공정책 비교를 통해 협력 체계를 구축하는 비교 아젠다 프로젝트(Comparative Agendas Project, CAP)가 진행되어 왔다. 비교 아젠다 프로젝트의 참여국은 공통기준인 거시경제, 교육, 보건 등의 주요 의제(Major Topic) 23개와 하위 의제(Subtopic) 213개로 범주를 마련해왔다. 한국에서도 1987년 이후 2019년까지 공중 아젠다, 미디어, 입법부, 행정부에 관한 데이터 분석과 구축을 정책 분석가의 수작업으로 진행해왔는데, 수작업으로 진행되는 정책 분류작업은 정책 전문가에 따라 다르게 해석될 수 있으며, 상황에 따라 단순 휴먼 에러가 발생할 수 있기에 정책 분류작업에서 실수를 줄일 수 있는 방법이 필요하다. 본 연구는 현재까지 전문가의 수작업으로 구축된 데이터베이스를 기반으로 인공지능 알고리듬을 활용하여 정책 분류 자동화를 지원하는 딥러닝 모델을 개발하는 것을 목표로 한다. 딥러닝 모델 중 자연어 기반 KoBERT를 사용하여, 정책 분류 자동화를 위한 인공지능 모형인 Policy Perceptron을 개발하였다. 퍼셉트론(Perceptron)은 인공 신경망 모형의 하나로서 딥러닝의 시초가 되는 알고리듬으로, 본 연구는 인공지능 모형 Policy Perceptron을 개발함으로써 정책 분류의 첫 알고리듬으로서의 의미를 가진다. 본 연구의 방법은 총 3단계로, ① 기존 구축된 비교 아젠다 데이터의 품질 향상을 위해 크롤링 기법을 통해 데이터를 추가한 DB 구축 단계, ② 알고리듬 정확도 향상을 위한 데이터 전처리 단계, ③ Policy Perceptron 모형 구축 및 성능 확인 단계로 구성된다. 먼저, 행정, 입법, 미디어 데이터를 통합하여 최종 데이터 셋을 구성하고, 입법과 미디어 데이터의 경우는 각각 국회 의안정보시스템 홈페이지와 조선일보 홈페이지에서 크롤링 기법을 통해 데이터를 추가 획득하였으며, 수집된 데이터를 통해 전처리 단계를 수행하였다. Policy Perceptron의 정확도 향상을 위한 불용어 처리 및 텍스트 요약 수행을 위해 카카오 브레인에서 공개한 통합 자연어 프레임워크인 Pororo(Platform of Neural Models for Natural Language Processing)를 사용하여 텍스트 요약을 진행하였다. Policy Perceptron의 적절한 학습을 위하여 데이터의 수가 10개 미만인 Subtopic은 제외하는 방식을 사용하였다. 최종적으로 Major Topic은 23개, Subtopic은 184개로 확정되었으며, Major Topic을 분류하고 다음으로 Subtopic을 분류하는 2중 분류 모델을 설계하였다. 1차 Policy Perceptron은 전체 데이터에 Major Topic을 레이블링으로 학습하고 2차 Policy Perceptron은 전체 데이터를 Major Topic에 따라 분류하여 각각 학습한다. 최종적으로 구현된 Policy Perceptron의 성능을 평가하기 위해서, 인공지능 성능 평가에 가장 기본적으로 사용하는 정확도(Accuracy)로 확인하였다. Top-1의 경우 정확도가 62.4%로 나타났으며, Top-3의 경우 71.6%의 정확도를 보였다. 정책 분류 자동화 인공지능 모형 개발은 동일한 모델로 정책을 분류할 수 있다는 데에 큰 의의가 있다. 본 연구에서 개발한 Policy Perceptron 모델은 향후 사람의 정책 분류 의사결정을 돕는 보조 시스템으로 활용 가능하며, 인공지능이 정책 범주를 제시함으로써 판단 시간을 줄여주고 정책 분류의 생산성을 높여줄 것이다. 더 나아가 정부 정책 외에도 지방자치 정책 등 더 다양한 분야의 정책을 분류하고 비교·평가함으로써 국정운영의 방향을 모색하는데 기여할 수 있을 것이다.

AMPER(Aim-Measure-Predict-Evaluate-Recommend):The Paradigm of Digital Me

이경전, 정백, 황보유정, 김영찬, 배성원, & 백태훈. (2022.06.22). AMPER(Aim-Measure-Predict-Evaluate-Recommend): The Paradigm of Digital Me[발표자료]. 23rd International Center for Electronic Commerce.대구

Abstract
AI services can help people live healthier and richer lives, and such services can be
collectively referred to as Digital Me. The purpose of this paper is to research Digital
Me service and suggests AMPER (Aim-Measure-Predict-Evaluate-Recommend)
approach to implement a general Digital Me algorithm for providing actual services.
Digital Me is defined as an AI-based product service system (PSS) that makes it
possible to manage the individual’s state (health, beauty, memory, knowledge, finance,
and happiness, etc.) in real- time. We studied cases of Digital Me service of edutech
and healthcare. In order to enable a Digital Me service, it is necessary to measure,
predict and evaluate the user’s future states, and recommend actions to improve the
states. We developed a structure of a purely data-based algorithm that set a usercentric
aim (A), measures the user’s states (M), predicts the user’s future states (P),
evaluates and compares the user’s performance (E), and recommends desirable action
(R). As a result of experimenting with the proposed algorithm structure with EdNet
dataset, we verified the AMPER structure for the user-centric aim of improving the
user’s English score that measures the correct answer to the question solved by the
user, predicts the correct answer to the next question using Transformer model,
evaluates the user’s English ability, and recommends the question that will improve
English scores the fastest.

TransformRec: User-Centric Recommender Systemfor e-Commerce Using Transformer

이경전, 황보유정, 정호경, 정백, & 박종일. (2022.06.22). TransformRec: User-Centric Recommender System  for e-Commerce Using Transformer. 23rd International Center for Electronic Commerce.대구

Abstract
We propose a new User-Centric recommender system using Transformer model called
TransformRec, which uses receipt data without personal information and identity and
considers only the relationships between tokenized product names. TransformRec
recommends a product based on its most recent receipt, which includes product names.
Although a receipt includes a product that the Transformer has not learned,
TransformRec can recommend a real product that is considered as most relevant to the
user’s last purchase. We used two commercial datasets, an e-commerce dataset and
Instacart dataset, and compared the performances of TransformRec, TransformRec
without tokenizing, and Word2Vec. The experimental results demonstrated that the
performance of TransformRec is superior to that of the other two models. Thus, we
conclude that it is possible to recommend a product without using user identity or
demographic information with higher performances. In addition, we confirmed that
reflecting the relationship among tokens can improve recommendation performance.
Keywords: TransformRec, User-Centric, Recommender System, e-Commerce

AI Sharing for Glocalization: Federated Learning Experiments

배성원. (2022). AI Sharing for Glocalization: Federated Learning Experiments / 배성원 저.

Abstract

Implementing a deep learning model with good performance requires a large
amount of data. However, many companies are unwilling to share data. For
example, sharing data among hospitals or companies poses privacy concerns
of customers and legal issues. To solve this problem, we utilize the federated
learning methodology, in which only the AI model parameters are shared
globally among locals rather than data. The AI sharing global model facilitates
learning not only by large companies but also by small and medium-sized
enterprises and small business owners with small amounts of data. However,
creating a global model by reflecting the characteristics of all local models is
difficult in practice. Therefore, we propose a glocal model that only shares a
part of the whole parameters of the AI models. For validation, we used the
three types of movie-content data (MovieLens, Netflix, and IMDB) and
implemented a recommendation system based on BERT model.
We experimented with the local model learned from each data set, datashared global model made by integrating all the data, AI sharing global model
sharing all parameters, and the proposed AI sharing glocal model sharing a
part of parameters. The glocal model showed a performance similar to, or
higher than, that of the data-shared global model and higher performance than
the AI sharing global model sharing all the parameters and local models. By
the experiment, we confirmed that the glocal model, which reflects the unique
characteristics of the local models by utilizing only a part of parameters of
each local model, outperforms the AI sharing global model, which shares all
the parameters. Because global models that share all parameters run the risk
of being used to reconstruct data, the glocal models only sharing a part of
parameters can also reduce privacy concerns.

다중 상점 환경을 위한 사용자 중심 초개인화 추천 시스템의 쌍대로서의 타겟 마케팅 방법론

이경전, 정백, 황보유정, 김수현, & 양문호. (2022, June). 다중 상점 환경을 위한 사용자 중심 초개인화 추천 시스템의 쌍대로서의 타겟 마케팅 방법론. In KMIS International Conference (pp. 29-29).

Abstract

한 상점의 관점에서 어떤 상품을 구매할 가능성이 높은 사용자를 추출하는 타겟 마케팅은 주로 사용자의 인구통계학적 정보를 기준으로 진행되어 왔다. 예를 들어, 20대 여성을 위한 의류 상품 추천, 40-50대 남성을 위한 건강식품 추천 등 나이와 성별을 중심으로 구매할 만한 상품을 추천하는 마케팅이 이루어지고 있다. 그러나 사용자의 인구통계학적 정보에 기반한 타겟 마케팅 방법은 엉뚱한 추천을 하는 등 성과에 있어 여러 문제가 있다. 예를 들어, 아이가 없는 사람에게 아기 기저귀를 추천하는 문제가 발생하는 것이다. 이에 본 연구에서는 사용자 중심 초개인화 추천 시스템의 결과를 그대로 활용하여, 타겟 마케팅을 하는 방법론을 제안하고자 한다. 본 논문은 사용자 중심 초개인화 추천 시스템을 통해 고객이 구매할 가능성이 높은 상품 리스트를 도출한 후 해당 리스트를 상품을 기준으로 교차하여, 상품을 구매할 사용자에게 타겟 마케팅 방법을 소개한다. 울산 지역 배달 및 주문서비스를 제공하고 있는 울산페달의 데이터로 제안된 방법론을 실험하였다. 예를 들어, 사용자 중심 추천 시스템을 통해 추천 상품 리스트를 확인했을 때, 20627번 사용자에게는 A스시집에서 판매하는 생연어초밥을, 27119번 사용자에게는 B카페에서 판매하는 크림카스테라가 추천되고, 이를 상품 기준으로 교차하면, A스시집에서는 생연어초밥을 구매할 가능성이 높은 20627번를 타겟으로 마케팅을 할 수 있고, B카페에서는 크림카스테라 상품을 27119번 사용자로 타겟하여 마케팅할 수 있는 것이다. 이러한 사용자 중심 초개인화 추천 시스템의 쌍대시스템으로서의 타겟 마케팅은 따로 시스템을 개발할 필요가 없다는 점에서 유용하다. 이러한 추천 시스템이 내놓은 정보를 활용하는 것은 사용자가 구매할 만한 상품을 추천하기 때문에, 사용자와 상점 모두에게 이득이 될 수 있는 구조가 있음을 확인하였고, 실제 데이터를 통해 그 구현 가능성을 확인하였다.

자연어 처리 기반의 추천시스템을 활용한 상품 기획 아이디어 도출 방법론: Brainstorming AI

이경전, 정백, 황보유정, 이건호, & 조영재. (2022, June). 자연어 처리 기반의 추천시스템을 활용한 상품 기획 아이디어 도출 방법론: Brainstorming AI. In KMIS International Conference (pp. 510-510).

Abstract

한국어자연어 처리 모델 중 Transformer를 활용한 TransformRec은 상품을 하나의 상품명으로 학습하는 기존의 학습방식과 달리, 상품명을 세분화된 토큰 단위로 학습하는 방식을 사용한다. 이러한 방식을 사용하게 되면, 실제로 존재하지 않는 상품명이 도출될 가능성이 있는데, 이렇게 도출된 상품명은 사용자에게 더 적합한 상품의 특성을 가질 수 있으므로, 이를 신상품 개발을 위한 아이디어로 활용할 수 있음을 본 논문에서 새롭게 제시한다. 본 논문은 울산 지역 배달 및 주문서비스를 제공하고 있는 울산페달의 데이터를 학습한 TransformRec을 통해, 새로운 상품 기획 아이디어 도출에 활용될 수 있는 Brainstorming AI방법론을 소개한다. 상품명을 세분화하여 학습하는 자연어 처리 기반의 추천시스템은, ‘닭가슴살 크림 스파게티’를 하나의 상품명으로 학습하는 것이 아니라 ‘닭가슴살’, ‘크림’, ‘스파게티’와 같이 세분화된 토큰 단위로 쪼개어 학습을 한다. 추천시스템의 결과 값 역시 토큰 단위로 산출되며, 토큰이 합쳐진 상품명은 일부 존재하지 않는 상품으로 도출될 수 있다. 예를 들어, 어떤 사용자가 ‘닭가슴살 크림 스파게티’, ‘낙지 비빔밥’, ‘제육덮밥’, ‘햄치즈 토스트’를 구매했다면, 이를 ‘닭가슴살’, ‘크림’, ‘스파게티’, ‘낙지’, ‘비빔밥’, ‘제육’, ‘덮밥’, ‘햄치즈’, ‘토스트’의 세분화된 토큰 단위로 학습하게 된다. 산출 값 역시 토큰 단위로 도출되는데, ‘낙지 크림 스파게티’, ‘제육 토스트’와 같이 실제 존재하지 않는 상품명이 도출될 수 있다. TransformRec의 추천 상품 결과 리스트에서 ‘제육 토스트’ 와 같이 실제로 판매되는 상품이 아닌 경우는 전체 상품 결과 리스트에서 약 12%를 차지하고 있는 것으로 나타났다. 이렇게 도출된 존재하지 않는 상품명들, 즉 새로운 상품명들은 신상품 개발을 위한 아이디어로 활용될 수 있다. 기존 추천시스템 연구가 하나의 모델로 추천이라는 하나의 태스크만을 할 수 있었다면, 본 연구팀은 추천시스템을 통한 타겟마케팅을 연구해왔고, 본 논문은 상품 기획에도 적용이 가능함을 보였다. 실제 데이터를 통해 그 가능성을 확인하였으며, 향후 빈도분석 또는 요약분석과 같은 빅데이터 분석을 통해 실제 신상품 출시에 기여할 수 있을 것이다.

Deploying an Artificial Intelligence-based defect finder

Lee, K. J., Kwon, J. W., Min, S., & Yoon, J. (2021). Deploying an Artificial Intelligence-Based Defect Finder for Manufacturing Quality Management . AI Magazine42(2), 5-18. (Pdf)

ABSTRACT

This paper describes how the Big Data Research Center of Kyung Hee University and Benple Inc. developed and deployed an artificial intelligence system to automate the quality management process for Frontec, an SME company that manufactures automobile parts. Various constraints, such as response time requirements and the limited computing resources available, needed to be considered in this project. Defect finders using large-scale images are expected to classify weld nuts within 0.2 s with an accuracy rate of over 95%. Our system uses Circular Hough Transform for preprocessing as well as an adjusted VGG (Visual Geometry Group) model. Our convolutional neural network (CNN) system shows an accuracy of over 99% and a response time of about 0.14 s. To embed the CNN model into the factory, we reimplemented the preprocessing modules using LabVIEW and had the classification model server communicate with an existing vision inspector. We share our lessons from this experience by explain-ing the procedure and real-world issues developing and embedding a deep learn-ing framework in an existing manufacturing environment without implementing any hardware changes.

Recommendation system with minimized transaction data

Hwangbo, Y., Lee, K. J., Jeong, B., & Park, K. Y. (2021). Recommendation system with minimized transaction data. Data Science and Management4, 40-45.(pdf)

Abstract

This paper deals with the recommendation system in the so-called user-centric payment environment where users, i.e., the payers, can make payments without providing self-information to merchants. This service maintains only the minimum purchase information such as the purchased product names, the time of purchase, the place of purchase for possible refunds or cancellations of purchases. This study aims to develop AI-based recommendation system by utilizing the minimum transaction data generated by the user-centric payment service. First, we developed a matrix-based extrapolative collaborative filtering algorithm based on open transaction data. The recommendation methodology was verified with the real transaction data. Based on the experimental results, we confirmed that the recommendation performance is satisfactory only with the minimum purchase information.

Deploying an Artificial Intelligence-based defect finder for manufacturing quality management

Lee, K. J., Kwon, J. W., Min, S., & Yoon, J. (2021). Deploying an Artificial Intelligence-based defect finder for manufacturing quality management. AI Magazine42(2), 5-18.(pdf)

Abstract

This paper describes how the Big Data Research Center of Kyung Hee University
and Benple Inc. developed and deployed an artificial intelligence system
to automate the quality management process for Frontec, an SME company
that manufactures automobile parts. Various constraints, such as response time
requirements and the limited computing resources available, needed to be considered
in this project. Defect finders using large-scale images are expected to
classify weld nuts within 0.2 s with an accuracy rate of over 95%. Our system
uses Circular Hough Transform for preprocessing as well as an adjusted VGG
(Visual Geometry Group) model. Our convolutional neural network (CNN) system
shows an accuracy of over 99% and a response time of about 0.14 s. To embed
the CNN model into the factory, we reimplemented the preprocessing modules
using LabVIEW and had the classification model server communicate with an
existing vision inspector. We share our lessons from this experience by explaining
the procedure and real-world issues developing and embedding a deep learning
framework in an existing manufacturing environment without implementing
any hardware changes.