Category Archives: Articles

AI-Connect Protocol: A New Federated Deep Learning Method for User-Centric AI Service

최승호, 정백, 황보유정, 박경양, 이경전. (2022).AI-Connect Protocol: A New Federated Deep Learning Method for User-Centric AI Service.한국지능정보시스템학회 2022 춘계학술대회.

Abstract

사용자 중심 인공지능 서비스 구현을 위해 연합학습 (Federated Learning)을 적용하는 과정에서 Data 를 결합하지 않고도 학습 가중치만을 공유해야 되는 문제점이 있다. 위 문제를 경감하기 위해서 학습 가중치만 공유하는 개념에 기반하여
Iterative Parallel Average(IPA)를 제안한다. 새롭게 제안하는 IPA 방식은 학습 Data를 분할하여 순차적으로 Local Model을 만들고 학습 가중치를 반복 누적 평균하여 만든 Global Model이다. 이를 검증하기 위해 각 Local Model의 평균, Data를 결합한 Global Model, 기존의 연합학습에서 사용되고 있는 이른바 Monolithic Average (MA) 방법, 그리고 IPA 방법을 Text classification 와 Text generation 태스크 실험을 통해 비교했다. IPA 방식의 성능은 Local Model의 평균 성능보다 각 태스크에서 4.1%, 8.7%, MA 방법의 성능보다 5.1%, 13.7% 향상되었고, Data를 결합한 Global Model의 성능보다는 낮았다. 결론적으로 Data를 결합하지 않는 조건에서, 새롭게 제안한 IPA 방식의 성능이 향상됨을 확인했다.

Policy Perceptron: 정책 분류 자동화를 위한 인공지능 모형 개발

이경전 , 황보유정 , 정백 , 유지웅 , 배성원 , 임채원. (2022). Policy Perceptron: 정책 분류 자동화를 위한 인공지능 모형 개발. 한국행정학회 하계학술발표논문집 (pp. 2593-2606).

Abstract

정책 변동이 점진적인지 아니면 급격하게 일어나는 것인지에 대한 논의가 오랫동안 이어져 온 것과 관련하여, 과거 공공의제 변동의 특성을 연구함과 동시에 글로벌 공공정책 비교를 통해 협력 체계를 구축하는 비교 아젠다 프로젝트(Comparative Agendas Project, CAP)가 진행되어 왔다. 비교 아젠다 프로젝트의 참여국은 공통기준인 거시경제, 교육, 보건 등의 주요 의제(Major Topic) 23개와 하위 의제(Subtopic) 213개로 범주를 마련해왔다. 한국에서도 1987년 이후 2019년까지 공중 아젠다, 미디어, 입법부, 행정부에 관한 데이터 분석과 구축을 정책 분석가의 수작업으로 진행해왔는데, 수작업으로 진행되는 정책 분류작업은 정책 전문가에 따라 다르게 해석될 수 있으며, 상황에 따라 단순 휴먼 에러가 발생할 수 있기에 정책 분류작업에서 실수를 줄일 수 있는 방법이 필요하다. 본 연구는 현재까지 전문가의 수작업으로 구축된 데이터베이스를 기반으로 인공지능 알고리듬을 활용하여 정책 분류 자동화를 지원하는 딥러닝 모델을 개발하는 것을 목표로 한다. 딥러닝 모델 중 자연어 기반 KoBERT를 사용하여, 정책 분류 자동화를 위한 인공지능 모형인 Policy Perceptron을 개발하였다. 퍼셉트론(Perceptron)은 인공 신경망 모형의 하나로서 딥러닝의 시초가 되는 알고리듬으로, 본 연구는 인공지능 모형 Policy Perceptron을 개발함으로써 정책 분류의 첫 알고리듬으로서의 의미를 가진다. 본 연구의 방법은 총 3단계로, ① 기존 구축된 비교 아젠다 데이터의 품질 향상을 위해 크롤링 기법을 통해 데이터를 추가한 DB 구축 단계, ② 알고리듬 정확도 향상을 위한 데이터 전처리 단계, ③ Policy Perceptron 모형 구축 및 성능 확인 단계로 구성된다. 먼저, 행정, 입법, 미디어 데이터를 통합하여 최종 데이터 셋을 구성하고, 입법과 미디어 데이터의 경우는 각각 국회 의안정보시스템 홈페이지와 조선일보 홈페이지에서 크롤링 기법을 통해 데이터를 추가 획득하였으며, 수집된 데이터를 통해 전처리 단계를 수행하였다. Policy Perceptron의 정확도 향상을 위한 불용어 처리 및 텍스트 요약 수행을 위해 카카오 브레인에서 공개한 통합 자연어 프레임워크인 Pororo(Platform of Neural Models for Natural Language Processing)를 사용하여 텍스트 요약을 진행하였다. Policy Perceptron의 적절한 학습을 위하여 데이터의 수가 10개 미만인 Subtopic은 제외하는 방식을 사용하였다. 최종적으로 Major Topic은 23개, Subtopic은 184개로 확정되었으며, Major Topic을 분류하고 다음으로 Subtopic을 분류하는 2중 분류 모델을 설계하였다. 1차 Policy Perceptron은 전체 데이터에 Major Topic을 레이블링으로 학습하고 2차 Policy Perceptron은 전체 데이터를 Major Topic에 따라 분류하여 각각 학습한다. 최종적으로 구현된 Policy Perceptron의 성능을 평가하기 위해서, 인공지능 성능 평가에 가장 기본적으로 사용하는 정확도(Accuracy)로 확인하였다. Top-1의 경우 정확도가 62.4%로 나타났으며, Top-3의 경우 71.6%의 정확도를 보였다. 정책 분류 자동화 인공지능 모형 개발은 동일한 모델로 정책을 분류할 수 있다는 데에 큰 의의가 있다. 본 연구에서 개발한 Policy Perceptron 모델은 향후 사람의 정책 분류 의사결정을 돕는 보조 시스템으로 활용 가능하며, 인공지능이 정책 범주를 제시함으로써 판단 시간을 줄여주고 정책 분류의 생산성을 높여줄 것이다. 더 나아가 정부 정책 외에도 지방자치 정책 등 더 다양한 분야의 정책을 분류하고 비교·평가함으로써 국정운영의 방향을 모색하는데 기여할 수 있을 것이다.

AMPER(Aim-Measure-Predict-Evaluate-Recommend):The Paradigm of Digital Me

Kyoung Jun Lee., Baek Jeong., Yujeong Hwangbo., Youngchan Kim., Sungwon Bae., & Taehoon Baek. (2022). AMPER(Aim-Measure-Predict-Evaluate-Recommend): The Paradigm of Digital Me. 23rd International Center for Electronic Commerce.

Abstract
AI services can help people live healthier and richer lives, and such services can be
collectively referred to as Digital Me. The purpose of this paper is to research Digital
Me service and suggests AMPER (Aim-Measure-Predict-Evaluate-Recommend)
approach to implement a general Digital Me algorithm for providing actual services.
Digital Me is defined as an AI-based product service system (PSS) that makes it
possible to manage the individual’s state (health, beauty, memory, knowledge, finance,
and happiness, etc.) in real- time. We studied cases of Digital Me service of edutech
and healthcare. In order to enable a Digital Me service, it is necessary to measure,
predict and evaluate the user’s future states, and recommend actions to improve the
states. We developed a structure of a purely data-based algorithm that set a usercentric
aim (A), measures the user’s states (M), predicts the user’s future states (P),
evaluates and compares the user’s performance (E), and recommends desirable action
(R). As a result of experimenting with the proposed algorithm structure with EdNet
dataset, we verified the AMPER structure for the user-centric aim of improving the
user’s English score that measures the correct answer to the question solved by the
user, predicts the correct answer to the next question using Transformer model,
evaluates the user’s English ability, and recommends the question that will improve
English scores the fastest.

TransformRec: User-Centric Recommender Systemfor e-Commerce Using Transformer

Kyoung Jun Lee., Yujeong Hwangbo., Hokyoung Jung., Baek Jeong., & Jong Il Park. (2022). TransformRec: User-Centric Recommender System  for e-Commerce Using Transformer. 23rd International Center for Electronic Commerce.

Abstract
We propose a new User-Centric recommender system using Transformer model called
TransformRec, which uses receipt data without personal information and identity and
considers only the relationships between tokenized product names. TransformRec
recommends a product based on its most recent receipt, which includes product names.
Although a receipt includes a product that the Transformer has not learned,
TransformRec can recommend a real product that is considered as most relevant to the
user’s last purchase. We used two commercial datasets, an e-commerce dataset and
Instacart dataset, and compared the performances of TransformRec, TransformRec
without tokenizing, and Word2Vec. The experimental results demonstrated that the
performance of TransformRec is superior to that of the other two models. Thus, we
conclude that it is possible to recommend a product without using user identity or
demographic information with higher performances. In addition, we confirmed that
reflecting the relationship among tokens can improve recommendation performance.
Keywords: TransformRec, User-Centric, Recommender System, e-Commerce

Deploying an Artificial Intelligence-based defect finder

Lee, K. J., Kwon, J. W., Min, S., & Yoon, J. (2021). Deploying an Artificial Intelligence-Based Defect Finder for Manufacturing Quality Management . AI Magazine, 42(2), 5-18. (Pdf)

ABSTRACT

This paper describes how the Big Data Research Center of Kyung Hee University and Benple Inc. developed and deployed an artificial intelligence system to automate the quality management process for Frontec, an SME company that manufactures automobile parts. Various constraints, such as response time requirements and the limited computing resources available, needed to be considered in this project. Defect finders using large-scale images are expected to classify weld nuts within 0.2 s with an accuracy rate of over 95%. Our system uses Circular Hough Transform for preprocessing as well as an adjusted VGG (Visual Geometry Group) model. Our convolutional neural network (CNN) system shows an accuracy of over 99% and a response time of about 0.14 s. To embed the CNN model into the factory, we reimplemented the preprocessing modules using LabVIEW and had the classification model server communicate with an existing vision inspector. We share our lessons from this experience by explain-ing the procedure and real-world issues developing and embedding a deep learn-ing framework in an existing manufacturing environment without implementing any hardware changes.