자연어 처리 기반의 추천시스템을 활용한 Demand Forecasting및 Trend Forecasting 방법론

이경전 , 정백 , 김수현 , 이건호 , 백태훈. (2022). 자연어 처리 기반의 추천시스템을 활용한 Demand Forecasting및 Trend Forecasting 방법론. 한국지능정보시스템학회 추계학술대회.

Abstract

추천시스템을 통해 추천된 Product들은 User가 구매할 확률이 높은 Product를 예측하여 추천하는 것으로, 인공지능 시스템이 도출한 미래 예측 데이터로 볼 수 있다. AI System Output으로써 추천된 Product를 빈도분석한다면 상품별 수요 예측이 가능할 것이다. 또한, Product명을 자연어를 그대로 학습시킨 자연어 처리 기반의 추천시스템을 활용한다면, AI System Output의 추천된 Product명을 의미 있는 단어로 수동 필터링하여 상품 구매 트렌드를 예측할 수 있을 것이다. 본 연구에서는 Product명을 학습할 수 있도록, Product명 확인이 가능한 결제사 데이터를 사용하였다. 그리고 User가 구매한 Product명을 학습하는 자연어 처리 기반의 추천시스템으로, 미래 예측 데이터를 도출하여 Demand Forecasting 및 Trend Forecasting 방법론을 실험하였다. 먼저, 데이터를 1년 단위, 월 간격으로 학습하여 월단위로 미래 예측 데이터를 도출하였다. 21년 6월부터 22년 5월 데이터를 활용한 추천시스템의 결과는 22년 6월 구매 예측 데이터로, 21년 7월부터 22년 6월 데이터를 활용한 추천시스템의 결과는 22년 7월 구매 예측 데이터로 볼 수 있다. 이처럼 월단위로 도출된 상품별 구매 예측 데이터를 빈도분석을 하여 Demand Forecasting으로 적용할 수 있다. 예를 들어, 신제품으로 출시된‘숯불순살치킨’의 미래 예측 데이터로 빈도분석 할 때, 6월 구매 측 8건, 7월 12건, 8월 14건으로 수요를 예측할 수 있고, 이는 신제품에 대한 수요가 점차 증가될 것이라고 판단할 수 있다. 또한, 자연어 처리 방식으로 학습하고 도출된 Product명을 의미 있는 단어로 필터링하여 검색할 경우, Trend Forecasting으로 적용할 수 있다. 예를 들어, 여름철 상품 트렌드 분석을 위해 ‘ICE’ 또는 ‘아이스’가 들어간 상품을 필터링 하여, 미래 예측 데이터를 빈도분석한 결과, 6월 32건, 7월 57건, 8월 60건으로 더운 여름철 점차 아이스와 관련된 상품의 수요가 증가하는 것을 확인할 수 있었다. 지금까지의 추천시스템은 대부분 B2C의 Personalized Recommender System으로써 User에게 상품을 추천하는 시스템으로만 사용되어왔다. 그러나 본 연구에서는 추천된 Product를 AI System Output으로 빈도분석하여, B2B Service의 Demand Forecasting 및 Trend Forecasting으로도 활용이 가능함을 확인하였다. 특히, Product명을 그대로 학습하는 자연어 처리 기반 시스템은, Product명을 의미 있는 단어로 분석하여 다양한 서비스를 제공할 수 있다는 이점을 확인할 수 있었다.

추천시스템 결과물의 빅데이터 분석을 통한 Product Bundling 및 Co-Marketing 제안 방법론

김수현, 정백, 이건호, 조영재, 이경전. (2022). 추천시스템 결과물의 빅데이터 분석을 통한 Product Bundling 및 Co-Marketing 제안 방법론.한국경영보학회 2022 추계학술대회.

Abstract

두 개 이상의 다른 상품을 하나로 묶어 가격할인 프로모션을 적용하여 판매하는 것을 Product Bundling이라고 한다. 예를 들어, 배달의 민족은 장바구니 화면에서 “함께 먹으면 좋아요”라는 안내를 통해 Bundling을 제안하며, 쿠팡은 장바구니 담기 선택 시 다른 고객이 함께 구매한 상품을 제안한다. 또한, 서로의 상품이나 서비스를 홍보하기 위해 둘 이상의 상점이 협력하는 마케팅 접근 방식을 Co-Marketing이라고 하는데, 이러한 마케팅 전략은 사용자가 더 많은 상품을 구매하도록 유도한다. 이에 본 연구에서는 초개인화 추천시스템의 결과물을 빅데이터 분석하여 도출한 Product Bundling과 Co-Marketing 방법론을 제안하고자 한다. 먼저, 초개인화 추천시스템을 통해 도출된 추천 상품 리스트에서 동일한 상점의 상품이 복수로 도출될 경우, 상품을 결합하여 제안하는 방법론을 소개한다. 예를 들어, 초개인화 추천시스템을 통해 User A에게는 ‘후라이드 치킨’, ‘피자(갈비천왕비프)’, ‘전복죽’, User B에게는 ‘만두’, ‘후라이드 치킨’, ‘피자(갈비천왕비프)’가 추천된 것을 확인하였다고 하자. 추천시스템 결과에 따라 User C에게 추천을 할 때, User A와 User B에게서 함께 추천된 빈도가 높은 ‘후라이드 치킨’과 ‘피자(갈비천왕비프)’를 결합하여 추천 할 수 있는 것이다. 상점의 관점으로 보았을 때는 추천시스템의 결과물에서 동시에 나타난 빈도가 높은 상점 간 협업을 제안하는 Co-Marketing도 가능하다. 예를 들어, 초개인화 추천시스템에 의해 도출된 추천 상품 리스트를 확인하였을 때, User A에게는 ‘세팔이네38치킨’, ‘청년피자 울산남구점’, ‘배떡 울산점’이 추천되었고, User B에게는 ‘대한냉면고기친구’, ‘세팔이네38치킨’, ‘청년피자 울산남구점’이 추천되었다면 ‘세팔이네38치킨’과 ‘청년피자 울산남구점’에게 Co-Marketing을 제안하여 피자/치킨 세트를 판매하는 등의 Win-Win 관계를 이끌어낼 수 있다. 결과적으로 초개인화 추천시스템을 통한 Product Bundling 및 Co-Marketing은 별도의 시스템을 개발할 필요가 없다는 강점이 있다. 또한, 추천시스템이 도출한 결과를 활용하기 때문에 사용자가 실제로 구매할 만한 상품 및 상점에게 적절한 혜택과 함께 결합을 제안한다. 따라서 판매율 및 수익을 높여 사용자와 상점에게 일석이조의 효과를 내는 구조가 될 수 있음을 확인하였다.

날짜를 반영한 자연어 처리 기반의 추천시스템: EventPromotion

이경전, 이건호, 정백, 김수현, 박경양. (2022).날짜를 반영한 자연어 처리 기반의 추천시스템: EventPromotion.한국경영정보학회 2022 추계학술대회.

Abstract

일년 중에 하루인 12월 25일 크리스마스, 한달에 한 번 있는 월급날과 같이, Time에 따라 구매하는 상품이 달라진다. 한 예로, 아이가 있는 A씨는 마트에 방문할 때마다 주로 기저귀, 분유와 같은 유아용품을 구매했지만, 어버이날에는 부모님을 위한 선물을 구매할 수 있다. 이처럼 Time은 상품을 추천할 때, 매우 중요한 요소 중 하나로 볼 수 있다. 자연어 처리 모델 Transformer를 기반으로 만들어진 사용자 중심 추천시스템 TransformRec은 사용자의 개인정보를 최소한으로 활용하며, 사용자가 구매한 영수증의 상품명을 자연어 그대로 활용하여 가장 적합한 상품을 추천하는 모델이다. 이에 본 연구에서는 상품명을 자연어 그대로 활용하는 기존 TransformRec 추천시스템에, Time을 하나의 자연어로 구분하여 구매한 상품명과 함께 학습하는 Event Promotion 방법론을 제안한다.

Event Promotion 방법론은 구매 영수증 데이터의 Time을 Date(일), Day(요일), Month(월), Month and Date(월과 일) 4가지로 구분하여 각각 상품명과 함께 학습한다. 예를 들어, Date의 경우 월급날과 같이 매월 1일부터 31일의 일자에 따라 상품 구매가 달라질 수 있고, Day의 경우에는 주말을 앞둔 금요일에 주류 구매가 늘어나듯이 요일에 따라 구매 상품이 달라질 것이다. Month의 경우 새해를 시작하는 1월, 가정의 달인 5월 등 월에 영향을 받을 것이며, Month and Date의 경우 12월 25일(크리스마스)와 같이 기념일에 구매하는 상품이 존재할 수 있을 것이다. 이처럼 각 상품을 구매하는 시점이 끼치는 영향을 고려하여 4가지로 Time을 구분하였다.

이를 위해 본 연구는 2017년 1월 4일부터 6월 24일까지(약 5개월)의 영국 온라인 상거래 데이터인 UK-Ecommerce 데이터 셋을 이용하여, 상품명을 자연어로 학습하는 TransformRec(Time Ignore)과 Time을 Date, Day, Month, Month and Date로 추가한 4가지 Event Promotion(Time Aware)을 비교 실험했다. 실험 결과, Time을 고려하지 않은 TransformRec과 Time을 고려한 4가지 Event Promotion의 정확도는 유사하게 나타났다. 하지만, 각 Date, Day, Month, Month and Date을 반영했을 때, Time을 고려하지 않은 모델에서 맞추지 못한 추천 상품을, 특정 Time을 반영했을 때 맞추는 결과를 보였다. 이를 근거로, Event Promotion의 4가지 모델과 TransformRec을 앙상블하여 Time별 정확도가 높은 결과를 모아 추천하였을 때, 기존 Time을 고려하지 않은 TransformRec의 모델의 정확도(17.04%)에서 9.6% 향상된 18.68%의 정확도를 확인할 수 있었다. 본 연구에서는 개인정보를 최소한으로 활용함과 동시에 Time과 상품명을 자연어 그대로 사용하여 성능을 개선했다는 점에 의의가 있다. 향후 연구에서는 Time뿐만 아니라 날씨, 장소와 같이 상품추천 시 고려해야할 요소들을 추가적으로 반영하여 성능을 개선하는 연구를 진행하고자 한다.

AI-Connect Protocol: A New Federated Deep Learning Method for User-Centric AI Service

최승호, 정백, 황보유정, 박경양, 이경전. (2022).AI-Connect Protocol: A New Federated Deep Learning Method for User-Centric AI Service.한국지능정보시스템학회 2022 춘계학술대회.

Abstract

사용자 중심 인공지능 서비스 구현을 위해 연합학습 (Federated Learning)을 적용하는 과정에서 Data 를 결합하지 않고도 학습 가중치만을 공유해야 되는 문제점이 있다. 위 문제를 경감하기 위해서 학습 가중치만 공유하는 개념에 기반하여
Iterative Parallel Average(IPA)를 제안한다. 새롭게 제안하는 IPA 방식은 학습 Data를 분할하여 순차적으로 Local Model을 만들고 학습 가중치를 반복 누적 평균하여 만든 Global Model이다. 이를 검증하기 위해 각 Local Model의 평균, Data를 결합한 Global Model, 기존의 연합학습에서 사용되고 있는 이른바 Monolithic Average (MA) 방법, 그리고 IPA 방법을 Text classification 와 Text generation 태스크 실험을 통해 비교했다. IPA 방식의 성능은 Local Model의 평균 성능보다 각 태스크에서 4.1%, 8.7%, MA 방법의 성능보다 5.1%, 13.7% 향상되었고, Data를 결합한 Global Model의 성능보다는 낮았다. 결론적으로 Data를 결합하지 않는 조건에서, 새롭게 제안한 IPA 방식의 성능이 향상됨을 확인했다.

Policy Perceptron: 정책 분류 자동화를 위한 인공지능 모형 개발

이경전 , 황보유정 , 정백 , 유지웅 , 배성원 , 임채원. (2022). Policy Perceptron: 정책 분류 자동화를 위한 인공지능 모형 개발. 한국행정학회 하계학술발표논문집 (pp. 2593-2606).

Abstract

정책 변동이 점진적인지 아니면 급격하게 일어나는 것인지에 대한 논의가 오랫동안 이어져 온 것과 관련하여, 과거 공공의제 변동의 특성을 연구함과 동시에 글로벌 공공정책 비교를 통해 협력 체계를 구축하는 비교 아젠다 프로젝트(Comparative Agendas Project, CAP)가 진행되어 왔다. 비교 아젠다 프로젝트의 참여국은 공통기준인 거시경제, 교육, 보건 등의 주요 의제(Major Topic) 23개와 하위 의제(Subtopic) 213개로 범주를 마련해왔다. 한국에서도 1987년 이후 2019년까지 공중 아젠다, 미디어, 입법부, 행정부에 관한 데이터 분석과 구축을 정책 분석가의 수작업으로 진행해왔는데, 수작업으로 진행되는 정책 분류작업은 정책 전문가에 따라 다르게 해석될 수 있으며, 상황에 따라 단순 휴먼 에러가 발생할 수 있기에 정책 분류작업에서 실수를 줄일 수 있는 방법이 필요하다. 본 연구는 현재까지 전문가의 수작업으로 구축된 데이터베이스를 기반으로 인공지능 알고리듬을 활용하여 정책 분류 자동화를 지원하는 딥러닝 모델을 개발하는 것을 목표로 한다. 딥러닝 모델 중 자연어 기반 KoBERT를 사용하여, 정책 분류 자동화를 위한 인공지능 모형인 Policy Perceptron을 개발하였다. 퍼셉트론(Perceptron)은 인공 신경망 모형의 하나로서 딥러닝의 시초가 되는 알고리듬으로, 본 연구는 인공지능 모형 Policy Perceptron을 개발함으로써 정책 분류의 첫 알고리듬으로서의 의미를 가진다. 본 연구의 방법은 총 3단계로, ① 기존 구축된 비교 아젠다 데이터의 품질 향상을 위해 크롤링 기법을 통해 데이터를 추가한 DB 구축 단계, ② 알고리듬 정확도 향상을 위한 데이터 전처리 단계, ③ Policy Perceptron 모형 구축 및 성능 확인 단계로 구성된다. 먼저, 행정, 입법, 미디어 데이터를 통합하여 최종 데이터 셋을 구성하고, 입법과 미디어 데이터의 경우는 각각 국회 의안정보시스템 홈페이지와 조선일보 홈페이지에서 크롤링 기법을 통해 데이터를 추가 획득하였으며, 수집된 데이터를 통해 전처리 단계를 수행하였다. Policy Perceptron의 정확도 향상을 위한 불용어 처리 및 텍스트 요약 수행을 위해 카카오 브레인에서 공개한 통합 자연어 프레임워크인 Pororo(Platform of Neural Models for Natural Language Processing)를 사용하여 텍스트 요약을 진행하였다. Policy Perceptron의 적절한 학습을 위하여 데이터의 수가 10개 미만인 Subtopic은 제외하는 방식을 사용하였다. 최종적으로 Major Topic은 23개, Subtopic은 184개로 확정되었으며, Major Topic을 분류하고 다음으로 Subtopic을 분류하는 2중 분류 모델을 설계하였다. 1차 Policy Perceptron은 전체 데이터에 Major Topic을 레이블링으로 학습하고 2차 Policy Perceptron은 전체 데이터를 Major Topic에 따라 분류하여 각각 학습한다. 최종적으로 구현된 Policy Perceptron의 성능을 평가하기 위해서, 인공지능 성능 평가에 가장 기본적으로 사용하는 정확도(Accuracy)로 확인하였다. Top-1의 경우 정확도가 62.4%로 나타났으며, Top-3의 경우 71.6%의 정확도를 보였다. 정책 분류 자동화 인공지능 모형 개발은 동일한 모델로 정책을 분류할 수 있다는 데에 큰 의의가 있다. 본 연구에서 개발한 Policy Perceptron 모델은 향후 사람의 정책 분류 의사결정을 돕는 보조 시스템으로 활용 가능하며, 인공지능이 정책 범주를 제시함으로써 판단 시간을 줄여주고 정책 분류의 생산성을 높여줄 것이다. 더 나아가 정부 정책 외에도 지방자치 정책 등 더 다양한 분야의 정책을 분류하고 비교·평가함으로써 국정운영의 방향을 모색하는데 기여할 수 있을 것이다.

AMPER(Aim-Measure-Predict-Evaluate-Recommend):The Paradigm of Digital Me

Kyoung Jun Lee., Baek Jeong., Yujeong Hwangbo., Youngchan Kim., Sungwon Bae., & Taehoon Baek. (2022). AMPER(Aim-Measure-Predict-Evaluate-Recommend): The Paradigm of Digital Me. 23rd International Center for Electronic Commerce.

Abstract
AI services can help people live healthier and richer lives, and such services can be
collectively referred to as Digital Me. The purpose of this paper is to research Digital
Me service and suggests AMPER (Aim-Measure-Predict-Evaluate-Recommend)
approach to implement a general Digital Me algorithm for providing actual services.
Digital Me is defined as an AI-based product service system (PSS) that makes it
possible to manage the individual’s state (health, beauty, memory, knowledge, finance,
and happiness, etc.) in real- time. We studied cases of Digital Me service of edutech
and healthcare. In order to enable a Digital Me service, it is necessary to measure,
predict and evaluate the user’s future states, and recommend actions to improve the
states. We developed a structure of a purely data-based algorithm that set a usercentric
aim (A), measures the user’s states (M), predicts the user’s future states (P),
evaluates and compares the user’s performance (E), and recommends desirable action
(R). As a result of experimenting with the proposed algorithm structure with EdNet
dataset, we verified the AMPER structure for the user-centric aim of improving the
user’s English score that measures the correct answer to the question solved by the
user, predicts the correct answer to the next question using Transformer model,
evaluates the user’s English ability, and recommends the question that will improve
English scores the fastest.

TransformRec: User-Centric Recommender Systemfor e-Commerce Using Transformer

Kyoung Jun Lee., Yujeong Hwangbo., Hokyoung Jung., Baek Jeong., & Jong Il Park. (2022). TransformRec: User-Centric Recommender System  for e-Commerce Using Transformer. 23rd International Center for Electronic Commerce.

Abstract
We propose a new User-Centric recommender system using Transformer model called
TransformRec, which uses receipt data without personal information and identity and
considers only the relationships between tokenized product names. TransformRec
recommends a product based on its most recent receipt, which includes product names.
Although a receipt includes a product that the Transformer has not learned,
TransformRec can recommend a real product that is considered as most relevant to the
user’s last purchase. We used two commercial datasets, an e-commerce dataset and
Instacart dataset, and compared the performances of TransformRec, TransformRec
without tokenizing, and Word2Vec. The experimental results demonstrated that the
performance of TransformRec is superior to that of the other two models. Thus, we
conclude that it is possible to recommend a product without using user identity or
demographic information with higher performances. In addition, we confirmed that
reflecting the relationship among tokens can improve recommendation performance.
Keywords: TransformRec, User-Centric, Recommender System, e-Commerce

다중 상점 환경을 위한 사용자 중심 초개인화 추천 시스템의 쌍대로서의 타겟 마케팅 방법론

이경전, 정백, 황보유정, 김수현, & 양문호. (2022). 다중 상점 환경을 위한 사용자 중심 초개인화 추천 시스템의 쌍대로서의 타겟 마케팅 방법론. In KMIS International Conference (pp. 29-29).

Abstract

한 상점의 관점에서 어떤 상품을 구매할 가능성이 높은 사용자를 추출하는 타겟 마케팅은 주로 사용자의 인구통계학적 정보를 기준으로 진행되어 왔다. 예를 들어, 20대 여성을 위한 의류 상품 추천, 40-50대 남성을 위한 건강식품 추천 등 나이와 성별을 중심으로 구매할 만한 상품을 추천하는 마케팅이 이루어지고 있다. 그러나 사용자의 인구통계학적 정보에 기반한 타겟 마케팅 방법은 엉뚱한 추천을 하는 등 성과에 있어 여러 문제가 있다. 예를 들어, 아이가 없는 사람에게 아기 기저귀를 추천하는 문제가 발생하는 것이다. 이에 본 연구에서는 사용자 중심 초개인화 추천 시스템의 결과를 그대로 활용하여, 타겟 마케팅을 하는 방법론을 제안하고자 한다. 본 논문은 사용자 중심 초개인화 추천 시스템을 통해 고객이 구매할 가능성이 높은 상품 리스트를 도출한 후 해당 리스트를 상품을 기준으로 교차하여, 상품을 구매할 사용자에게 타겟 마케팅 방법을 소개한다. 울산 지역 배달 및 주문서비스를 제공하고 있는 울산페달의 데이터로 제안된 방법론을 실험하였다. 예를 들어, 사용자 중심 추천 시스템을 통해 추천 상품 리스트를 확인했을 때, 20627번 사용자에게는 A스시집에서 판매하는 생연어초밥을, 27119번 사용자에게는 B카페에서 판매하는 크림카스테라가 추천되고, 이를 상품 기준으로 교차하면, A스시집에서는 생연어초밥을 구매할 가능성이 높은 20627번를 타겟으로 마케팅을 할 수 있고, B카페에서는 크림카스테라 상품을 27119번 사용자로 타겟하여 마케팅할 수 있는 것이다. 이러한 사용자 중심 초개인화 추천 시스템의 쌍대시스템으로서의 타겟 마케팅은 따로 시스템을 개발할 필요가 없다는 점에서 유용하다. 이러한 추천 시스템이 내놓은 정보를 활용하는 것은 사용자가 구매할 만한 상품을 추천하기 때문에, 사용자와 상점 모두에게 이득이 될 수 있는 구조가 있음을 확인하였고, 실제 데이터를 통해 그 구현 가능성을 확인하였다.

자연어 처리 기반의 추천시스템을 활용한 상품 기획 아이디어 도출 방법론: Brainstorming AI

이경전, 정백, 황보유정, 이건호, & 조영재. (2022). 자연어 처리 기반의 추천시스템을 활용한 상품 기획 아이디어 도출 방법론: Brainstorming AI. In KMIS International Conference (pp. 510-510).

Abstract

한국어자연어 처리 모델 중 Transformer를 활용한 TransformRec은 상품을 하나의 상품명으로 학습하는 기존의 학습방식과 달리, 상품명을 세분화된 토큰 단위로 학습하는 방식을 사용한다. 이러한 방식을 사용하게 되면, 실제로 존재하지 않는 상품명이 도출될 가능성이 있는데, 이렇게 도출된 상품명은 사용자에게 더 적합한 상품의 특성을 가질 수 있으므로, 이를 신상품 개발을 위한 아이디어로 활용할 수 있음을 본 논문에서 새롭게 제시한다. 본 논문은 울산 지역 배달 및 주문서비스를 제공하고 있는 울산페달의 데이터를 학습한 TransformRec을 통해, 새로운 상품 기획 아이디어 도출에 활용될 수 있는 Brainstorming AI방법론을 소개한다. 상품명을 세분화하여 학습하는 자연어 처리 기반의 추천시스템은, ‘닭가슴살 크림 스파게티’를 하나의 상품명으로 학습하는 것이 아니라 ‘닭가슴살’, ‘크림’, ‘스파게티’와 같이 세분화된 토큰 단위로 쪼개어 학습을 한다. 추천시스템의 결과 값 역시 토큰 단위로 산출되며, 토큰이 합쳐진 상품명은 일부 존재하지 않는 상품으로 도출될 수 있다. 예를 들어, 어떤 사용자가 ‘닭가슴살 크림 스파게티’, ‘낙지 비빔밥’, ‘제육덮밥’, ‘햄치즈 토스트’를 구매했다면, 이를 ‘닭가슴살’, ‘크림’, ‘스파게티’, ‘낙지’, ‘비빔밥’, ‘제육’, ‘덮밥’, ‘햄치즈’, ‘토스트’의 세분화된 토큰 단위로 학습하게 된다. 산출 값 역시 토큰 단위로 도출되는데, ‘낙지 크림 스파게티’, ‘제육 토스트’와 같이 실제 존재하지 않는 상품명이 도출될 수 있다. TransformRec의 추천 상품 결과 리스트에서 ‘제육 토스트’ 와 같이 실제로 판매되는 상품이 아닌 경우는 전체 상품 결과 리스트에서 약 12%를 차지하고 있는 것으로 나타났다. 이렇게 도출된 존재하지 않는 상품명들, 즉 새로운 상품명들은 신상품 개발을 위한 아이디어로 활용될 수 있다. 기존 추천시스템 연구가 하나의 모델로 추천이라는 하나의 태스크만을 할 수 있었다면, 본 연구팀은 추천시스템을 통한 타겟마케팅을 연구해왔고, 본 논문은 상품 기획에도 적용이 가능함을 보였다. 실제 데이터를 통해 그 가능성을 확인하였으며, 향후 빈도분석 또는 요약분석과 같은 빅데이터 분석을 통해 실제 신상품 출시에 기여할 수 있을 것이다.

Deploying an Artificial Intelligence-based defect finder

Lee, K. J., Kwon, J. W., Min, S., & Yoon, J. (2021). Deploying an Artificial Intelligence-Based Defect Finder for Manufacturing Quality Management . AI Magazine42(2), 5-18. (Pdf)

ABSTRACT

This paper describes how the Big Data Research Center of Kyung Hee University and Benple Inc. developed and deployed an artificial intelligence system to automate the quality management process for Frontec, an SME company that manufactures automobile parts. Various constraints, such as response time requirements and the limited computing resources available, needed to be considered in this project. Defect finders using large-scale images are expected to classify weld nuts within 0.2 s with an accuracy rate of over 95%. Our system uses Circular Hough Transform for preprocessing as well as an adjusted VGG (Visual Geometry Group) model. Our convolutional neural network (CNN) system shows an accuracy of over 99% and a response time of about 0.14 s. To embed the CNN model into the factory, we reimplemented the preprocessing modules using LabVIEW and had the classification model server communicate with an existing vision inspector. We share our lessons from this experience by explain-ing the procedure and real-world issues developing and embedding a deep learn-ing framework in an existing manufacturing environment without implementing any hardware changes.