Introduction to Data Minig 1-2

본 내용은 부산대학교 통계학과 최용석 교수님께서 웹에 등록하신 내용입니다.

 

Part I : Why DM?

 

1-2. Data Mining과 Campaign 관리의 통합

한국 SAS 마케팅부 임난희

이 글은 Exchange Application사의 Kirt Thearling 박사의 Increasing customer value by integrating data mining with campaign management software를 번역한 글이며, 모든 저작권은 Exchange Applications Inc.에 있습니다. SAS Enterprise Miner는 Exchange Applications사의 캠패인 관리 도구인 ValEX와 통합되어 SAS Enterprise Miner에서 생성된 Data Mining 모형을 ValEx에서 동적으로 사용할 수 있도록 지원하고 있습니다.

▷▶ Data Mining Application

 

성공적인 고객 관리를 위해서, Database Marketer들은 우선, 높은 잠재력이 있는 고객이나 후보 고객군이 있는 세분 시장을 알아내고 각 개인들의 구매 행동에 호의적으로 영향을 미칠 수 있는 캠페인을 계획하고 시행해야 한다.

첫 번째 Task인, 세부 시장을 알아내는 것은 잠재 고객과 그들의 구매행동에 대한 의미 있는 데이터를 필요로 한다. 이론적으로 데이터는 많을수록 좋다. 그러나 실제로 방대한 데이터 저장고는 가치 있는 정보를 찾아내고자 사소한 것들을 걸러내려 하는 Marketer들을 가끔은 방해하기도 한다.

최근에 이러한 고객 Targeting을 위한 새로운 차원의 도구가 추가되었는데, 그것이 바로 Data Mining Application이다. Data Mining Application은 대용량의 데이터에서 구매행동을 예측하기 위한 패턴을 발견해 내는 과정을 자동화한다. 데이터를 Mining한 후 Marketer들은 캠페인 관리 도구로 결과를 넘겨서 정의된 세분 시장에 대한 캠페인을 계획하고 관리하게 된다.

과거에는 Data Mining과 캠페인 관리도구와 연계가 거의 수동식이었다. 최악의 경우에는 테이프나 디스크에 실제 파일을 생성해놓고 다른 컴퓨터에 옮겨와서 Marketing Database에 적용하기도 하였다.

이러한 Data Mining과 캠페인 관리도구간의 분리는 상당한 비효율성을 초래하게 되었고 오류 발생 가능성을 높이기도 하였다. 두 가지 기술간의 밀착된 통합은 경쟁우위를 얻는 기회를 제공하게 된다.

 

▷▶ Data Mining

 

Data Mining은 데이터베이스에 있는 관련된 패턴을 탐지해내는 자동화된 과정이라고 간단히 정의할 수 있겠다. 예를 들면, 자녀들 둔 결혼한 남자가 자녀가 없는 남자보다 특정 스포츠카를 운전할 확률이 두배이다라고 볼만한 패턴을 찾아낼 수 있다. 자동차 회사의 마케팅 담당자라면 이러한 약간은 예기치 못한 패턴을 찾아내는 것이 매우 가치 있는 일일 것이다. 그러나 Data Mining이 마술은 아니다. 수년동안 통계학자들은 통계적으로 유의한 패턴을 찾아내기 위해 수작업으로 데이터베이스를 분석해왔다.

Data Mining은 고객 행동을 예측하는 모델을 개발하기 위하여 정교한 통계적 방법이나 자기 학습(machine learning) 기술을 사용한다. 오늘날 기술은 Mining Process를 자동화시켰고 상용 Data Warehouse와 통합시키고 비즈니스 사용자들에게 이해하기 쉬운 방법으로 결과를 제시하고 있다.

SAS와 같이 앞서가는 Data Mining 제품은 강력한 알고리즘을 채용한 모델링 엔진 이상의 기능을 제공한다. 복잡한 정보기술 환경으로의 통합문제와 같은 좀더 폭넓은 비즈니스와 기술 이슈에 초점을 맞추고 있다. 과거에는 Data Mining에 관하여 예측 모델을 개발하기 위하여 통계분석가의 필요를 없앤다는 과장된 말들이 제안되기도 하였다. 그러나 분석가가 제공하는 가치는 그 존재 없이는 자동화될 수 없다. 분석가는 모델의 결과를 평가하고 예측 모형을 검증하는데 여전히 필요하다

 

▷▶ Data Mining의 목적

 

Data Mining은 마케팅 전문가가 고객 행동에 대한 이해를 증진시키는데 도움을 준다. 바꿔 말해, 이러한 이해 증진은 표적 마케팅 캠페인을 좀더 정확히 하게 하며 고객과 잠재 고객의 요구, 필요, 태도 등과 밀접하게 연관된 캠페인을 계획할 수 있게 한다.

데이터베이스에 필요로 하는 정보가 있다면, Data Mining 과정은 고객의 행동을 가상으로 모형화할 수 있다. 중요한 핵심은 현재의 비즈니스 문제와 관련한 패턴을 발견해내는 것이다.

Data Mining이 초점을 맞추고 있는 전형적인 질문은

· 어떤 고객들이 이동전화 서비스를 해지할 것인가?
· 고객이 통신판매 카타로그를 통해 100,000원 이상의 물건을 살 가능성은 얼마인가?
· 어떤 잠재 고객들이 특정 오퍼에 반응할 가능성이 있는가?

등이다.

이러한 질문에 대한 대답은 고객을 유지하고 캠페인 반응율을 올리는데 도움을 줄 수 있다. 바꿔 말해 구매, 교차판매, 투자 대비 효과 등을 증가시킬 수 있다.

 

▷▶ 모형을 점수화하는 것

 

Data Mining은 데이터베이스로부터 고객 행동을 예측하기 위하여 입력변수를 사용하여 모형을 개발한다. 이러한 고객 행동은 어떤 잡지 구독에 대한 이탈 행위일 수도 있고, 교차 제품 구입이나 특정 장소에서의 ATM카드사용 가능성일 수도 있다.

어떤 모형에 의하여 제공되는 예측을 점수(Score)라고 부른다. 점수는 데이터베이스에 있는 각 레코드에 할당되며 고객이 특정한 행동을 보일 것이다라고 고객의 레코드에 점수화하여 가능성을 보여준다.

예를 들면, 모델이 고객 이탈 가능성을 예측한다면, 높은 점수는 고객이 해지할 가능성이 높다라는 것을 보여주고 낮은 점수는 반대의 경우를 보여준다. 고객에 대한 점수화 이후에 이러한 수치값은 타겟 마케팅 캠페인을 위한 가장 적절한 잠재고객을 선택하는데 사용한다.

 

▷▶ 캠페인 관리도구의 역할

 

데이터베이스 마케팅 소프트웨어는 고객과 잠재고객에게 적시에 적절한 메시지와 제안을 제공하도록 지원한다.

근자에 캠페인 관리도구는 이보다 훨씬 앞서나가고 있다. 다이렉트 메일, 텔레마케팅, 고객 서비스, POS, Web Site, 지점등의 다양한 고객 접점을 통해 고객과의 의사소통을 관리하고 모니터한다.

캠페인 관리는 월 단위, 주 단위, 일 단위 또는 수시로 시행되는 수종의 세분화된 캠페인을 계획하고 시행하고 평가, 재조정하는 단계를 자동화하고 통합한다. 캠페인 관리 도구는 시간이나 신규 계좌 개설과 같은 고객 행동에 의해 구분된 다양한 접점 채널로 캠페인을 시행할 수 있다.

 

▷▶ 고객의 평생 가치 증가

 

예를 들어 높은 금액을 은행에 잠시 예치해 두었다가 주식 투자나 뮤추얼 펀드와 같은 은행 밖의 금융 거래로 돈을 옮기는 고객이 있다면, 이는 은행의 비즈니스에 손실로 나타난다.

이러한 고객이 은행에 돈을 계속 예치하도록 설득하기 위해서는 마케팅 담당자는 캠페인 관리 도구를 이용하여 대형 예치 계좌를 즉시 알아내고 반응을 끌어낸다. 고객의 구좌가 일정하게 정해진 금액 이상을 넘자마자 Direct Mail이나 텔레마케팅을 자동적으로 계획한다. 예치의 규모를 기반으로 일련으로 연결된 프로모션을 통해 고객들이 은행의 다른 상품에 투자하도록 북돋우는 적절한 인센티브를 제공할 수 있다.

결국, 반응을 추적하고 고객 행동의 속성을 결정짓는 규칙들을 따라감으로써 캠페인 관리 도구는 수익성을 측정하고 모든 시행된 캠페인의 투자 효과를 측정하는데 도움을 줄 수 있다.

 

▷▶ Data Mining과 캠페인 관리와의 통합

 

Data Mining과 캠페인 관리가 함께 밀착되어 움직일수록 비즈니스 결과는 더 좋아진다. 오늘날, 캠페인 관리 도구는 표적으로 잡은 고객이나 잠재고객에 대한 초점을 정교하게 하기 위해 Data Mining 모델에서 생성한 점수를 사용한다. 그리하여 캠페인의 반응율을 높이고 캠페인 효과를 증진시킨다.

불행히도, 캠페인 관리 도구에서 모델을 사용하는 것은 수동적이며 시간이 많이 소요되는 작업이다. 마케팅의 어떤 사람이 모델 점수를 사용하는 캠페인을 시행하고자 할 때 주로 모델링 그룹의 어떤 사람에게 데이터베이스 점수를 담고 있는 파일을 가져올 것을 요청하게 된다. 화일을 가지고 마케터는 점수와 마케팅 데이터베이스를 합치도록 정보 시스템부의 담당자의 도움을 요청하게 된다.

이러한 단절된 과정은 여러 가지 문제를 야기 시킬 수 있다.

· 일간 또는 주간 단위로 시행되는 많은 양의 캠페인들을 계획하기가 어려우며 사용 가능한 자원들이 엉킬 수 있다.
· 수동 작업은 오류 발생 가능성이 있으며, 잘못된 데이터베이스에 점수를 생성하거나 데이 터베이스 내의 잘못된 필드에 점수를 생성할 수 있다.
· 점수화(Scoring)는 매우 비효율적인 일이다.

캠페인을 위해 지정된 세분 고객에만이 아니고 전체 데이터베이스를 대상으로 주로 점수 가 생성된다. 자원이 낭비될 뿐만 아니라 주간 또는 일간의 캠페인을 따라잡기에는 너무 느린 과정이 될 수도 있다.

이러한 문제점들에 대한 해결책은 Data Mining과 캠페인 관리 기술간의 밀착된 통합이다. 통합은 두 기술에 있어 매우 중요하다.

첫째, 캠페인 관리 도구는 전체 데이터베이스를 모델링하지 않도록 Data Mining Application으로 지정된 캠페인 Segment를 공유한다. 예를 들어, 마케터는 강남구에 사는 25살에서 35살까지의 높은 수입을 가진 남자를 캠페인 대상으로 지정할 수 있다. 두 개의 Application간의 통합을 통해 Data Mining Application은 자동적으로 두 개의 특성을 만족하는 Database Record에 한하여 분석을 제한한다.

둘째, 예측 모델로부터 생성된 선택된 점수들은 가장 높은 잠재 수익을 가진 타겟을 만들기 위해 캠페인 Segment로 계속 반영되어야 한다.

 

▷▶ Data Mining과 캠페인 관리 Process의 통합

 

여기서는 통합된 Data Mining/캠페인 관리를 적용하는데 사용되는 두 가지 단계를 설명하고자 한다. 첫 번째 단계는 Data Mining Tool을 사용하려 모델을 생성하는 것이다. 두 번째 단계는 이 모델을 가지고 자동화된 Database Marketing 캠페인에 대한 환경을 구축하는데 사용하는 것이다.

 

단계 1 : 모델 생성

모델링 분석가는 Data Mining Application을 사용하여 예측 모델을 생성한다. 이러한 모델링은 주로 캠페인 생성과는 완전히 분리되어 있다. 모델 생성의 복잡성은 Database 크기, 각 고객에 대하여 알려진 변수의 개수, Data Mining Algorithm의 종류, 모델러의 경험등 많은 요인들에 의하여 결정된다.

캠페인 관리 도구와의 연계는 적절한 모델이 찾아졌을 때 시작된다. 이 시점에서 Data Mining 사용자는 Drag & Drop 방식과 같은 간단한 방법으로 모형을 캠페인 관리 Application으로 전송한다

 

단계 2 : 데이터에 대한 동적인 Scoring

동적인 점수 생성은 Data Mining 도구에서보다 캠페인 관리 도구 안에서 기 지정된 고객 세분에 점수를 생성하는 것을 말한다. 동적인 점수생성은 기간이 많이 소요되고 반복적인 작업을 피하며 전체 데이터베이스를 대상으로 점수를 생성할 필요를 없애준다. 대신에, 관련된 고객군만을 대상으로 필요로 할 때만 저수를 생성하게 된다. 관련된 고객군만을 대상으로 점수를 생성하고 수작업을 없애는 것은 마케팅 주기를 단축시키게 된다. 그리고 필요로 할 때 고객 세분만을 대상으로 점수를 생성하는 것은 최신의 결과를 보장하게 된다

캠페인 관리 시스템에 모델이 있게 되면 사용자는 예측 모델을 사용하여 마케팅 캠페인을 계획하기 시작할 수 있다. 모형은 캠페인 관리 시스템에서 구동된다.

 

동적인 Scoring의 예제 : 동적으로 점수가 생성된 고객 세분에 어떻게 정의되는지의 예제

Where Length_of_service=9
and Average_balance>30,000
and In_Mode(promo9).score>0.80

이 예제에서:
① Length of service=9는 12개월 계약중 9개월째 되는 고객들을 대상으로 모델링을 하며, 그럼으로써 가장 경쟁사가 공격하기 쉬운 시기에 있는 고객들만 타겟으로 삼는 것이다.
② Average balance>30,000은 매월 평균적으로 30,000원 이상을 사용하는 고객들을 선택한다.
③ Promo9은 Data Mining Application으로 생성한 예측 모형의 이름이다. 고객은 모형으로 간주되는 바 0.80의 점수를 넘는 사람이어야 한다. 이 기준은 모델에서 지정한 고객들만을 캠페인에 제한한다. 즉, 그러한 고객들은 경쟁사로 옮기는 것을 방지할만한 유인책이 가장 요구되는 사람들이다.
마케팅 캠페인이 동적인 Scoring을 수행하기 위한 특정한 예측 모델을 가동시키면, 결과물은 주로 임시 점수 테이블로 저장된다. 점수 테이블은 Data Warehouse 내에서 사용가능하며, Data Mining Engine은 캠페인 관리 시스템에 전달하고 마케팅 캠페인 실행이 계속된다.

 

▷▶ Data Mining과 캠페인 관리의 실제

 

이상적으로는 캠페인을 계획하는 Marketer가 캠페인 관리 시스템에 등록된 모형을 지정된 특정 Segment에 적용할 수 있어야 한다. 예를 들어, 이동통신회사의 Marketing 관리자는 경쟁사로 옮길 가능성이 있는 고수익의 고객들에 관심이 있을 것이다. 이러한 Segment는 12개월 계약기간 중 9개월째 있는 고객으로서 정의될 수 있으면 평균 월 사용료가 3만원 이상일 수 있다. 이러한 고객들을 유지하는 가장 손쉬운 접근 방법은 새로운 하이테크 단말기를 제공하는 것이다. 그러나 많은 고객들이 인센티브 없이도 충성도를 가지고 남아있기 때문에 이것은 너무 돈이 많이 들고 낭비적인 방법이다.

대신에, 비용을 줄이고 결과를 개선하기 위하여 Marketer는 캠페인 제안을 받지 않으면 경쟁사로 옮길 것 같은 가치 있는 고객들만을 선택하는 예측 모형을 사용할 수 있다.

 

데이터 마이닝과 캠페인 관리 도구를 통합하는 것의 장점

▶ Marketer 측면

고객과 잠재고객 Segment를 정교하게 하는 모델 점수를 사용함으로써 캠페인 결과를 개선시킨다. 가장 최신의 데이터가 사용될 수 있도록 캠페인이 실행될 준비가 되었을 때 점수는 생성된다. 최신의 데이터와 시장 세분을 정의한 높은 점수를 선택함으로써 Direct Marketing 효과를 증진시킬 수 있다.

비용을 줄이고 경쟁사보다 고객과 잠재고객을 접촉할 가능성을 높임으로써 Marketing Cycle 시간을 개선시킬 수 있다.

Scoring은 고객 Segment에 의하여 정의된 Record에만 생성된다. 이것은 지속적으로 실행되는 Marketing 캠페인에 타이트한 Cycle 시간으로 대응하는 데에 중요하다.

수작업에 의한 오류 발생가능성을 줄임으로써 정확성을 높인다. 캠페인 관리 도구는 어떤 레코드에 언제 점수를 생성할 지를 결정해준다.

▶분석가 측면

파일을 추출하고 전송하는데 소요되는 시간을 줄이고 모형을 개발하고 해석하는데 더 많은 시간을 쓸 수 있다.

 

▷▶ Data Mining Model의 잇점에 대한 평가

 

게인즈 차트라고 불리는 위의 왼쪽 차트는 Data Mining을 통하여 얻을 수 있는 이점을 설명한다. 대각선은 임의로 선택된 Target 고객들로부터 기대할 수 있는 반응 수치를 나타낸다. 이 시나리오에 의하면 반응 수치는 Target 크기와 선형으로 증가한다.
아래의 커브는 Target 고객을 결정하는 모델 점수를 사용하였을 때 예상된 반응 수치를 나타낸다. Target은 일정 크기로 임의적으로 선택된 집단에서보다 좀더 긍정적으로 반응한 사람들을 포함하는 경향이 있다. 커브와 대각선사이의 음영부분은 모델의 질을 나타낸다. 커브가 가파를수록 모델은 더 좋다.
모델에 대한 다른 표현은 모델의 질에 대한 가장 중요한 평가인 수익성을 제공하는 것으로써 예상 비용과 예상 수익을 통합하는 것이다. 수익성 그래프는 어떤 캠페인에 몇 명의 잠재고객을 포함시킬 것인가를 결정하는데 도움을 줄 수 있다. 위의 오른쪽 그림에서, 모든 고객을 접촉하는 것은 순 손실을 초래할 것이라는 것을 쉽게 볼 수 있다. 약 0.8의 트레시홀드 점수를 선택하는 것이 수익성을 최대로 할 수 있다.

모델 점수가 수익성을 개선시키는데 어떻게 사용되는가를 자세히 살펴보기 위하여 아래의 가정을 포함한 예제 캠페인을 생각해 보자.

· 데이터베이스 크기 : 2,000,000 명
· 한 명의 고객에 대한 접촉 비용:1,000원
· 최대 가능 반응 수치:40,000
· 긍정적인 반응으로부터 수익마진:40,000원

 

다음의 표에서 보여주듯, 전체 고객/잠재고객 데이터베이스에 대한 임의 표본추출은 캠페인 Target 크기와는 상관없이 손실을 가져왔다. 그러나 Data Mining Model을 사용하여 고객을 Targeting함으로써 Marketer는 양질의 잠재고객의 확률이 높은 소량의 Target을 선택할 수 있다. 이러한 좀더 초점이 맞추어진 접근방법은 Target이 너무 크고 너무 많은 불량 잠재고객을 포함하게 될 때까지는 수익을 발생시키게 된다.

 

<임의 추출과 타겟추출의 비교>

캠페인 크기	비 용	임 의 추 출			타 겟 추 출
		반응	수 입	순수익	반응	수 입	순수익
100,000	100,000,000	2,000	80,000,000	-20,000,000	4,000	160,000,000	60,000,000
400,000	400,000,000	8,000	320,000,000	-80,000,000	3,000	1,200,000,000	800,000,000
1,000,000	1,000,000,000	20,000	800,000,000	-20,000,000	35,000	1,400,000,000	500,000,000