추천 시스템에서 전환율을 예측하는 새로운 접근: 반사실적 추론을 활용한 모델

서론

배경

안녕하세요. AI팀 안준형입니다. 오늘은 제가 최근에 진행한 연구에 대해서 설명드리려 합니다.

서론

추천 시스템은 오늘날 거의 모든 온라인 플랫폼에서 중요한 역할을 하고 있습니다. 쇼핑 사이트에서 제품을 추천받거나 스트리밍 서비스에서 영화를 추천받을 때, 이 시스템들은 우리가 관심을 가질 만한 아이템들을 제시합니다. 추천 시스템의 성공 여부를 가늠하는 중요한 지표 중 하나는 전환율(CVR)인데, 이는 사용자가 특정 상품이나 광고를 클릭한 후 실제 구매로 이어지는 비율을 의미합니다.

하지만 여기에는 큰 어려움이 존재합니다. 많은 경우 사용자는 클릭을 하지 않으며, 클릭되지 않은 아이템에 대한 데이터를 확보하기가 매우 어렵습니다. 기존의 CVR 예측 모델은 클릭된 아이템만 학습에 사용되기 때문에 클릭되지 않은 아이템에 대해서는 예측이 정확하지 않을 수 있습니다. 이를 해결하기 위해 이번에 진행한 연구에서는 반사실적 추론(counterfactual inference)을 적용한 새로운 접근법을 제시했습니다. 이 방법은 "만약 사용자가 이 아이템을 클릭했다면, 구매로 이어졌을까?" 라는 질문을 던져 클릭되지 않은 아이템의 전환율을 추정합니다. 저는 이 프레임워크의 이름을 ESCIM (Entire Space Counterfactual Inference Multi-task Model)이라고 지었습니다.

배경

기존 CVR 예측 모델은 클릭 데이터만을 활용해 전환율을 예측했는는데, 이는 두 가지 문제를 야기합니다.

데이터 부족 문제: 클릭된 아이템은 전체 노출 아이템 중 극히 일부에 불과하기 때문에 충분한 데이터를 확보하기가 어렵습니다.

편향된 학습 문제: 클릭된 아이템은 이미 인기 있는 상품이나 사용자들이 관심을 보인 아이템들로, 이러한 데이터만으로는 다양한 아이템에 대한 예측이 왜곡될 수 있습니다.

그림 1. 데이터 부족 및 편향된 학습

이러한 문제를 해결하기 위해 여러 연구가 클릭되지 않은 아이템도 학습에 포함하는 다양한 방법을 제안했습니다. 예를 들어, ICDE 2023에 게재된 “DCMT: A Direct Entire-Space Causal Multi-Task Framework for Post-Click Conversion Estimation”가 있습니다.

그림 2. DCMT 프레임워크

하지만 대부분의 방법은 특정 가정이나 휴리스틱한 규칙에 의존해 그 한계가 뚜렷했습니다. 이 논문에서는 기존 접근법의 한계를 극복하기 위해 구조적 인과 모델 (Structure Causal Model, SCM)을 기반으로 클릭되지 않은 아이템에 대한 전환율을 예측하는 새로운 방법을 제안합니다.

방법론

이번에 투고한 논문에서 제안하는 ESCIM은 기존 모델들과 달리 클릭되지 않은 아이템에 대해서도 전환율을 예측할 수 있는 방법을 제시합니다. ESCIM 모델은 크게 세 단계로 나뉩니다.

SCM 구축

사용자의 행동 데이터를 기반으로, 어떤 사용자가 특정 아이템을 클릭하거나 구매하는지에 대한 관계를 모델링합니다.

그림 3. 구조적 인과 모델

반사실적 추론 적용 

그림 4. 인과관계의 3가지 단계 (The Ladder of Causation)

반사실적 추론이란, 사용자가 클릭하지 않은 아이템에 대해 "만약 클릭했다면 어떤 결과가 나왔을까?"라는 가상의 상황을 설정해 전환율을 예측하는 방법입니다. 이를 위해 SCM을 사용하여 사용자의 행동을 모델링하고, 이 모델을 기반으로 반사실적 시나리오를 생성합니다.

이 과정은 세 가지 주요 단계로 나뉩니다: (1) 귀납(Abduction), (2) 조치(Action), 그리고 (3) 예측(Prediction)입니다.

귀납(Abduction)

•

먼저, 실제 데이터를 기반으로 사용자의 행동을 설명하는 인과 관계를 모델링합니다. 이 과정에서 중요한 것은 사용자의 클릭과 전환을 결정짓는 숨겨진 요소(변수)를 추정하는 것입니다. 예를 들어, 사용자가 어떤 제품을 클릭할지, 클릭 후 구매할지에 영향을 미치는 외부 변수(예: 사용자의 기분, 시간 등)를 추정해야 합니다. 

•

이 변수를 exogenous variable이라고 하며, 이 변수의 분포를 추정하는 과정이 귀납 단계입니다. 

•

이를 위해 변분 오토인코더(Variational Autoencoder)를 사용하여 사용자의 행동 패턴을 학습하고, 숨겨진 변수의 분포를 추정합니다.

조치(Action)

•

귀납 단계에서 추정된 변수를 바탕으로, 클릭되지 않은 아이템에 대해 "가상으로 클릭이 발생했다면?"이라는 상황을 가정합니다. 이를 do 연산 (do-calculus)라고 부르며, 이 연산을 통해 클릭되지 않은 아이템에 대해 클릭 이벤트가 발생한 것처럼 인과 모델을 조정합니다. 

•

이 조치를 통해 우리는 사용자가 클릭하지 않은 아이템에서도 클릭과 전환의 인과 관계를 모사할 수 있게 됩니다.

예측(Prediction)

•

마지막으로, 조치 단계에서 가상의 클릭이 발생한 상황을 바탕으로, 해당 아이템이 클릭되었을 때 실제로 전환이 이루어졌을 가능성을 예측합니다. 

•

이 단계에서 우리는 MLP를 사용하여 추정된 변수와 클릭된 데이터를 입력으로 받아 전환율을 계산합니다. 

•

이 예측된 전환율을 반사실적 전환율(predicted Counterfactual Conversion Rate, pCVR)이라고 부릅니다.

반사실적 전환율을 이진 레이블로 변환 (0/1)

예측된 반사실적 전환율(pCVR)을 실제 전환 여부(0 또는 1)로 변환하는 이진 레이블 변환 단계가 중요합니다. 이를 위해 두 가지 방법이 제안되었습니다: 최대 접근법(Max Approach)과 비율 접근법(Ratio Approach)입니다. 이 두 방법을 좀 더 자세히 설명해드리겠습니다.

1. 최대 접근법(Max Approach)

•

최대 접근법은 가장 보수적인 방법으로, 예측된 반사실적 전환율(pCVR) 중에서 가장 높은 pCVR 값을 기준으로 이진 레이블을 변환하는 방식입니다.

•

이유: 이 방법은 클릭되지 않은 데이터에 대한 예측에서 발생할 수 있는 불확실성을 최소화하기 위해, 높은 pCVR 값을 가지는 데이터만 전환된 것으로 간주합니다. 이는 잘못된 예측을 줄이고, 모델의 신뢰성을 높이는 데 목적이 있습니다.

2. 비율 접근법(Ratio Approach)

•

비율 접근법은 pCVR의 분포를 기반으로, 클릭되지 않은 샘플들의 전환 비율을 클릭된 샘플들의 전환 비율과 비슷하게 유지하는 방법입니다.

◦

예를 들어, 클릭된 샘플의 5%가 전환되었다면, 클릭되지 않은 샘플에서도 상위 5%의 pCVR을 가진 아이템에 대해 전환이 발생한 것으로 간주합니다.

•

이유: 이 방법은 클릭되지 않은 샘플에 대한 전환 예측을 더 균형 있게 만들기 위해 설계되었습니다. 즉, 클릭된 샘플에서의 실제 전환 비율과 비슷한 비율을 유지함으로써, 실제와 가까운 데이터를 생성하려는 것입니다.

모델 학습

이렇게 생성된 데이터를 포함해 CVR 예측 모델을 학습합니다. 클릭되지 않은 아이템에 대한 데이터는 이진 변환되어 모델 학습에 활용됩니다.

실험 결과

전환율 예측 관련 두 개의 주요 데이터셋인 Ali-CCP와 Ali-Express에서 실험을 통해 성능을 검증했습니다. 실험 결과, ESCIM 모델은 CVR(전환율)과 CTCVR(클릭&전환율) 예측 AUC에서 기존 모델들보다 우수한 성능을 기록했습니다. 예를 들어, ESCIM은 기존 최고 성능 모델보다 CVR 예측 성능을 평균 1% 이상 개선하는 성과를 보였습니다.

또한, 실제 온라인 환경에서 ESCIM 모델의 성능을 검증하기 위해 온라인 A/B 테스트가 진행되었습니다. 결과적으로 ESCIM은 CVR에서 17.35%, CTCVR에서 5.60%의 향상을 보였고, 광고 비용당 전환율(CPA)을 23.36% 감소시키는 긍정적인 결과를 도출했습니다. 이 테스트를 통해 ESCIM은 실제 온라인 환경에서도 매우 효과적인 모델임을 입증했습니다.

표 2. 온라인 A/B 테스트 결과

결론

추천 시스템에서 클릭 후 전환율(CVR)을 정확하게 예측하는 것은 매우 중요한 과제입니다. 특히, 클릭되지 않은 아이템들에 대한 예측은 기존의 모델들이 직면한 큰 도전 과제였으며, 이로 인해 추천 시스템의 전체적인 성능이 저하될 수 있었습니다. 이 논문은 이러한 문제를 해결하기 위해 반사실적 추론을 도입한 새로운 접근법을 제안합니다.

ESCIM 모델은 반사실적 추론을 통해 더 많은 정보를 활용할 수 있다는 점에서 추천 시스템의 미래에 중요한 기여를 할 것으로 기대됩니다. 이 접근법은 특히 클릭률이 낮은 아이템이나 신규 제품에 대한 추천에서 강력한 도구가 될 수 있습니다. 예를 들어, 신규 상품을 추천할 때, 기존의 데이터가 충분하지 않더라도 반사실적 추론을 통해 더 나은 예측을 할 수 있습니다.

또한, 이 방법론은 추천 시스템 외에도 다양한 분야에 적용될 수 있습니다. 예를 들어, 의료 분야에서 특정 치료가 환자에게 어떤 결과를 초래할지 예측하거나, 마케팅 분야에서 특정 캠페인이 어떤 효과를 가져올지 추정하는 데 사용할 수 있습니다.

결론적으로, 이 논문이 제시한 ESCIM 모델은 반사실적 추론을 통한 전환율 예측의 가능성을 열어주었으며, 이는 추천 시스템뿐만 아니라 다른 많은 응용 분야에서도 활용될 수 있는 중요한 기술적 진보로 자리 잡을 것입니다. 앞으로 이 모델이 더 발전하고 확장되어 다양한 산업에서 활용될 수 있기를 기대합니다.

참고자료

그림 2: https://arxiv.org/pdf/2302.06141

그림 4: https://blogs.dal.ca/openthink/what-is-causal-machine-learning-part-1-introduction/

작성자

안준형 (Junhyung Ahn)