LiMAML: 메타 러닝을 활용한 대규모 개인화 추천 시스템

안녕하세요. AI팀 안준형입니다. 오늘은 제가 최근에 봤던 논문 “LiMAML: Personalization of Deep Recommender Models via Meta Learning” (KDD’24)에 대해서 설명드리려 합니다. 이 논문은 메타 러닝을 활용하여 CTR 예측 모델을 개선했습니다.

1. 메타 러닝이란?

메타 러닝(Meta-Learning)은 "학습하는 방법을 학습하는" 기법으로, 모델이 새로운 작업에 빠르게 적응할 수 있도록 돕는 머신 러닝 기법입니다. 기존의 딥 러닝 모델은 대량의 데이터를 학습한 후 특정 작업에 대해 일반화하는 방식이지만, 메타 러닝은 다양한 작업을 학습하면서 모델이 새로운 작업에도 적은 데이터로 빠르게 적응할 수 있도록 설계됩니다.

대표적인 메타 러닝 기법 중 하나가 모델-독립적 메타 러닝(Model-Agnostic Meta Learning, MAML)입니다. MAML은 기존 신경망 모델을 특정 작업에 맞춰 빠르게 최적화할 수 있도록 도와주는 알고리즘으로, 특히 소량의 데이터만 존재하는 환경에서 효과적으로 활용될 수 있습니다. 구체적인 알고리즘은 아래와 같습니다.

2. CTR 예측에서의 메타 러닝 활용 기존 방법론

CTR(Click-Through Rate, 클릭률) 예측 모델은 사용자가 특정 콘텐츠(예: 광고, 추천 아이템 등)를 클릭할 확률을 예측하는 모델입니다. 기존의 CTR 예측 모델들은 대체로 다음과 같은 방식으로 발전해왔습니다.

딥 러닝 기반 모델

•

Wide & Deep, DeepFM, DCN v2 등 다양한 모델이 도입되었으며, 복잡한 피처(interaction feature)를 학습하여 성능을 개선했습니다.

•

하지만 이러한 모델들은 모든 사용자에게 동일한 구조로 학습되므로, 개별 사용자에 대한 맞춤형 추천(personalization)에는 한계가 있습니다.

임베딩 기반 접근법

•

사용자 ID, 아이템 ID 등을 임베딩 벡터로 변환하여 개인화(personalization)를 강화하는 방식입니다.

•

그러나 사용자별로 충분한 데이터가 있어야 효과적으로 학습이 가능하므로, 신규 사용자(콜드 스타트 문제)나 드문 사용자에게는 적절한 임베딩을 학습하는 것이 어려운 문제가 있습니다.

메타 러닝 적용

•

최근 들어 MAML 기반의 메타 러닝 기법이 CTR 예측에 도입되었습니다.

•

사용자의 과거 상호작용 데이터를 기반으로 빠르게 적응할 수 있도록 학습하며, 특히 신규 사용자나 데이터가 부족한 경우에도 효과적으로 동작합니다.

•

하지만 원래의 MAML 알고리즘은 대규모 추천 시스템에 적용하기에는 저장 비용과 추론 속도 측면에서 비효율적인 한계가 있었습니다.

3. LiMAML 프레임워크

LiMAML(LinkedIn MAML)은 기존 MAML의 한계를 극복하여 대규모 추천 시스템에서도 실용적으로 적용할 수 있도록 개발된 프레임워크입니다. LinkedIn에서 개발하여 다양한 추천 시스템에 적용한 결과, 기존 방법보다 뛰어난 성능을 보였습니다.

1) 네트워크 구조

LiMAML은 네트워크를 두 개의 블록으로 나눠 학습합니다.

•

메타 블록(Meta Block): 메타 러닝을 통해 개인화된 학습을 수행하는 부분으로, 사용자의 최신 인터랙션 데이터를 반영하여 적응할 수 있도록 설계되었습니다.

•

글로벌 블록(Global Block): 모든 사용자에게 공통적으로 적용되는 일반적인 추천 모델입니다.

메타 블록의 출력을 메타 임베딩(meta embedding)이라 부르며, 이 벡터를 글로벌 블록의 입력으로 사용함으로써 개인화된 추천을 효과적으로 수행할 수 있습니다. 중요한 점은 메타 블록의 학습을 주기적으로(예: 하루 한 번) 수행하고, 글로벌 블록은 기존 방식 그대로 온라인 서비스에 적용할 수 있도록 분리했다는 것입니다. 이를 통해 저장 공간 절약과 추론 속도 개선을 동시에 달성할 수 있었습니다.

2) 학습 알고리즘

학습 알고리즘은 아래와 같습니다.

LiMAML의 학습 과정은 메타 블록과 글로벌 블록을 분리하여 최적화하는 방식으로 진행됩니다.

•

내부 루프 (Inner Loop: Task-level Fine-Tuning)

각 테스크(예: 사용자, 광고주 등)에 대해 메타 블록의 초기 가중치

\theta_{\text{meta}}

를 기반으로

n

번의 gradient update를 수행하여 테스크별 최적화된 가중치

\theta_{\text{meta}_i}

를 학습합니다. 이를 통해, 각 테스크에 맞춘 개인화된 표현을 생성합니다.

•

외부 루프 (Outer Loop: Meta-Optimization & Global Model Training)

내부 루프에서 생성된

\theta_{\text{meta}_i}

를 사용하여 메타 블록과 글로벌 블록을 최적화합니다.

◦

메타 블록 업데이트: 각 테스크의 query set을 활용해 θmeta\theta_{\text{meta}}θmeta​를 조정하여, 모델이 다양한 테스크에 빠르게 적응할 수 있도록 합니다.

◦

글로벌 블록 업데이트: 기존 추천 모델처럼 글로벌 블록 θglobal\theta_{\text{global}}θglobal​을 최적화하여 일반적인 패턴을 학습합니다.

이러한 접근 방식은 개인화 성능을 높이면서도 저장 공간과 추론 속도를 최적화할 수 있도록 설계되었습니다. 특히, 메타 블록을 통해 테스크별 개인화된 표현을 학습하고, 이를 글로벌 블록에서 활용함으로써 콜드 스타트 문제를 효과적으로 해결할 수 있습니다.

3) 메타 임베딩 생성

LiMAML에서 메타 임베딩은 개인화된 추천을 가능하게 하는 핵심 요소로, 이를 효과적으로 생성하고 활용하기 위해 사전에 별도의 프로세스를 거칩니다. 이 과정은 모델 서빙(inference)과 분리하여 오프라인에서 수행되며, 이를 통해 실시간 추론 시 계산 비용을 절감할 수 있습니다. 위 알고리즘으로 학습된 모델로 메타 임베딩을 추출하는 알고리즘은 아래와 같습니다.

우선, 각 테스크(예: 사용자, 광고주 등)에 대해 메타 블록을 기반으로

k

번의 gradient update를 수행하여 파인 튜닝(fine-tuning)을 진행합니다. 이때, 메타 블록의 초기 가중치는

\theta_{\text{meta}}

이며, 테스크별로 최신 사용자 인터랙션 데이터를 이용하여 적응(adaptation) 과정을 거칩니다.

Fine-tuning이 완료된 후, 가장 최근의 샘플인

x_i

를 메타 블록에 입력하고, 해당 블록의 출력을 메타 임베딩

E_i

으로 정의합니다. 이 임베딩은 개별 테스크의 최신 상태를 반영하는 벡터로, 추론 과정에서 활용하기 위해 피처 스토어(feature store)에 저장됩니다.

추론(inference) 시에는, 피처 스토어에서 사전에 생성된 메타 임베딩

E_i

를 불러오고, 기존에 사용하던 다른 입력 피처들(other features)과 함께 글로벌 블록에 입력으로 제공하여 최종 예측을 수행합니다. 이렇게 함으로써, 모델이 개별 사용자나 엔티티의 최신 상태를 반영하면서도, 온라인 서빙 시의 연산 부담을 최소화할 수 있습니다.

이 접근법은 기존 MAML 방식이 갖고 있던 실시간 fine-tuning의 높은 연산 비용과 저장 공간 문제를 해결하면서도, 개인화된 추천 성능을 극대화할 수 있도록 설계되었습니다.

4. 실험 결과

LinkedIn의 여러 추천 시스템(푸시 알림 CTR 예측, 인앱 알림 CTR 예측, ‘People You May Know’ 추천 등)에 LiMAML을 적용한 결과, 기존의 딥 러닝 기반 모델보다 뛰어난 성능을 보였습니다.

•

오프라인 실험 결과

◦

푸시 알림 CTR 예측 모델에서 기존 MAML 대비 1.47% AUC 개선

◦

사용자 ID 임베딩 기반 모델보다 높은 성능을 기록

◦

기존의 딥 러닝 모델 대비 특히 적은 데이터가 있는 사용자에게 큰 성능 향상

•

온라인 실험 결과

◦

푸시 알림 CTR +0.6%, WAU(주간 활성 사용자 수) +0.2% 증가

◦

인앱 알림 CTR +2.0%, WAU +0.1% 증가

◦

드문 사용자(콜드 스타트 사용자)에서도 CTR이 최대 +11.2% 증가

이러한 실험 결과를 통해, LiMAML이 기존 모델의 한계를 보완하면서도 대규모 추천 시스템에서도 실용적으로 적용될 수 있음을 입증하였습니다.

5. 마무리

LiMAML은 기존 MAML 기반 메타 러닝이 가진 한계를 극복하여, 대규모 추천 시스템에서도 적용할 수 있도록 설계된 효율적인 개인화 프레임워크입니다. 저장 공간과 추론 속도를 고려하여 네트워크를 메타 블록과 글로벌 블록으로 분리하고, 메타 임베딩을 활용하여 빠르고 효과적인 개인화를 가능하게 하였습니다.

특히, 신규 사용자(콜드 스타트 문제)를 포함하여 데이터가 부족한 환경에서도 뛰어난 성능을 보였으며, 실제 LinkedIn에서의 A/B 테스트 결과에서도 비즈니스 지표를 개선하는 성과를 거두었습니다. 향후에는 LiMAML을 트랜스포머(Transformer) 모델과 결합하거나, 다중 엔티티를 활용하는 방향으로 확장할 계획이라고 합니다.

이러한 결과는 추천 시스템 분야에서 메타 러닝이 점점 더 중요한 역할을 하게 될 것임을 시사하며, LiMAML이 개인화 추천 시스템의 새로운 패러다임을 제시할 수 있을 것으로 기대됩니다.

작성자

안준형 (Junhyung Ahn)