0x0A. Catastrophic Forgetting - 새로 배우면 옛것을 잊는다

영어를 열심히 공부해서 유창해졌다고 하자. 그런데 이번 학기에 프랑스어를 집중적으로 배웠더니, 어느 날 영어 단어가 하나도 떠오르지 않는다. 새로운 것을 익히느라 기존 기억이 통째로 사라진 것이다.

신경망(Neural Network)에서도 정확히 같은 일이 벌어진다. 이 현상을 파국적 망각(Catastrophic Forgetting) 이라 부르며, 연속 학습(Continual Learning) 분야에서 가장 핵심적인 난제 중 하나다.

Catastrophic Forgetting이란?

Catastrophic Forgetting은 신경망이 새로운 데이터를 학습할 때, 이전에 학습한 지식을 급격하고 치명적으로 잊어버리는 현상이다. 점진적으로 희미해지는 것이 아니라, 마치 하드디스크를 포맷한 것처럼 한꺼번에 소실된다는 점이 핵심이다.

사람의 뇌는 새로운 것을 배워도 기존 지식을 대부분 유지한다. 자전거 타는 법을 배운 뒤 수영을 배운다고 자전거를 못 타게 되지는 않는다. 그러나 일반적인 신경망은 이런 능력이 없다. 새로운 태스크(Task)를 학습하면 기존 태스크의 성능이 바닥으로 떨어질 수 있다.

인간의 뇌는 해마(Hippocampus)와 대뇌피질(Neocortex) 사이의 역할 분리 덕분에 새 기억과 오래된 기억을 분리하여 저장한다. 신경망에는 이런 구조가 기본적으로 존재하지 않는다.

왜 발생하는가?

Catastrophic Forgetting의 근본 원인은 크게 두 가지로 나뉜다.

1. 가중치 덮어쓰기 (Weight Overwriting)

신경망의 지식은 가중치(Weight) 에 저장된다. 새로운 데이터로 학습하면 경사 하강법(Gradient Descent)이 가중치를 업데이트하는데, 이 과정에서 이전 태스크에 중요했던 가중치가 완전히 다른 값으로 덮어씌워진다.

비유하자면, 칠판 하나에 수학 공식을 빼곡히 적어놓은 상태에서 영어 단어를 적기 위해 칠판을 지우는 것과 같다. 칠판의 공간(파라미터 수)은 제한되어 있으므로, 새 내용을 쓰려면 기존 내용을 희생해야 한다.

모든 가중치가 동일하게 중요한 것은 아니다. 하지만 일반적인 학습 알고리즘은 "어떤 가중치가 이전 태스크에 중요한지"를 전혀 고려하지 않고 무차별적으로 업데이트한다. 이것이 문제의 핵심이다.

2. 데이터 분포 변화 (Data Distribution Shift)

새로운 데이터의 분포(Distribution) 가 기존 데이터와 크게 다를수록 Catastrophic Forgetting이 심해진다.

예를 들어, 고양이와 개를 분류하도록 학습된 모델에 갑자기 자동차와 비행기 이미지를 학습시킨다고 하자. 두 데이터셋의 특성은 근본적으로 다르기 때문에, 모델은 기존 특징(Feature)을 완전히 버리고 새로운 특징에 맞춰 재구성된다.

반면, 고양이와 개를 학습한 모델에 호랑이와 늑대 이미지를 추가 학습시키면 상대적으로 망각이 적다. 비슷한 분포의 데이터는 기존 특징을 재활용할 수 있기 때문이다.

어디서 문제가 되는가?

Catastrophic Forgetting이 단순히 학술적 호기심에 그치지 않는 이유는, 실제 시스템에서 치명적인 결과를 초래하기 때문이다.

연속 학습 (Continual Learning)

현실 세계의 데이터는 계속 변한다. 추천 시스템, 자율주행, 의료 진단 등은 새로운 데이터가 끊임없이 유입되는 환경에서 동작한다. 모델이 새 데이터를 학습할 때마다 기존 능력을 잃는다면, 사실상 쓸모가 없다.

매번 전체 데이터를 처음부터 다시 학습(Full Retraining)하는 것은 시간과 비용 면에서 비현실적이다. GPT 수준의 대규모 모델이라면 더더욱 그렇다.

파인튜닝 (Fine-tuning)

사전 학습된(Pre-trained) 모델을 특정 도메인에 맞게 파인튜닝하는 과정에서도 Catastrophic Forgetting이 발생한다. 예를 들어, 다양한 자연어 처리 능력을 갖춘 LLM을 의학 논문 요약에 특화시키면, 일반적인 대화 능력이나 코드 생성 능력이 크게 저하될 수 있다.

이 문제를 정렬 세금(Alignment Tax) 이라 부르기도 한다. 특정 방향으로 모델을 조정하는 대가로 범용 능력을 지불하는 셈이다.

해결 방법

Catastrophic Forgetting을 완화하기 위한 접근법은 크게 세 가지로 분류된다.

1. 정규화 기반 (Regularization-based)

핵심 아이디어는 단순하다. 이전 태스크에 중요한 가중치는 크게 변하지 못하도록 제약을 건다.

대표적인 방법이 EWC(Elastic Weight Consolidation) 이다. EWC는 각 가중치가 이전 태스크에 얼마나 중요한지를 피셔 정보 행렬(Fisher Information Matrix) 로 측정한다. 중요도가 높은 가중치에는 강한 페널티를 부여하여 변경을 억제하고, 중요도가 낮은 가중치는 자유롭게 업데이트할 수 있도록 한다.

비유하자면, 칠판에서 중요한 공식에는 "지우지 마시오" 스티커를 붙이고, 나머지 빈 공간에만 새 내용을 적는 방식이다.

Loss = Loss_new_task + lambda * sum(F_i * (theta_i - theta_old_i)^2)

• F_i: 가중치 i의 중요도 (피셔 정보)
• theta_old_i: 이전 태스크 학습 후의 가중치
• lambda: 이전 지식 보존 강도를 조절하는 하이퍼파라미터

lambda 값이 크면 이전 지식을 강하게 보존하지만 새 태스크 학습이 어려워지고, 작으면 그 반대다. 이 균형을 맞추는 것이 정규화 기반 방법의 핵심 과제다.

2. 리허설 기반 (Rehearsal-based)

가장 직관적인 접근법이다. 이전 데이터의 일부를 저장해두고, 새 데이터와 함께 반복 학습한다.

시험 기간에 새 과목을 공부하면서도, 매일 30분씩 이전 과목을 복습하는 것과 같은 원리다. 기존 지식을 주기적으로 상기시켜 잊지 않도록 한다.

하지만 현실적인 문제가 있다.

• 저장 공간: 이전 데이터를 모두 저장하면 메모리 비용이 급증한다
• 개인정보: 의료, 금융 데이터처럼 원본을 보관할 수 없는 경우도 있다

이를 해결하기 위해 생성적 리플레이(Generative Replay) 라는 변형이 등장했다. 이전 데이터를 직접 저장하는 대신, 생성 모델(GAN 등)을 사용하여 이전 데이터와 유사한 가짜 데이터를 생성하고 이를 복습에 활용하는 방식이다.

3. 파라미터 효율적 파인튜닝 (PEFT)

PEFT(Parameter-Efficient Fine-Tuning) 는 모델의 전체 파라미터를 수정하지 않고, 극히 일부 파라미터만 학습하여 피해를 최소화하는 전략이다.

대표적으로 LoRA(Low-Rank Adaptation) 가 있다. LoRA는 기존 가중치 행렬을 동결(Freeze)시키고, 작은 저랭크(Low-Rank) 행렬 두 개를 추가로 삽입하여 이 행렬만 학습한다. 기존 가중치에는 손을 대지 않으므로 원래 지식이 보존된다.

비유하자면, 교과서 본문은 그대로 두고 포스트잇에만 메모를 추가하는 것과 같다. 교과서의 내용(사전 학습 지식)은 전혀 훼손되지 않으면서, 포스트잇(LoRA 파라미터)만으로 새로운 지식을 반영한다.

PEFT의 장점은 Catastrophic Forgetting 완화뿐 아니라, 학습에 필요한 연산량과 메모리도 대폭 줄어든다는 것이다. 이 때문에 LLM 시대에 가장 널리 사용되는 방법 중 하나가 되었다.

세 가지 방법 비교

정리

Catastrophic Forgetting은 신경망이 새로운 태스크를 학습할 때 이전 지식을 급격히 잃는 현상이다. 가중치 덮어쓰기와 데이터 분포 변화가 주요 원인이며, 연속 학습 환경에서 반드시 해결해야 할 문제다.

해결 방향은 세 가지로 나뉜다. 중요 가중치를 보호하는 정규화, 이전 데이터를 복습하는 리허설, 일부 파라미터만 건드리는 PEFT. 최근 LLM 시대에서는 LoRA를 비롯한 PEFT 방식이 실용성 면에서 가장 주목받고 있지만, 각 방법은 상황에 따라 조합하여 사용하는 것이 효과적이다.

결국, 인간의 뇌처럼 "잊지 않으면서 새로 배우는" 능력을 신경망에 부여하는 것이 연속 학습 연구의 궁극적 목표이며, Catastrophic Forgetting은 그 여정에서 반드시 넘어야 할 첫 번째 관문이다.