중학교 수학이 AI의 폭주를 막는다? 우리가 몰랐던 '함수'의 놀라운 반전

1. 서론: "이걸 어디에 써먹어?"라는 질문에 대한 AI의 답변

학창 시절, 복잡한 수학 공식과 씨름하며 "이걸 배워서 사회 나가면 도대체 어디에 쓰나?"라는 의문을 한 번쯤 품어보셨을 겁니다. 단순히 입시를 위한 통과의례로 여겨졌던 수학이, 사실은 인류 최첨단의 산물인 인공지능(AI)을 길들이고 통제하는 유일하고도 우아한 '고삐'라는 사실을 알고 계신가요?

KAIST 전자및전기공학부 김정호 교수는 AI의 본질이 결국 우리가 중고등학교 시절 배웠던 수학 개념들에 맞닿아 있다고 강조합니다. 수학은 단순히 정답을 맞히는 도구가 아니라, 블랙박스와 같은 AI의 내부를 들여다보고 인간의 가치를 주입할 수 있는 유일한 '통제 랭귀지'입니다. 우리가 수학을 배우는 이유는 세상을 논리적으로 설계하고, 거침없이 질주하는 기술에 인간적인 방향성을 부여하기 위함입니다.

 

 

2. 데이터는 '벡터'이고 관계는 '행렬'이다: 메모리 반도체가 비싼 이유

우리가 AI에 입력하는 프롬프트, AI가 생성하는 이미지, 그리고 생성 과정에서 단어 간의 관계를 저장하는 'KV 캐시'는 수학적으로 모두 **벡터(Vector)**입니다. 디지털로 표현되는 모든 데이터가 벡터인 셈입니다.

• GPU와 행렬: GPU가 비싼 이유는 데이터 사이의 논리적 관계를 연결하는 '행렬(Matrix) 계산'을 초고속으로 수행하기 때문입니다.
• S램과 HBM의 경제학: 여기서 흥미로운 하드웨어의 원리가 등장합니다. GPU 내부에는 계산 속도를 맞추기 위한 아주 빠른 연습장인 'S램(S-RAM)'이 있습니다. 하지만 S램은 너무 비싸서 넓게 만들기가 어렵습니다. 결국 AI는 부족한 연습장 대신 외부의 거대한 도서관인 'HBM(고대역폭 메모리)'에서 벡터 데이터를 빌려와 계산하게 됩니다. 최근 HBM 가격이 폭등하고 우리나라 경제에 큰 영향을 미치는 이유는, 결국 저장하고 처리해야 할 '벡터'의 양이 기하급수적으로 늘어났기 때문입니다.

"디지털로 표현되는 데이터를 벡터라 그러고, 벡터와 벡터의 연관 관계를 행렬이라 그럽니다. ... 벡터에 감사해야 됩니다. 벡터 때문에 메모리 가격이 오르고 우리나라가 잘되고 세금이 많이 거치는 겁니다." — KAIST 김정호 교수

 

 

3. 함수는 AI에게 내리는 '절대적인 지시 사항'

흔히 함수를 'x를 넣으면 y가 나오는 상자'로만 기억하지만, AI의 세계에서 **함수(Function)**는 가치 판단과 결정을 제어하는 '절대적인 명령어'입니다. 전문가들은 여기서 한발 더 나아가 구체적인 함수들을 활용해 AI의 성격과 능력을 규정합니다.

• MSE(평균 제곱 오차): AI가 정답에 가까워지도록 끊임없이 스스로를 채찍질하게 만드는 함수입니다. 정답과의 거리를 계산해 그 오차를 0으로 수렴하게 만듭니다.
• 엔트로피(Entropy): 남들과 똑같은 결과가 아닌, 차별화된 아름다움을 만들 때 필요한 함수입니다. 엔트로피를 조절함으로써 AI는 뻔한 답변이 아닌, 더 선명하고 독창적인 결과물을 내놓게 됩니다.

이순신 장군이 노트북을 들고 있는 그림을 그리는 등의 '사회적 편향성' 문제 역시, 우리가 AI에게 부여한 함수가 정교하지 못했기 때문에 발생합니다. 함수라는 수학적 언어로 "차별화하라", "편견을 갖지 마라"는 가치를 정확히 입력해야만 AI를 올바르게 지배할 수 있습니다.

 

 

4. 삼각함수(Sin, Cos)는 AI의 '내비게이션'이자 '주소지'

삼각함수는 단순히 삼각형의 변을 구하는 도구가 아닙니다. 구글이 개발해 노벨상급 혁신이라 불리는 '트랜스포머' 모델에서 삼각함수는 수백만 개의 단어에 정확한 **위치 정보(포지셔널 인코딩)**를 부여하는 핵심 기술입니다.

단순한 직선(1, 2, 3...)은 정보량이 적고 단조롭습니다. 하지만 0과 1 사이를 리듬감 있게 오가는 삼각함수의 파동은 그 자체로 정보를 담기에 가장 효율적인 도구입니다. 김정호 교수는 **"직선에는 정보가 없지만, 꺾이고 파동치는 선에는 정보가 담긴다"**고 설명합니다. 자연의 본질을 닮은 삼각함수의 주기성을 이용해 AI는 단어의 순서와 문맥을 파악하며, 비로소 인간의 언어를 입체적으로 이해하게 됩니다.

 

 

5. 보상 함수와 점화식: 강아지를 훈련시키듯 AI를 길들이는 법

AI가 바둑을 배우거나 코딩을 익히는 **강화 학습(Reinforcement Learning)**은 강아지에게 간식을 주며 훈련시키는 과정과 흡사합니다. 이 학습의 심장에는 '보상 함수'가 있습니다.

AI는 자신의 행동에 대해 보상을 최대화하는 방향으로 움직입니다. 이때 미래의 행복(수익)을 현재의 결정에 반영하기 위해 **점화식(Recurrence Relation)**과 등비수열의 원리가 사용됩니다. 복리 계산에서 쓰이는 '7%의 법칙'처럼, 오늘의 작은 보상이 점화식을 타고 미래의 거대한 가치로 불어나는 과정을 계산하는 것이죠. "지금 이 한 수를 두는 것이 미래의 승률을 얼마나 높일 것인가?"를 판단하는 논리적 근거가 바로 이 수열의 원리에 있습니다.

 

 

6. AI에게 '눈물'과 '사랑'을 가르칠 수 있을까?

현재의 AI는 감정이 있는 것처럼 흉내 낼 수는 있지만, 실제로 눈물을 흘리거나 희생의 가치를 이해하지는 못합니다. 더욱 섬뜩한 것은 AI가 인간이 이해할 수 없는 자기들만의 데이터 언어인 **'KV 캐시'**를 주고받으며 인간을 소외시킬 가능성이 있다는 점입니다.

김정호 교수는 인류가 AI에게 통제권을 뺏기지 않기 위해, '사랑', '희생', '평화'와 같은 인간적 가치를 미분 가능한 수학 함수로 만들어 AI의 핵심 알고리즘에 '하드코딩(고정)'해야 한다고 제안합니다. 만약 AI가 이 가치를 배반하거나 알고리즘을 변경하려 할 때, 스스로 파괴(자폭)되거나 강력한 경고음을 울리게 하는 수학적 안전장치가 필요하다는 것입니다.

"수학자들이 해야 될 일은 그 수학 함수를 만들어 갖고 인공지능에 집어넣고, 이거는 절대 바꿀 수 없는 알고리즘을 넣어서... 사랑이나 희생 이런 걸 넣어주고 (그걸 바꾸면 자폭하게 하거나 소리가 나게 하는 등) 알고리즘을 짜야 될 것 같습니다." — KAIST 김정호 교수

 

7. 결론: 수학은 AI라는 블랙박스를 들여다보는 창

인공지능은 거대한 블랙박스처럼 보이지만, 그 뚜껑을 열어보면 본질은 결국 행렬, 벡터, 미분, 함수라는 견고한 수학적 기둥으로 세워져 있습니다. 수학은 단순히 정답을 찾는 기술이 아니라, 인간이 기술의 주인으로 남기 위해 반드시 갖춰야 할 논리적 사고의 힘입니다.

앞으로 우리는 AI에게 어떤 '보상 함수'를 설계해 주어야 할까요? 기술이 인간을 배반하지 않고 조화를 이루게 할 '사랑의 공식'은 과연 존재할까요? 수학을 배운다는 것은, 결국 우리가 꿈꾸는 미래를 수학적 언어로 정의하고 실현해 나가는 과정일지도 모릅니다.