you gyoung-yoon

최근에 Kimi K3가 공개되고 코드 아레나 프론트엔드 항목에서 Claude Fable을 제치고 1등을 차지하면서 많은 관심을 갖고 있는데요.

그 관심에 더불어 저도 2026년 7월 16일에 올라온 따끈한 글인 「Kimi K3: Open Frontier Intelligence」를 읽게 되었습니다.

해당 블로그 글 앞부분엔 모델의 크기나 개선된 모델 구조를 언급하는데요. 사실 2.8T(조) 파라미터 부분이 현실적으로 다른 세상 처럼 느껴졌고, Kimi Delta Attention(KDA)이나 Attention Residuals(AttnRes) 같은 구조적 개선도 머신러닝, 특히 대규모 LLM 개발에서 멀어진 저로서는 크게 와닿지는 않았던 것 같아요.

대단하고 멋지다는 생각을 하면서 예전 머신러닝 했던 기억과 이번엔 ChatGPT의 도움을 받아서 좀 더 깊이 있게 이해해 보려고 했던 것 같네요.

사실 이 글에서 정말 대박이라고 생각한 부분은 Kimi K3의 코딩 역량을 테스트하기 위해서 진행한 사례들이었습니다. 각 사례들이 단순히 하나의 코드 작업을 더 잘한다는 의미를 넘어서 K3와 같은 프론티어 AI 모델이 실제로 자신을 개발하고 최적화하는 과정에 활용되고 있다는 점을 보여줬기 때문이에요.

조금 더 자세히 언급해 보면 아래 4가지 실험인데요.

GPU 커널 최적화 시험

Kimi K3로 앞서 언급한 AttnRes와 KDA 관련 연산, 그리고 MLA kernel을 NVIDIA H200과 다른 범용 GPU(GPGPU)에서 최적화하는 작업을 실행했다고 해요. 결과적으로, AttnRes의 학습 속도를 2.48배 개선, DSA 학습 커널 실행 시간 55.1% 절감, H200에서 MLA 학습 시 높은 활용률 달성, 낯선 환경인 타사 GPGPU에서 K3가 프로파일링을 통해서 기존 대비 약 3.79배 속도 향상을 달성했다고 해요.

이 부분에서 재미있는 건 실제로 초기 버전의 Kimi K3로 개발 후반기 Kimi K3 모델 최적화 대부분을 처리했다고 해요.

GPU 프로그래밍 시스템 개발

GPU 프로그래밍 시스템을 처음부터 구축할 수 있는지 시험인데요. Kimi K3가 소형 Triton 유사 컴파일러를 개발했다고 해요. K3가 DSL 프런트엔드 → IR 최적화 패스 → PTX 코드 생성 → 런타임으로 이어지는 일관된 e2e 컴파일러를 구축했고, 성능은 Triton 및 torch.compile과 대등하거나 더 뛰어났으며, 일부 작업에서는 장기간 고도로 최적화된 Triton을 앞선 부분도 있다고 하네요.

칩 설계

초기 칩 설계 PoC 개념으로 시도한 실험인데요. K3의 아키텍처를 축소 적용한 nano 모델에 최적화된 추론 가속기를 설계하도록 한 거예요. 결론적으로 EDA(반도체 칩을 컴퓨터로 설계하고 검증하는 소프트웨어 도구)로 제조 가능한 형태에 가까운 ASIC 설계 결과를 완성했다고 하네요.

연구에 사용되는 코드 작성

복잡한 계산 연구의 전체 작업 흐름을 자율적으로 구현하고, 검증하고, 분석하는 실험을 진행했다고 해요. 그 과정에서 20편이 넘는 논문을 검토하고 서로 교차 검증했으며, 전체 수치 계산 파이프라인을 구현하고, 300개가 넘는 상태 방정식을 평가 했다고 해요. 숙련된 연구자가 일반적으로 1~2주가 걸릴 작업을 약 2시간 만에 마친 것과 같다고 설명하네요.

제가 이 블로그를 읽으며 가장 인상 깊었던 점은 앞서 언급한대로 Kimi K3와 같은 프론티어 AI 모델이 이미 자신의 후속 모델을 최적화하는 데 활용되고 있다는 사실이에요. 동시에 복잡한 계산 연구의 전체 워크플로를 구현하고, 검증하고, 분석하는 연구 도구로도 사용 될 수 있고요.

개발된 모델이 더 나은 모델을 만드는 과정을 돕고, 연구를 가속하고, 그렇게 만들어진 다음 모델은 다시 최적화와 연구의 속도를 높일 수 있어요. 이제는 이러한 연구개발의 선순환이 실제로 동작하고 있는걸로 보이네요.

이번 블로그에서 PoC 했지만 모델 개선에 매우 중요한 칩 설계 또한 이러한 선순환에 포함될 수 있다고 생각하면 사실상 프론티어 모델의 발전이 지금보다 더 빠르게 진행될 것으로 기대해 볼 수 있어요.

한편으론 이러한 선순환을 먼저 안정적으로 구축한 기업이나 연구기관과 그렇지 못한 곳 사이의 격차가 갈수록 더 커질 수도 있겠다는 생각이 들었고 그래서 프론티어 모델 개발에 집중하는게 매우 중요할 것 같다고 생각했어요.

현재는 머신러닝에서 멀어진 개발자의 글이었는데요. 이번 글을 계기로 프론티어 AI 모델에 좀 더 관심을 가져야겠다는 생각이 들어 글도 써보게 되었네요. Kimi K3 관련해서 자세한 설명은 「Kimi K3: Open Frontier Intelligence」를 읽어 보시거나 Yang Zhilin 창업자의 인터뷰를 살펴보시기를 추천해 봅니다.