핵심 요약: 오픈AI의 전 최고기술책임자(CTO) 미라 무라티가 설립한 스타트업 ‘씽킹 머신스’가 첫 번째 오픈 웨이트 AI 모델인 ‘잉클링(Inkling)’을 전격 공개하며 테크계를 흔들고 있습니다! 무려 9750억 개의 파라미터를 가진 초대형 규모의 모델인데요. 텍스트부터 비디오까지 아우르는 45조 개의 토큰으로 학습되었으며, 사용자가 직접 다운로드해 입맛대로 수정하고 미세조정할 수 있는 강력한 개방성이 특징입니다.
씽킹 머신스는 어떤 회사인가요?
씽킹 머신스(Thinking Machines)는 오픈AI의 전 CTO인 미라 무라티가 설립한 샌프란시스코 기반의 AI 스타트업입니다. 로이터 통신 보도에 따르면, 무라티는 오픈AI 시절 챗GPT를 비롯한 핵심 제품들의 기술적 방향을 진두지휘했던 인물인데요. 친정인 오픈AI의 폐쇄적인 전략과 달리, 독립 후 첫 행보로 누구나 기술을 공유하고 개선할 수 있는 오픈 웨이트 모델 전략을 선택해 화제를 모으고 있습니다.
잉클링의 파라미터 규모는 얼마나 되나
잉클링은 무려 총 9750억 개라는 압도적인 파라미터 규모를 자랑합니다. 하지만 이 거대한 모델을 돌리는 데 엄청난 컴퓨터가 매번 필요한 건 아닙니다. 총 9750억 개의 파라미터를 가진 MoE 구조의 모델로, 특정 작업 시에는 약 410억 개의 파라미터만 활성화하여 작동한다는 점이 핵심인데요. 에이아이치프(AIChief) 보도에 따르면, 질문이나 작업마다 딱 필요한 ‘전문가’ 모듈만 쏙쏙 골라 쓰는 스마트한 방식 덕분에 실제 연산 부담과 구동 비용을 획기적으로 줄였습니다.
어떤 데이터로 학습됐나요?
이 모델은 세상의 온갖 정보를 스펀지처럼 흡수했습니다. 텍스트, 이미지, 오디오, 비디오를 아우르는 45조 개의 토큰 데이터셋으로 사전 학습되었다고 하는데요. 단순히 글자만 읽는 것을 넘어 시각과 청각 정보까지 함께 학습한 멀티모달 모델로 설계된 덕분입니다. 여기에 재밌는 비하인드가 하나 더 있습니다. 처음부터 든든하게 사전 학습을 거쳤지만, 본격적인 대규모 강화학습으로 넘어가기 전 초기 포스트 트레이닝 데이터를 만드는 과정에서는 중국 스타트업 문샷 AI(Moonshot AI)의 ‘키미 K2.5(Kimi K2.5)’를 일부 활용한 것으로 전해졌습니다.1
잉클링이 지금 세상에서 가장 성능이 좋은 모델인가요?
솔직히 말씀드리면, 그건 아닙니다. 개발사 측도 쿨하게 인정했는데요. 더버지(The Verge) 보도에 따르면, Inkling이 현재 시장에서 가장 뛰어난 성능을 내는 모델은 아니며, 미래 모델들의 기초가 될 수 있는 전반적으로 탄탄한 역량을 제공하는 데 초점을 맞췄다고 밝혔습니다. ‘내가 1등이다!’라며 무리한 힘자랑을 하기보다는, 앞으로 더 크게 확장해 나갈 튼튼한 뼈대와 기초 체력을 다지는 데 초점을 맞춘 셈이죠.
오픈 웨이트 모델이란 게 대체 무슨 뜻이죠?
‘오픈 웨이트(open-weight)’는 인공지능 모델의 두뇌 지도라고 할 수 있는 ‘가중치 파일’을 외부에 투명하게 공개하는 방식입니다. 잉클링 역시 오픈 웨이트 모델로 사용자가 직접 수정할 수 있으며, 자체 개발자 플랫폼인 Tinker에서 미세조정이 가능하다는 강력한 장점이 있습니다. 빅테크 기업들이 API 형태로 꼭꼭 숨겨두고 호출할 때마다 돈을 받는 폐쇄형 모델과 달리, 전 세계 개발자들이 직접 다운로드해서 입맛에 맞게 개조해 쓸 수 있는 자유를 선물한 것입니다.
알쏭달쏭한 AI 용어 한눈에 정리하기
- MoE(Mixture-of-Experts, 전문가 혼합): 하나의 거대한 모델 안에 여러 명의 ‘분야별 전문가’ 하위 모듈을 두고, 들어오는 질문에 따라 필요한 전문가만 깨워 일을 시키는 구조입니다. 전체 덩치는 커도 실제 일하는 녀석들은 적어서 연산 효율이 극대화됩니다.
- 파라미터(Parameter, 매개변수): AI 모델이 학습하며 조율하는 신경망의 연결 고리(수치)들입니다. 이 숫자가 많을수록 복잡하고 정교한 지식을 더 많이 배울 수 있는 그릇이 큽니다.
- 오픈 웨이트(Open-weight): 인공지능의 뇌 세포 연결 값인 가중치를 투명하게 공개하는 형태입니다. 누구나 자기 컴퓨터에 내려받아 직접 구동하고 재학습을 시킬 수 있습니다.
- 멀티모달(Multimodal): 텍스트뿐만 아니라 그림, 소리, 영상 등 여러 감각의 데이터를 동시에 이해하고 처리하는 똑똑한 능력을 말합니다.
- 미세조정(Fine-tuning): 이미 완성된 기본 AI 모델에 특정 분야의 전문 데이터를 추가로 학습시켜 특정 업무에 완벽히 최적화시키는 맞춤형 개조 작업입니다.
우리가 앞으로 주목해야 할 포인트
- 잉클링은 9750억 개의 거대한 파라미터 중 실제로 굴러가는 건 410억 개 수준인 MoE 구조입니다. 이 비율이 실제 상용화 환경에서 클라우드 서버 비용과 반응 속도를 얼마나 획기적으로 아껴줄지 지켜볼 만합니다.
- 모델 학습 극초반에 경쟁사로 분류될 수 있는 문샷 AI의 키미 K2.5를 활용했다는 대목은 참 흥미롭습니다. 오픈 소스 생태계 안에서 서로 다른 기업의 AI가 서로의 스승과 제자가 되어 얽히고설키는 흥미진진한 구도가 연출되고 있네요.
- 무라티의 씽킹 머신스가 ‘지금 당장 세계 최고 성능은 아니다’라고 선언한 만큼, 앞으로 이 튼튼한 뼈대 위에 어떤 괴물 같은 후속 모델들을 쌓아 올리며 진화할지가 향후 AI 시장의 최대 관전 포인트가 될 것 같습니다.