인공지능(AI)의 두뇌이자 기억 저장소 역할을 하는 'KV캐시'의 고질적인 메모리 병목 현상이 국내 기술로 획기적인 전환점을 맞으며, 오늘(2일) 국내 AI 스타트업 디노티시아가 KV캐시 저장 공간을 최대 20배까지 압축해 AI 연산 속도를 비약적으로 끌어올리는 'STAR-KV' 기술을 공개하며 AI 발전의 새 지평을 예고했다.
디노티시아가 이날 공개한 'STAR-KV' 기술은 AI의 임시 기억 공간인 KV캐시를 저랭크 압축(low-rank compression)과 혼합정밀도 양자화(mixed-precision quantization) 기법을 결합해 최대 20배까지 압축하는 데 성공했다. 이는 AI 핵심 연산인 어텐션(Attention) 속도를 최대 6.9배, 전체 생성 처리량(throughput)을 최대 3.1배 향상시키는 놀라운 성과다. 더욱이 기존 방식보다 높은 정확도를 유지한다는 점이 주목할 만하다. 이미 저랭크 압축만으로도 KV캐시를 75% 감소시키는 효과를 보여왔다.
대규모언어모델(LLM)의 급격한 발전에도 불구하고, 방대한 데이터를 처리하는 과정에서 발생하는 '메모리 병목'은 늘 AI 성능 향상의 주요 걸림돌로 지적되어 왔다. 특히 LLM의 KV캐시는 입력 길이가 길어질수록 기하급수적으로 늘어나 고성능 컴퓨팅 자원을 요구하며, 이는 AI 서비스 확장과 효율성 저하의 원인이 됐다. 구글이 ICLR 2026에서 '터보퀀트(TurboQuant)'를 통해 압축 기술을 선보인 바 있듯이, 글로벌 AI 업계는 이 문제 해결에 총력을 기울여 왔다.
디노티시아의 STAR-KV 기술은 UC샌디에이고 VVIP랩과의 공동 연구 결과물로, 그 혁신성과 기술력은 이미 세계적으로 인정받았다. 특히 글로벌 머신러닝 학회 ICML 2026에 스포트라이트 논문으로 채택되는 쾌거를 이루며 기술의 우수성을 입증했다. 논문과 함께 핵심 소스 코드까지 공개하며 AI 커뮤니티 전반의 발전에 기여하겠다는 의지를 밝혔다.
디노티시아 정무경 대표는 「STAR-KV는 AI 핵심 병목인 KV캐시 용량 및 어텐션 처리 속도 문제를 실질적으로 해결하는 기술」이라며, 「오픈소스화를 통해 AI 추론 생태계에 기여하고, 더 많은 개발자들이 이 기술을 활용해 혁신적인 AI 서비스를 구현할 수 있도록 돕겠다」고 강조했다.
이번 STAR-KV 기술은 AI 에이전트 시스템과 LLM의 무한한 확장을 가능하게 하는 핵심 동력이 될 전망이다. 메모리 병목 해결을 넘어 AI 기술 혁신을 가속화하고, 오픈소스화를 통해 전 세계 AI 추론 생태계에 새로운 활력을 불어넣을 디노티시아의 기여는 미래 AI 서비스의 무한한 가능성을 시사한다. 의료·헬스케어 분야에서도 정밀 진단, 신약 개발, 맞춤형 치료 등 고도화된 AI 서비스의 도입을 가속화할 촉매제로 작용할 것으로 기대를 모은다.