지능형 임베디드 시스템

모바일 장치의 메모리 용량, 연산 성능 및 전력 제약을 고려한 머신러닝 추론 기법을 연구합니다. 삼성미래기술육성사업의 Mobile-SpecInfer 과제를 중심으로 모바일 환경의 생성형 언어모델을 위한 speculative inference와 모델·추론 엔진 최적화를 다룹니다. LLM 추론 및 서빙 과정에서 발생하는 메모리 사용과 데이터 이동을 분석하고, 응답 지연과 처리량을 개선하는 시스템 최적화 기법을 연구합니다. KV Cache 관리·압축, CPU·GPU·스토리지 간 I/O 및 Offloading, 요청 스케줄링을 최적화하며, 다단계 LLM 호출과 도구 사용이 반복되는 Agentic LLM의 실행 특성을 활용한 고성능 서빙 시스템을 연구합니다. PIM(Processing-in-Memory)과 NPU의 구조적 특성에 맞는 머신러닝 연산 배치 및 실행 기법을 연구합니다. 메모리 내부 또는 인접 위치에서 연산하는 PIM 아키텍처와 이를 활용하는 컴파일러·런타임을 통해 데이터 이동 비용을 줄이는 데 중점을 둡니다. 운영체제의 I/O stack부터 SSD firmware까지 I/O path 전반을 분석하고 시스템 성능을 개선하는 기법을 연구합니다. 파일시스템, block layer, device driver 등 host 측 I/O 처리와 SSD의 FTL 최적화를 폭넓게 다루며, host와 storage 간 데이터 이동을 줄이기 위한 In-Storage Computing 기법도 연구합니다. 또한 운영체제의 메모리 관리와 CXL(Compute Express Link) SSD를 활용한 메모리 확장 및 자원 활용 기법을 다룹니다. 연구 실적 및 구성원Publications에 논문 목록을, Projects와 Members에 연구 과제와 구성원 정보를 수록하였습니다. 삼성미래기술육성사업은 대한민국의 기초과학 발전과 산업기술 혁신, 과학기술로 사회가 직면한 문제 해결, 그리고 세계적인 과학기술인 육성을 목표로, 삼성전자가 2013년부터 1조 5천억 원을 출연하여 시행하고 있는 순수 공익 목적의 과학기술 연구지원 사업이다. 본 연구에서는 서버 GPU에서 집중되어 온 LLM의 Speculative Inference 기술을 모바일 시스템에 처음으로 적용하는 연구를 수행한다. 이 과정에서 Speculative Inference를 위한 (1) 다양한 모델 압축 기법, (2) 모바일용 추론 엔진, (3) NPU 아키텍처 등 소프트웨어와 하드웨어를 아우르는 다양한 최적화 연구를 수행하며, 이러한 기술적 진보가 온-디바이스 LLM을 활용한 다양한 산업 기술 발전에 기여할 수 있을 것으로 기대한다. Intelligent Embedded Systems Research Laboratory, Sungkyunkwan University. Intelligent Embedded Systems 연구실은 On-device Machine Learning, ML System Optimization, 지능형 Storage/Memory System을 연구하는 곳입니다. 최근 CNN (Convolution Neural Network), LLM (Large Language Model) 등 Machine Learning (ML) 기술의 발전으로 다양한 장치에서 ML 기반 응용이 개발되고 있으며, 이러한 ML 응용을 제한된 시스템의 지원으로 효율적으로 실행하는 것이 중요한 이슈로 부가되고 있습니다. LLM Serving을 위한 고성능 GPU 서버에서는 RAG (Retrieval Augmented Generation)의 등장으로 제한된 GPU memory를 고려한 효과적인 KV Cache의 관리가 필요합니다. 또한, Mobi