Microsoft AI, GitHub Copilot의 로컬 실행 모델로 MAI-Code-1.1-Flash 도입
개발자는 GitHub Copilot 내에서 MAI-Code-1.1-Flash를 사용해 로컬 모델 호출에 대한 추론 비용 없이 온디바이스로 에이전트 코딩 작업을 실행할 수 있게 된다.
#on-device-ai
모든 AI 뉴스 보기EmbeddingGemma 2, 191MB~567MB RAM 사용량 및 8K 컨텍스트 윈도우 지원
Google이 EmbeddingGemma 2의 세부 사양을 공개했다. 740M 모델의 활성 RAM 사용량은 약 191MB에서 567MB 수준이며, 컨텍스트 윈도우가 8K로 확장되어 1회 실행당 최대 5.5분의 오디오, 29장의 이미지 또는 58개의 비디오 프레임을 처리할 수 있다.
Google for Developers, EmbeddingGemma 2의 오프라인 실행 및 모듈형 배포 세부 정보 공개
EmbeddingGemma 2는 서버 호출 없이 멀티모달 워크로드를 완전히 오프라인으로 실행합니다. 모듈형 설계를 통해 사용하지 않는 시각 또는 오디오 구성 요소를 제거해 메모리를 절약할 수 있으며, 유연한 임베딩 차원 크기로 로컬 데이터베이스 스토리지를 최대 6배 절감하고 Gemma 4와 결합해 효율적인 온디바이스 RAG 파이프라인을 구축할 수 있습니다.
DeepLearning.AI, 온디바이스 AI 메모리 구축 무료 강좌 제공
Building AI Assistants with On-Device Memory는 텍스트, 음성, 이미지를 다루는 로컬 시스템을 다루며 Qdrant와 함께 진행된다. 강좌에는 새로운 AI 코딩 실습이 포함되며 수강은 무료다.