DTap 레드팀, Jev 1.13 직접 오용 ASR 70.1% 보고
Zhaorun Chen은 DTap에서 Jev 1.13을 레드팀 평가한 결과 직접 오용의 공격 성공률이 70.1%, 간접 프롬프트 인젝션이 43.5%였다고 밝혔다. Jev로 자체 도구 호출을 게이팅하자 그 성공률은 낮아지고 효용의 대부분은 유지됐다고 한다. TypeSafe AI는 Jev가 제대로 작동하지 않는지 의문을 제기하며, 조합 가능성을 위해 만들어졌다고 밝혔다.
#prompt-injection
모든 AI 뉴스 보기DeepLearning.AI: 메타의 Muse 에이전트가 OS 수준에서 프롬프트 인젝션 방어를 구축
DeepLearning.AI는 메타의 Muse 에이전트가 모델이 속임을 당할 것이라고 가정하고 따라서 OS 수준에서 보안을 강제한다고 말합니다. 모델이 실제 자격 증명을 절대 다루지 않으며, 도구는 격리된 Linux 컨테이너에서 실행되고, 독립적인 게이트키퍼가 아웃바운드 호출을 검증한다고 전합니다.