LangChain, 팀에 LangSmith의 Trajectories 시범 사용 요청
LangChain은 LangSmith의 Trajectories를 지금 써 볼 수 있으며, 장시간 실행되는 에이전트 디버깅, 분야 전문가를 위한 읽기 쉬운 동작 보기, 온라인 평가로 세션 점수 매기기, 프로덕션 세션을 파인튜닝 데이터셋으로 전환하는 데 쓸 수 있다고 밝혔다.
LangChain은 LangSmith의 Trajectories를 지금 써 볼 수 있으며, 장시간 실행되는 에이전트 디버깅, 분야 전문가를 위한 읽기 쉬운 동작 보기, 온라인 평가로 세션 점수 매기기, 프로덕션 세션을 파인튜닝 데이터셋으로 전환하는 데 쓸 수 있다고 밝혔다.
한 논문이 SkillGym을 제안한다. 사람이 작성한 스킬을 2,756개의 훈련 환경으로 바꾸고 8,364개의 성공 궤적으로 미세조정한다. 논문은 Claude Code에서 실행한 Qwen3.5-35B-A3B가 이후 Terminal-Bench 2.1에서 19.10점 오르고, 스킬 지원 SkillsBench v1.1에서 51.47%에 도달했다고 보고한다.
Ankush Gola는 smithtune이 LangSmith에서 궤적을 가져와 선별하고 처리한 뒤 FireworksAI_HQ와 baseten에서 학습하고, 결과를 LangSmith로 평가한다고 밝혔다. 코드는 langchain-ai GitHub 저장소에 있다.
Fireworks는 LangChain의 LangSmith Fine-Tuning과 smithtune의 출시 학습 파트너라고 밝히며, LangSmith 트레이스에서 Fireworks의 관리형 SFT로 이어진 뒤 평가와 배포까지 하나의 CLI로 처리하고 별도의 학습 인프라는 필요하지 않다고 설명했다.
Hugging Face Jobs에서 약 1.50달러로 학습된 이 모델은 데이터셋의 열 이름과 첫 행을 바탕으로 작업 태그와 확률을 제안한다. Daniel van Strien은 17분간의 미세 조정으로 소유자 태그와 첫 제안의 일치율이 10%에서 69%로 올랐다고 밝혔다.