- compatibility: 이 버전은 EVA App v3.0.0 이상을 대상으로 합니다.
Performance Enhancements
- 서버 사이드 앙상블 예측 추가:
/predictions/ensemble을 추가하고, 모델별 threshold, vote 기반 탐지 집계, current-model 결과 리포팅을 지원합니다.
- ROI 전용 탐지 동작 추가: 설정된 interest area 안에 있는 box만 응답으로 반환하여 downstream VLM 플로우가 영역 관련 탐지만 받도록 개선했습니다.
- EVA App 동기화 플로우 개선:
POST /sync를 camera count, health snapshot, dynamic worker scaling의 source of truth로 사용하도록 변경했습니다.
- Proxy 모듈 구조 개편: proxy를 route module, Pydantic schema, TorchServe service, health service, camera registry, scaling policy module로 분리하고, 기존 import 호환을 위한 wrapper는 유지했습니다.
- Background health checker 및 probe 추가: FastAPI, TorchServe inference/management endpoint, model worker readiness, optional inference probe, accelerator detection, system resource threshold 기반으로 최신 health state를 추적합니다.
- Dynamic worker scaling policy 추가: camera count 기반 worker scaling, 모델별 resource profile, min/max worker constraint, optional GPU memory validation을 도입했습니다.
- CUDA MPS 배포 지원 추가:
GPU_MPS_ENABLED, MPS pipe/log directory 처리, run.sh의 daemon start/stop, MPS 환경용 Helm values 및 volume mount를 추가했습니다.
- MIG GPU 배포 지원 추가: MIG resource name, GPU count, CUDA visible devices를 설정할 수 있는 Helm 구성을 추가했습니다.
- MMGDino 및 LLMDet 추론 최적화: fixed image preprocessing bucket, GPU-side image preparation, cached text feature, compiled model submodule을 적용해 반복 zero-shot inference 성능을 개선했습니다.
Bug Fixes
- 사용 불가능한 모델로 ensemble fallback되는 문제 수정: TorchServe에 등록되지 않았거나 READY worker가 없는 모델을 ensemble 후보에서 제외하도록 수정했습니다.
- Ensemble prediction의 non-serving model 처리 수정: Ensemble request를 보내기 전에 TorchServe management 상태를 확인해 unavailable model 때문에 prediction flow가 실패하지 않도록 했습니다.
- MIG metric 권한 오류 처리 수정: MIG memory/utilization metric을 조회할 수 없는 경우 resource failure로 처리하지 않고 optional data 누락으로 다루도록 개선했습니다.
- MIG UUID 처리 수정: MIG partition 환경에서 GPU discovery가 올바르게 동작하도록 visible MIG UUID를 사용합니다.
- MIG utilization metric 누락 처리 수정: utilization field가 없어도 resource schema나 health response가 실패하지 않도록 허용했습니다.
- Sync 중 minimum worker 유지 문제 수정: EVA App sync가 camera count를 갱신할 때 설정된 minimum worker count가 유지되도록 수정했습니다.
- SYNC API request field 이름 수정: Sync request format의
id를 eva_id로 변경했습니다.
- RT-DETRV2 person target labeling 수정: RT-DETRV2의 person-only detection label이 일관되게 처리되도록 수정했습니다.