- 호환성: 이 버전은 EVA App v2.7.0 이상을 필요로 합니다.
Performance Enhancements
- TorchServe 로그 프로파일 설정 기능 추가: 개발 환경에서는 모델 및 메트릭 전체 가시성을 유지하고, 운영 환경에서는 모델 로그 출력량을 경고/오류 수준으로 줄일 수 있도록 개발용 및 운영용 Log4j2 프로파일을 분리하여 추가했습니다.
- 모델 로그 관찰성 개선: TorchServe MODEL_LOG 출력에 Python 로거 및 모델명 메타데이터를 추가하여 관리자가 각 model.log 항목을 생성한 핸들러를 식별할 수 있도록 했습니다.
- 지연 시간 분석을 위한 접근 및 메트릭 가시성 유지: HTTP 지연 시간을 TorchServe HandlerTime, 큐, 시스템 메트릭과 비교할 수 있도록 두 로그 프로파일 모두에서 ACCESS_LOG, TS_METRICS, MODEL_METRICS를 유지합니다.
- 서비스 시작 시 로그 프로파일 지원 추가: run.sh에
-log-profile dev|prod 옵션을 추가하고, 기본값은 개발 로깅으로 설정했으며, 운영 환경 Docker 시작 인수, 로그별 보존 정리, 더 안전한 셸 실행 동작을 포함합니다.
- 프로파일별 프록시 로깅 조정: 시작 시점에 프록시 INFO 로그 샘플링을 제어할 수 있도록 하여, 개발 환경에서는 전체 INFO 로깅을, 운영 환경에서는 샘플링된 INFO 로깅을 적용합니다.
- RT-DETR V2 고속 프로세서 명시적 사용: 프로세서 폴백 모호성을 방지하기 위해
use_fast=True 옵션으로 RTDetrImageProcessorFast를 명시적으로 로드합니다.
Bug Fixes
- TorchServe 핸들러 로그 출처 표기 수정: TorchServe가 캡처하기 전에 Python 워커 로그 레코드를 재포맷하여, model.log가 모든 핸들러 출력을 추적 불가능한 MODEL_LOG 스트림으로 합치는 문제를 해결했습니다.
- IG 프로세서 디바이스 배치 수정: IG 프로세서 호출 시
device=self.device를 전달하여 임베딩 및 추론 흐름에서 생성된 텐서가 핸들러 디바이스와 일치하도록 수정했습니다.
- TorchServe pynvml 경고 반복 출력 수정: TorchServe 시스템 메트릭 pynvml 사용 중단 FutureWarning이 errors.log를 반복적으로 오염시키지 않도록 억제했습니다.
- 로깅 유틸리티의 아카이브/런타임 패키징 수정: handlers 디렉터리는 핸들러 파일만 포함하도록 유지하면서, eva_ts/utils의 공유 로깅 유틸리티를 모델 아카이브 추가 파일에 포함시켰습니다.