클라우드 전문정보 - SaaS 전환 지원센터

클라우드 전문정보

제목	[1부] 배포된 머신 러닝 모델에 대한 실시간 통찰력을 제공하는 Amazon SageMaker Model Monitor
등록일	2025-06-30	조회수	176

상명대학교 / 서광규 교수

Amazon SageMaker는 AWS에서 제공하는 완전관리형(fully managed) 머신러닝 서비스로, 개발자와 데이터 과학자가 머신러닝 모델을 손쉽게 구축, 학습, 튜닝, 배포하고 관리할 수 있도록 지원한다. SageMaker는 데이터 준비부터 모델 배포 및 운영까지 머신러닝 프로젝트의 전 과정을 통합적으로 처리할 수 있는 플랫폼으로 설계되었다.복잡한 인프라 설정이나 서버 관리 없이도 대규모 모델 학습과 추론을 빠르고 안정적으로 수행할 수 있다는 점이 가장 큰 장점이다.

먼저, SageMaker는 데이터 준비 단계를 지원하기 위해 SageMaker Data Wrangler라는 시각적 도구를 제공한다. 이를 통해 사용자는 다양한 데이터 소스에서 데이터를 가져와 필터링, 결합, 정규화 등의 전처리 작업을 시각적으로 수행할 수 있다. 또한 Ground Truth라는 기능을 통해 데이터 라벨링 작업을 자동화할 수 있으며, 기계 학습 기반 라벨링과 사람에 의한 검증 작업을 결합함으로써 효율적이고 정확한 라벨링 결과를 생성할 수 있다.

모델 개발 단계에서는 SageMaker Studio를 사용할 수 있다. SageMaker Studio는 웹 기반의 통합 개발 환경(IDE)으로, Jupyter Notebook을 기반으로 하며 코드 작성, 실험 추적, 시각화, 디버깅 등을 하나의 화면에서 할 수 있게 해준다. Studio는 버전 관리, 파이프라인 관리, 리소스 모니터링 등 다양한 개발 보조 기능도 함께 제공한다. 또한 SageMaker에서는 TensorFlow, PyTorch, MXNet, Hugging Face Transformers 등 다양한 프레임워크를 기본적으로 지원하며, 자신만의 Docker 컨테이너를 가져와 원하는 환경에서 모델을 개발할 수도 있다.

모델 학습은 SageMaker의 강력한 학습 기능을 통해 이루어진다. 사용자는 원하는 컴퓨팅 인스턴스 타입과 개수를 설정하여 학습 작업을 수행할 수 있으며, 대규모 데이터를 처리할 경우에는 분산 학습도 손쉽게 설정할 수 있다. Spot 인스턴스를 활용하면 비용을 절감할 수 있고, 자동 스케일링 기능을 이용해 리소스를 효율적으로 관리할 수 있다.또한 자동 모델 튜닝(AutoML) 기능을 통해 하이퍼파라미터 탐색을 자동화하고, 최적의 모델을 찾을 수 있도록 도와준다.

학습이 완료된 모델은 다양한 방식으로 배포할 수 있다. SageMaker는 실시간 추론을 위한 Endpoint 기능을 제공하여 RESTful API 형태로 모델을 사용할 수 있게 해준다. 이 Endpoint는 고가용성과 확장성을 갖추고 있어 실제 서비스에 안정적으로 적용할 수 있다. 실시간 추론이 필요 없는 경우에는 Batch Transform 기능을 사용하여 일괄 예측을 수행할 수 있으며, 다수의 모델을 하나의 엔드포인트에서 관리할 수 있는 멀티모델 엔드포인트 기능도 제공한다.

모델 배포 이후에도 SageMaker는 운영과 모니터링을 위한 다양한 기능을 제공한다. Model Monitor 기능은 배포된 모델이 예측할 때 사용하는 입력 데이터와 학습 당시의 데이터 분포가 달라졌는지, 즉 데이터 드리프트가 발생했는지를 자동으로 감지해준다. 또한 실제 결과가 존재하는 경우, 모델의 성능 저하 여부도 자동으로 추적할 수 있다.이를 통해 모델의 정확도가 시간이 지나면서 떨어지는 문제를 조기에 발견하고 대응할 수 있다.

모델이 실제 서비스 환경에 들어가게 되면, 전체 머신러닝 프로세스를 자동화하고 반복 가능하게 만드는 것이 중요하다. 이를 위해 SageMaker는 SageMaker Pipelines라는 기능을 제공한다. 이 기능은 데이터 전처리, 학습, 평가, 배포 등의 작업 단계를 코드로 정의하고 실행할 수 있게 해준다. 마치 CI/CD 파이프라인처럼 머신러닝 워크플로우를 관리할 수 있으며, 모델의 버전과 실험 결과를 추적할 수 있는 Model Registry 기능도 함께 제공한다. 이 레지스트리를 통해 승인된 모델만 운영 환경에 배포할 수 있도록 검증 절차를 통제할 수 있다.

보안 측면에서도 SageMaker는 IAM을 통한 접근 제어, KMS 기반 암호화, VPC 설정, PrivateLink 연동 등 강력한 기능을 제공한다. 이로 인해 민감한 데이터를 처리하거나 높은 보안 수준이 요구되는 환경에서도 SageMaker를 안심하고 사용할 수 있다.

종합적으로 볼 때, Amazon SageMaker는 기업의 머신러닝 도입을 가속화할 수 있는 종합 플랫폼이다. 머신러닝을 처음 도입하는 조직에게는 빠른 시작을 위한 친숙한 도구와 템플릿을 제공하고, 성숙한 조직에게는 확장성과 자동화 중심의 MLOps 도구를 제공한다. SageMaker는 실험에서 운영까지의 전 과정을 일관되게 관리할 수 있도록 설계되어 있기 때문에, 복잡한 머신러닝 프로젝트를 보다 쉽게 수행하고, 신속하게 가치를 실현할 수 있도록 도와주는 핵심 도구라고 할 수 있으며 SageMaker에서 제공하는 주요 기능을 정리하면 표 1과 같다.

[표1.SageMaker의 주요 기능]

다양한 산업 분야에서 고위험 환경에서 머신러닝(ML) 모델 및 시스템 도입이 증가함에 따라, 배포 후 모델의 성능을 보장하는 것이 중요해졌다. 프로덕션 환경에서 모델을 모니터링하는 것은 지속적인 성능과 안정성을 보장하는 데 중요한 요소이다.

본 원고에서는 Amazon SageMaker에 호스팅된 머신러닝 모델의 품질을 지속적으로 모니터링하는 완전 관리형 서비스인 Amazon SageMaker Model Monitor를 리뷰하기로 한다. 이 시스템은 모델의 데이터, 개념, 편향 및 특징 속성 드리프트를 실시간으로 자동 감지하고 알림을 제공하여 모델 소유자가 시정 조치를 취하고 고품질 모델을 유지할 수 있도록 한다. 고객으로부터 얻은 주요 요구 사항, 시스템 설계 및 아키텍처, 그리고 다양한 유형의 드리프트를 감지하는 방법론을 설명한다.

1. Amazon SageMaker Model Monitor의 필요성

머신러닝(ML) 모델은 점점 더 보편화되고 있으며 전 세계 기업에서 중요한 역할을 하고 있다. 그러나 시간이 지남에 따라 데이터 수집 프로세스의 예상치 못하거나 의도치 않은 변경으로 인해 성능이 저하될 수 있다.

변화하는 실제 환경으로 인해 학습 데이터와 모델이 오래되어 버리는 경우가 있다. 모델은 예측 품질 요구 사항을 지속적으로 충족하는지 모니터링해야 한다. 이러한 모니터링은 MLOps 수명 주기(즉, 프로덕션 환경에서 ML 모델을 안정적이고 효율적으로 배포하고 유지하기 위한 일련의 관행)의 중요한 부분이다. 모델을 너무 자주 재학습하면 비용이 많이 들 수 있지만, 재학습 빈도가 충분하지 않으면 예측 결과가 최적화되지 않을 수 있다. 프로덕션 모델을 지속적으로 모니터링하면 모델을 재학습하는 적절한 시간과 빈도를 파악하고 다음과 같은 주요 과제를 보다 광범위하게 해결할 수 있다.

- 데이터 드리프트: 실제 환경에서 데이터 분포는 거의 고정되어 있지 않다. 모델 예측의 품질은 프로덕션 데이터 분포와 학습 데이터 분포의 드리프트로 인해 시간이 지남에 따라 점차 저하될 수 있다.

- 환경 변화 및 변수 간 관계: 입력 변수와 목표 변수 간의 관계는 환경 변화로 인해 시간이 지남에 따라 변화할 수 있다. 개념 드리프트라고 하는 이러한 현상은 최적이 아닌 모델 성능으로 이어질 수 있다. 예를 들어, 사기, 스팸, 피싱 모니터링과 같은 적응형 및 적대적 환경에서는 목표 변수의 특성 의존성이 빠르게 변한다. 따라서 특성 엔지니어링 및 모델 재학습이 자주 필요하다.

- 운영상의 변화: 데이터 파이프라인의 운영상의 변화(예: 특성 단위를 피트에서 인치로 전환)로 인해 모델에서 잘못된 출력이 생성될 수 있다. 기존 소프트웨어 또는 애플리케이션 모니터링과 달리 ML 모델의 운영상의 문제는 종종 간과될 수 있다. 효과적인 모니터링 시스템을 구축하는 것은 두 가지 서로 다른 작업을 해결해야 하므로 어려운 일이다. (i) 예측 관련 데이터를 안전하고 대규모로 저장하는 도구를 구축하는 것으로, 분산 시스템, 소프트웨어 엔지니어링 및 저장 시스템에 대한 전문 지식이 필요하다. (ii) 이 데이터를 분석하고 모델의 품질을 평가하기 위한 다양한 통계 기법을 구현하는 것으로, 데이터 과학 및 통계에 대한 전문 지식이 필요하다. 데이터 과학자와 머신러닝 엔지니어는 (i), (ii) 또는 두 가지 모두에 대한 전문 지식이 부족하거나 대규모 모니터링 시스템을 구축할 리소스가 없는 경우가 많다.

본 원고에서는 Amazon SageMaker에 호스팅된 머신러닝 모델의 품질을 지속적으로 모니터링하는 완전 관리형 서비스인 Amazon SageMaker Model Monitor를 리뷰한다. Model Monitor를 사용하면 개발자가 프로덕션 환경에서 모델을 모니터링하고 모델 배포 후 수정 조치가 필요한 시점을 감지하기 위한 도구를 직접 구축할 필요가 없다. 사용자가 제공한 규칙(일반적으로 사용자는 데이터 과학자)을 기반으로 수집된 데이터를 정기적으로 자동 분석하여 규칙 위반 여부를 확인한다. 또한, 개발자는 Model Monitor에 내장된 통계 규칙을 사용하여 표 형식의 데이터를 분석하고, 운영 환경에서 흔히 발생하는 문제를 자동으로 감지하고, 알림을 받을 수 있다.

Model Monitor는 코딩이 필요 없는 사전 구축된 모니터링 솔루션으로 이러한 기능을 제공하는 동시에 사용자가 맞춤형 분석을 수행할 수 있는 유연성을 제공한다. 특히 Model Monitor는 다음과 같은 유형의 모니터링을 제공한다.

- 데이터 품질 모니터링: ML 모델에 입력된 데이터를 자동으로 캡처하고 모니터링하며, 규칙과 통계 테스트를 사용하여 데이터 드리프트와 예상치 못한 업스트림 데이터 변경을 감지하고 필요한 경우 알림을 발생시킨다.

- 모델 품질 모니터링: 모델의 예측을 캡처하고 모델이 예측하려는 실제 기준 실측 레이블과 비교하여 모델의 성능을 모니터링한다. 이를 위해 실시간 추론에서 캡처한 데이터를 스토리지 서비스인 Amazon S32에 저장된 실제 레이블과 병합한 다음, ML 문제 유형에 맞는 지표를 사용하여 비교한다. 이러한 지표는 평균 제곱 오차(MSE) 및 정확도와 같은 사전 구축된 표준 지표이거나, 사용자 정의 지표일 수 있다.

- 프로덕션 모델의 편향 드리프트(Drift) 모니터링: 편향은 ML 시스템에서 우려되는 잠재적 문제로 나타난다. 컴퓨터 시스템은 특정 사회 집단을 차별하는 경우 편향된 것으로 간주될 수 있다. 초기 데이터 또는 모델이 편향되지 않았더라도 데이터 또는 개념 드리프트(기타 요인 포함)로 인해 시간이 지남에 따라 모델 결과가 편향될 수 있다.예를 들어, 주택 구매자 인구 통계의 상당한 변화로 인해 특정 인구가 원래 학습 데이터에 존재하지 않을 경우 주택 대출 신청 모델이 편향될 수 있다. 모델 모니터는 추론 중 모델의 입력 및 출력에서 수집된 데이터에 대해 계산된 여러 편향 지표를 모니터링하고 지표가 지정된 임계값을 초과할 때 알림을 보낸다.

- 프로덕션 모델의 특징 귀속 드리프트(Drift) 모니터링: 특징 귀속 드리프트는 예측 프로세스에 영향을 미치지 않았던 특징이 영향을 미치거나 그 반대로 영향을 미치는 것을 의미한다. 이는 모델 품질 저하의 초기 징후일 수 있다. Model Monitor는 개별 특성에 대한 속성 드리프트 및 특성의 상대적 중요도 변화 모니터링을 지원하며, 속성 변화를 측정하는 지표와 지표가 특정 임계값을 벗어날 때 알림을 발행하는 옵션을 제공한다.

2. ML 수명 주기에서 모델 모니터링의 역할

일반적인 ML 설정은 정확한 추론을 생성하는 모델을 구축하고 배포하는 것이다. 모델은 일반적으로 과거 데이터를 사용하여 학습된다. 그러나 모델이 수신한 실제 데이터는 학습 데이터와 다르게 보일 수 있다. 예를 들어, 글로벌 팬데믹 이전의 데이터를 사용하여 학습된 휴가용 임대 수요 예측 모델은 팬데믹 기간 동안 정확한 예측을 하지 못할 것이다. 입력 변수와 목표 변수 간의 관계 변화(즉, 개념 드리프트)는 모델 정확도 저하로 이어질 수 있으며, 결과적으로 비즈니스 또는 고객에게 영향을 미칠 수 있다.또 다른 예로, 데이터 수집 파이프라인에서 일부 형식이 변경되어 더 이상 제대로 구문 분석되지 않거나 숫자 값의 단위가 변경되는 경우(예: kg에서 그램으로)와 같은 이벤트는 업계 환경에서 흔히 발생하며 배포된 모델의 성능을 저하시키는 경우가 많다. 모델이 정확하고 관련성 있는 예측을 지속적으로 수행하도록 하려면 입력 및 추론에 대한 정기적인 모니터링을 ML 수명 주기에 통합해야 한다. 수명 주기는 크게 다음 단계로 분류할 수 있다.

1) 데이터 준비: 데이터는 ML 모델 구축의 기반을 형성한다. 수명 주기의 이 단계는 데이터 세트 피처 식별, 정리, 전처리 및 엔지니어링에 중점을 둔다. 데이터 세트는 모델이 예측할 것으로 예상되는 실제 관측치를 대표해야 한다. 데이터 랭글링 단계(형식 변환, 데이터베이스 테이블 조인 등)는 모델 배포 후 정기적으로 실행되므로 모니터링해야 한다.

2) 모델 구축, 학습 및 조정: 데이터와 ML 문제를 기반으로 알고리즘과 프레임워크를 선택한다. 모델은 성능 요구 사항을 충족할 때까지 반복적으로 테스트하고 조정한다.

3) 모델 배포: 모델은 새로운 실제 데이터를 기반으로 예측을 시작한다. 모델은 이미 구축된 다른 시스템과 통합되어 해당 모델에서 도출된 추론을 표면화한다.

4) 모니터링: 배포된 모델을 모니터링하는 것은 지속적인 성능과 안정성을 보장하는 데 매우 중요하다. 모델의 입력 및 출력을 학습 데이터 세트 및 예상 값과 비교하여 모델이 성능 요구 사항을 지속적으로 충족하는지 검증한다. 이 단계는 드리프트 및 데이터 버그를 적시에 감지할 수 있도록 자동화되어야 한다. 문제가 감지되면 문제 원인을 수정하거나 새로운 실제 데이터를 사용하여 모델을 준비하고 재학습하여 수명 주기를 다시 시작한다.

[그림1. Amazon SageMaker Model Monitor의 상위 수준 시스템 아키텍처]

3. Amazon SageMaker Model Monitor 설계 및 아키텍처

3-1. 주요 요구 사항

다음으로 고객 및 도메인 전문가로부터 수집하여 Model Monitor를 구성하는 데 사용된 주요 설계 요구 사항을 요약하면 다음과 같다.

- 접근성 확보: 모델 모니터링은 ML 수명 주기의 핵심 부분이자 중요한 MLOps 구성 요소이다. 엔지니어링 및 ML 모두에 대한 전문 지식 수준에 관계없이 모든 고객이 쉽게 접근할 수 있어야 한다. 시작하는 데 필요한 코드 양은 최소화되어야 하며, 가능한 경우 합리적인 기본값을 제공해야 한다. 하지만 고급 사용 사례를 우선시해서는 안된다.

- 확장성 확보: 프로덕션 환경에서 자주 사용되는 모델은 대량의 데이터를 생성할 수 있다. 이 데이터 처리가 추론에 영향을 미쳐서는 안된다. 또한 분석은 빠르고 수평적으로 확장 가능해야 한다.

- 히스토릭 데이터 처리: 분석은 최신 데이터뿐만 아니라 히스토릭 데이터도 대상으로 수행된다. 이 데이터, 그 샘플 또는 요약은 안전하고 쉽게 접근할 수 있는 방식으로 저장되어야 한다.

- 외부 소스 통합: 분석에는 종종 모델 입력 및 출력뿐만 아니라 레이블과 같은 외부 소스가 필요하다. 이러한 외부 소스는 추론 후 약간의 지연을 거쳐야 알 수 있다. 추론 트래픽 데이터와 해당 레이블 또는 기타 외부 정보에 빠르게 액세스할 수 있어야 한다.

3-2. 모델 모니터 아키텍처

모델 모니터는 데이터 분석, 데이터 수집 및 스케줄링이라는 세 가지 주요 구성 요소로 구성된다.

3-2-1. 데이터 분석

데이터 분석 구성 요소는 다음과 같은 설계 목표를 갖는다.

- 추론 데이터의 양에 관계없이 확장 가능

- 사용 편의성을 위한 합리적인 기본값 제공

- 과학자 또는 도메인 전문가가 쉽고 직관적으로 확장할 수 있는 인터페이스 제공(예: 사용자 지정 메트릭 허용)

Model Monitor는 ETL 워크로드를 위한 확장 가능한 클라우드 플랫폼인 SageMaker Processing을 활용하여 데이터 분석을 수행한다. 데이터 분석 구성 요소는 핵심 분석 로직을 포함하며 SageMaker Processing에서 사용할 수 있도록 Docker 이미지로 패키징된다. 다양한 분석 요구 사항을 가진 사용자는 사용자 지정 Docker 이미지를 제공할 수 있다. SageMaker Processing은 Docker 이미지를 로드하여 사용자 정의 분석을 실행한다. 일부 메트릭의 경우 핵심 분석 로직을 구동하기 위해 Apache Spark MLlib 및 Deequ를 비롯한 검증된 오픈소스 기술을 사용한다. 예를 들어 Deequ의 기능을 확장하여 데이터의 대략적인 히스토그램을 추적할 수 있다. Apache Spark와 S3를 사용하여 데이터 수집을 수행함으로써 SageMaker Processing에서 프로비저닝된 인스턴스 간에 부하를 쉽게 분산하고 필요에 따라 확장할 수 있다. 분석기는 시작 시 관련 추론 데이터와 레이블이 지정된 데이터를 로드하고 시간 제한 분석을 생성한다. 기본적으로 표준 지표 세트를 계산한다. 기본 지표가 적합하지 않은 사용 사례의 경우 사용자 지정 Docker 이미지를 제공할 수 있다. 분석 전에 약간의 변경이 필요한 경우, 전처리(각 행에 대해 실행)와 후처리(분석 완료 후 실행)를 위한 Python 후크가 제공된다.

3-2-2. 데이터 수집

SageMaker Endpoints는 완전 관리형 실시간 모델 호스팅 플랫폼이다. Model Monitor의 일부로, (i) 이러한 Endpoints로 전송된 입력 및 출력을 캡처하고 수집하며, (ii) 이 데이터를 레이블/주석과 같은 외부 신호와 결합하는 방법을 제공하는 데이터 수집(데이터 캡처라고도 함) 구성 요소를 구축할 수 있다.

첫 번째 부분은 중간 데이터가 아닌 입력 및 출력만 캡처하므로 Endpoints의 코드 변경 없이 작동한다. 이는 특히 Model Monitor를 사용하려는 기존 시스템의 사용 편의성을 위해 매우 중요하다. 사용 편의성 외에도, 데이터 수집의 주요 초점은 추론 워크로드에 미치는 영향을 최소화하는 것이다.

외부 리소스 사용량(CPU, 메모리, 디스크, 네트워크)을 최소화해야 한다. 리소스 사용량 최소화는 로깅 시스템에서 잘 연구된 문제이다. 이 문제에 대한 접근방법으로는 (i) 요청과 응답은 쉽게 분리할 수 있는 형식(JSON 줄)으로 디스크에 저장하고 (ii) 데몬은 디스크에서 변경 사항을 폴링하는 것이다. 업로드 간격 및 크기 임계값에 도달하면 데몬은 S3로 전송을 시작한다. 분석의 편의성을 위해 데이터는 yyyy/mm/dd/hh 구조의 하위 폴더에 저장한다. 또한, 일광 절약 시간제 변경으로 인해 여러 시간대 및 존재하지 않는 시간으로 인한 혼란을 방지하기 위해 UTC 타임스탬프만 사용한다.

3-2-3. 스케줄링

이 구성 요소는 추론 노드와 다른 Model Monitor 구성 요소 간의 오케스트레이션을 제어한다. 특히, 이 구성 요소를 통해 사용자는 분석 하드웨어(예: 인스턴스 크기 및 개수)와 빈도를 구성할 수 있다.

간편성을 위해 Model Monitor는 매시간 배치 단위로 분석을 수행한다. 이는 S3에 데이터를 저장하는 합리적인 방법을 제공할 만큼 충분히 조밀한 세분성이지만, 데이터 분석 시 유용한 신호를 제공할 만큼 충분히 세밀하다. 그러나 이러한 방식으로 데이터를 저장하면 이전 시간의 데이터를 가능한 한 빨리 분석하려면 분석이 매시 정각에 실행되어야 한다는 것을 의미한다.

이러한 접근 방식을 단순하게 구현하면 컴퓨팅 측면에서 불균형이 발생하므로 각 작업에 최대 시간을 부여하고 무작위 지연을 추가하여 작업을 더 균등하게 분산시키고 매시 정각에 서비스에 과부하가 걸리는 것을 방지하는 것이 불균형 문제를 해결하는 방법중에 하나이다.

조인된 데이터를 유지하지 않고, 분석을 실행한 후 바로 폐기하는 것도 가능하다. 그러나 여러 구성 요소(자체 구성 요소, 사용자 지정 구성 요소, 타사 모니터링 도구)가 이 데이터에 대한 분석을 수행할 수 있도록 하려면, 데이터를 조인하고 S3에 유지하는 별도의 작업을 사용하는 것이 더 나은 설계 방식일 수 있다. 스케줄러는 데이터가 필요한 분석을 실행하기 전에 이 "조인" 작업을 실행한다.

3-3. Amazon SageMaker와의 통합

Model Monitor는 SageMaker 및 Amazon Web Services 고객에게 통합되고 원활한 환경을 제공하기 위해 구축된다. 그림 1에서 보는 바와 같이 Model Monitor는 SageMaker Endpoints에서 수집된 데이터를 이해하고 분석하도록 설계된다. 수집되는 데이터의 양은 스토리지 및 컴퓨팅 비용을 고려하여 조정할 수 있다.

또한, Model Monitor에서 생성된 데이터는 Amazon S3에 저장되므로 다른 AWS 서비스에서 데이터를 내보내고 사용하여 추가 분석을 수행할 수 있다. Model Monitor 작업은 또한 모니터링 서비스인 Amazon CloudWatch로 메트릭을 전송하여 품질 편차가 발견되었는지 여부를 나타낸다. 사용자는 이러한 메트릭에 대한 경보를 설정하여 운영자에게 알리고, 운영자는 시정 조치를 취할 수 있다. 예를 들어, 운영자는 "열 개수 불일치”경고를 보고 업스트림 서비스가 더 이상 피처를 원핫 인코딩하지 않는다는 것을 알 수 있다. 이러한 시나리오에서는 배포를 되돌리는 것이 가장 신속한 조치일 수 있다.

참 고 문 헌

Amazon Web Services. (2024). Monitor Models for Drift with Amazon SageMaker Model Monitor
Amazon Web Services. (2023). Amazon SageMaker Developer Guide – Model Monitoring
Amazon Web Services. (2021). MLOps: Continuous delivery and automation pipelines in machine learning
Evidently. Evidently AI: open-source machine learning monitoring, 2022.
Fiddler. Explainable monitoring = high-performance, 2021. Accessed: 2021-10.
Clarify, S. Create feature attribute baselines and explainability reports, 2021. Accessed: 2021-10-07.
Edwards, J., et al. MLOps: Model management, deployment, lineage, and monitoring with Azure Machine Learning, 2021. Accessed: 2021-10. IBM. Validating and monitoring AI models with Watson OpenScale, 2021. Accessed: 2021-10.
Lipton, Z., Wang, Y.-X., and Smola, A. Detecting and correcting for label shift with black box predictors. In International Conference on Machine Learning (2018), PMLR, pp. 3122-3130.
Ribeiro, M. T., Singh, S., and Guestrin, C. "Why should I trust you?" Explaining the predictions of any classier. In Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (2016), pp. 1135-1144.

저작권 정책

SaaS 전환지원센터의 저작물인 『배포된 머신 러닝 모델에 대한 실시간 통찰력을 제공하는 Amazon SageMaker Model Monitor』은 SaaS 전환지원센터에서 상명대학교 서광규 교수에게 집필 자문을 받아 발행한 전문정보 브리프로, SaaS 전환지원센터의 저작권정책에 따라 이용할 수 있습니다. 다만 사진, 이미지, 인용자료 등 제3자에게 저작권이 있는 경우 원저작권자가 정한 바에 따릅니다.

« [NEWSLETTER] 2025년 6월 4주차 소식

[2부] 클라우드 보안 전략 »

List