의사 결정 인텔리전
의사 결정 지능
의사 결정 지능 (DI) 은 데이터를 관리 가능한 의사 결정 및 측정 가능한 효과로 전환하는 분야입니다. DI는 인과 관계, 예측, 의사 결정 경제학, 정책 설계 및 MLop/운영을 하나의 수명주기로 통합합니다.
1) DI 프레임 워크: OODA/SSDL
관찰 (신호): 표준화 된 이벤트, 품질/신선도, dedup 및 컨텍스트.
오리엔트 (감지): 해석: 코호트, 세그먼트, 인과 그래프, 위험 프로파일.
결정: 정책 (규칙/모델/도적), 제한 및 오류 비용 고려.
행위: 행동, 채널, dempotence, 우선 순위의 오케스트레이션.
학습: 인과 효과 추정, 임계 값/정책/모델 업데이트.
2) 솔루션의 경제
가치 기능: 수익/유지 손해/유지/서비스 품질.
오류 비용: 돈과 위험의 FP/FN (RG/준수/평판).
[
EV = p _ {\텍스트 {uspekh }\cdot Value - p _ {\텍스트 {vred} }\cdot Harm-비용
]가드 레일이 정상인 경우 동작이 허용됩니다.
위험 식욕: FPR 제한, 중재 빈도, 피해/불만 예산, 오류 예산.
3) 인과 및 예후
예측이 충분한 경우: 저 위험 할당, 확률 별 순위.
인과 관계가 필요한 경우: ROMI, 가격/제한 정책, 안전/준수. A/B, DiD, RDD, IV, 합성 제어; 타겟팅 할 때-향상 및 CATE.
반 사실 루프: 예측 → 효과 → 효과 → 상승/임계 값의 변환.
4) 정책의 종류
규칙 (코드 정책): 결정 론적, 설명 가능; 기본 및 안전.
점수 기반: 확률/속도, 히스테리시스, 비용에 민감한 임계 값.
상황 (도적): 제안/채널을 선택하기위한 λ- 욕심/톰슨.
순차 (RL): 다단계 제한 (안전한 RL) 전략.
구성 요소: 캐스케이드-보안/규정 준수 → 경제 → UX.
5) DI 아키텍처
데이터: 표준 이벤트 (UTC, 버전), 가상 (온라인/오프라인 패리티), 디렉토리.
모델: 레지스트리/버전, 교정, 드리프트 모니터링 (PSI/KL), PR- AUC/리콜 @ FPR
시맨틱 및 메트릭: KPI/가드 레일의 단일 사전, SLO 신선도.
정책 엔진: 의사 결정 테이블, ABAC/컨텍스트, 히스테리시스, 속도 제한, 우선 순위.
액션 오케 스트레이터: 보장 된 전달, retrai, demempotency 'action _ id', DLQ.
관찰 가능성: 추적 '상관 _ id', 깔때기 "신호 → 결정 → 행동 → 결과".
보안: RLS/CLS, PII 마스킹, 액세스 및 의사 결정 로그.
6) DI 메트릭
솔루션의 질
결정 정밀/리콜: 행동의 진정한 성공.
후회/기회 손실: 최적의 정책보다 뒤쳐져 있습니다.
적용 범위: 작업을받은 객체의 비율.
대기 시간 p95: 신호 → 결정/결정 → 행동.
공정성/피해: 세그먼트 오류 차이, 불만, 항소.
비즈니스 영향
ROMI/ROI 작업, 고양 @ k, Qini/AUUC.
순 혜택: 효과-비용-피해.
충격 시간: 신호에서 측정 가능한 결과까지의 시간.
7) 의사 결정 설계
1. "Y에서 T보다 X의 보류 이득은 무엇입니까?"
2. DAG를 그리고 혼란/충돌기를 정의하십시오.
3. 디자인 선택: A/B, 준 실험 또는 순 예측 + 전 포스트 점수.
4. 행동 및 대안, 제한 및 난간을 정의하십시오.
5. 가치 기능 및 위험 예산을 설정하십시오.
6. 의사 결정 표에 정책을 설명하십시오: 조건 → 행동 → 채널 → 대기 시간.
7. 평가 계획: 효과 지표, 지속 시간, CATE 세그먼트.
8. 사건 런북과 대체 규칙을 정의하십시오.
8) 히스테레시, 빈도 및 충돌
히스테리시스: 입력/출력 임계 값은 다릅니다. 중재가 "깜박이는" 것을 방지합니다.
쿨 다운: 동일한 객체에서 접점/제약 조건 사이에서 일시 중지됩니다.
정책 충돌: 우선 순위 행렬; "보안이 우선합니다".
쿼터/속도 제한: 채널 당, 세그먼트, 사용자; 공정한 배포.
9) 자율성 수준
1. 임시: 사람이 데이터가 충분하지 않다고 결정합니다.
2. 지원: 시스템은 솔루션 + 설명을 제공합니다.
3. 자동화: 가드 레일 내 자동 솔루션.
4. 적응 형: 자동 튜닝 임계 값/오퍼 선택 (도적).
5. 안전 자율성: 공식적인 제한 및 감사하에 자율성.
10) 불확실한 솔루션
시나리오 계획: 기본/스트레스/극단; 효과 범위.
견고성: 파라 메트릭 오류에 강력한 전략.
POMDP 직관: 불완전한 정보로 행동하십시오. 정보 비용 (실험 수행) 을 중요하게 생각하십시오.
베이지안 업데이트: 과거 지식과 현재 데이터를 결합하십시오.
11) 정책 대화 모델
이 모델은 결과의 속도/분포를 생성합니다.
정책은 오류, 제한 및 공정성 비용을 고려합니다.
파티션 라인은 버전 로그가있는 명시 적 결정 임계 값 정책에 있습니다.
임계 값 개정 - ROC/PR뿐만 아니라 EV 별.
12) 문서 및 유물
정책 여권 (템플릿)
효과의 코드/버전, 목적 및 KPI
조건/기능/모델, 히스테리시스/쿨 다운
행동 및 채널, 우선 순위 및 상호 예외
가드 레일 (FPR
점수: 테스트 디자인, 메트릭, 지속 시간
사용자, 소유자에 대한 감사/설명
결정 표 (예)
"엔드 투 엔드" 솔루션 로깅 체계
'signal _ id' → 'decision _ id' → 'action _ id' → 'profess _ id' (+ 'correlation _ id').
13) 거버넌스 및 규정 준수
통합 된 메트릭 및 수식 버전 지정 사전.
정책위원회: 위험 담당관, 제품, 데이터, 준수.
결정 감사: 설명, 거부 사유, 항소 채널.
윤리와 공정성: 그룹 별 오류 모니터링; 법에 의해 요구되는 경우 규칙에서 보호 된 기능을 배제합니다.
14) 빈번한 오류
비즈니스 효과 (Goodhart) 대신 프록시 메트릭의 최적화.
예측과 인과 관계 형성; "상관 관계에 의한" ROMI.
히스테리시스 및 쿨 다운 부재 → 스팜/" 깜박임 "
오류 및 사용자 피해에 대해서는 설명되지 않았습니다
버전과 변경 로그가없는 임계 값/공식의 조용한 편집.
효과 평가 및 "사이클 폐쇄" 가없는 동작.
15) 사전 릴리스 DI 정책/시스템 점검표
- 목표는 인과 효과, 가치 기능 및 위험 예산이 제공됨에 따라
- DAG 그림; 평가 설계 (A/B/DiD/SC) 및 선택된 메트릭
- 정책은 의사 결정 표에 설명되어 있습니다. 히스테리시스/쿨 다운/우선 순위
- 모델이 보정됩니다. 오류 비용 (EV) 에서 파생 된 임계 값
- 행동의 오케 스트레이터는 dempotent입니다. 신호 → 결정 → 동작 → 결과 로그 활성화
- 가드 레일 및 경고가 구성됩니다. 런북 및 폴백 규칙이 준비되었습니다
- 대시 보드: 의사 결정 깔때기, 효과 (향상/ROI), 피해/불만, 공정성
- 버전/소유자/액세스 권한/준수 문서화
합계
의사 결정 지능은 일련의 모델이 아닌 시스템입니다. 균일 한 데이터 및 메트릭 → 효과에 대한 인과 적 및 경제적 견해 → 명시 적 정책 및 안전한 오케스트레이션 → 엄격한 평가 및 지속적인 학습. 이러한 시스템은 위험을 줄이고 ROI를 증가 시키며 의사 결정을 재현, 설명 및 관리 할 수있게합니다.