성균관대 조재민 교수님의 정보시각화(Information Visualization) 수업 Slide를 바탕으로 정리한 내용입니다.
Visualization for Machine Learning
•
Blackbox 라는 AI의 특성 때문에 대두됨. VIS4ML은 Blackbox로 인해 발생하는 아래의 문제점을 해결할 수 있다.
◦
Fairness
◦
Accountability
◦
Transparency
◦
Explainability
•
이를 통해 사람과 AI 사이의 gap을 메꿀 수 있다.
Visualzing Training Data
적당하게 잘 Training Data를 시각화 하는 것은 어려운 일은 아니다.
Google Facets
구글에서 개발한 오픈 소스 시각화 툴이다. 머신러닝 Dataset의 이해를 위한 도구로, 데이터셋에 대한 다양한 분석을 제공한다.
Visualizing Training Process
•
Hyperparameter
◦
NN Architecture, Data, Optimization ...
•
Progression
◦
Training Process, Best accuracy/Best hyperparameters
Optimizing Hyperparameters
Hyperparameter는 AutoML을 통해 대부분 Optimize한다.
ATMSeer
모델의 방대한 크기로 인해 모든 모델에 대해 AutoML을 적용하는 것은 굉장히 어렵다. 또한, 사용자들은 AutoML에 대한 불신으로 인해 AutoML의 효율성을 떨어뜨리는 경향이 있다.
ATMSeer는 이러한 문제를 해결하기 위해 AutoML의 Search space를 refining하고, 결과를 분석할 수 있도록 하는 Interactive visualization tool이다.
Hypertendril
User-driven hyperparameter tuning을 model-agnostic한 환경에서 할 수 있는 시각화 도구이다.
Visualziing Parameters
Parameter를 시각화 하는 것은 대부분 architecture-specific 하게 연구되었다.
Visualizing Representation
ML에서 intermediate representations는 고차원의 벡터로 이루어져 있기 때문에 차원을 낮출 필요가 있다.
Embeding Projector
고차원 Embeding 데이터(범주형 자료를 연속형 자료로 변환한 것)를 시각화 하는 도구이다.
PANENE
k-NN에서 시간에 따라 점진적으로 시각화를 하는 알고리즘이다.
Education
•
Explaining Predictions
예측 결과가 왜 만들어 졌는가?
Building Blocks of Interpretability
뉴런이 보고 있는 곳, 어떻게 뉴런이 결과에 영향을 미치는지에 대한 정보를 종합해서 보여준다.
Summit
어떤 특징들을 모델이 학습했는지와 그것이 어떻게 예측에 영향을 미쳤는지를 시각화한다.
Sharpley Value
특정 Value가 결과에 어떤 영향을 미치는지를 알아보기 위해 사용하는 값이다. 게임 이론에서 아이디어를 따왔다. Model-Agnostic한 Method이다.
Global Surrogate
해석 불가능한 (Blackbox)모델을 통해 prediction을 얻고, 이를 바탕으로 해석 가능한 모델을 approximate하는 방법.
Visualizing Fairness
의사 결정/예측이 Protected attribuites(genter, race, age...)에 biased되지 않도록 하는 방법
FairVis
Intersectional Bias를 시각화하는 분석 시스템. 특정 모집단에서 성능이 떨어지는지 확인할 수 있다.