Data Pre-processing and Analysis

Phần 1: Data Pre-processing

• Tổng quan
  • Giới thiệu Pre-processing
  • Tầm quan trọng của Pre-processing
• Data Understanding (Hiểu dữ liệu)
  • Import dataset
  • Export dataset
  • Phân tích sơ bộ
• Quy trình Pre-processing
  • Import libraries
  • Đọc dữ liệu
  • Kiểm tra dữ liệu thiếu (missing values)
  • Kiểm tra dữ liệu phân loại (categorical data)
  • Chuẩn hóa dữ liệu (Data standardizing)
  • PCA transformation
  • Data splitting
• Chuẩn hóa dữ liệu
  • Missing Values: xử lý Missing Value dùng drop, thay thế bằng giá trị mean, median hoặc mode
  • Data Formatting
  • Log normalization
  • Feauture Scaling
    1. Standard scaler
    2. MinMax scaler
    3. Robust scaler
  • Feature Engineering (Encoding categorical data)
    1. Label Encoder
    2. Binary Encoder
    3. One hot Encoder
    4. Numeric feature: average, datetime
    5. String feature: extraction, tf/idf vectors
    6. Dummy Variables
  • Binning
    1. Binning
    2. Pivot
  • Lựa chọn feature
    1. Xác định/ lựa chọn các feature cần thiết
    2. Kiểm tra Correlated Features
    3. Tìm hiểu text vector
  • Tiền xử lý ngôn ngữ tự nhiên
    1. Công cụ và kỹ năng làm việc với ngôn ngữ tiếng Anh
    2. Công cụ và kỹ năng làm việc với ngôn ngữ tiếng Việt  
  • Xử lý dữ liệu mất cân bằng (Imbalanced Dataset)
    1. Các chiến thuật làm việc với dữ liệu mất cân bằng

Phần 2: Data Analysis

• Data Storytelling (Trực quan hóa dữ liệu)
  • Kỹ năng trực quan hóa dữ liệu
  • Ôn tập trực quan hóa dữ liệu với Matplotlib, Seaborn
• Quy trình quản lý phân tích dữ liệu
  • Data Analysis Iteration
  • Các giai đoạn của phân tích dữ liệu
  • Các loại câu hỏi, đặc điểm của câu hỏi tốt
  • Mục tiêu và kỳ vọng của khám phá Data Analysis
  • Sử dụng các mô hình thống kê để khám phá dữ liệu
  • Khám phá Phân tích dữ liệu
  • Suy luận từ dữ liệu
  • Phân tích kết hợp (Associational Analysis)
  • Phân tích dự đoán (Prediction Analysis)
  • Giải thích kết quả
  • Báo cáo/ thuyết trình phân tích dữ liệu
• Khám phá Data Analysis
  • Descriptive Statistics (thống kê mô tả)
  • Tìm hiểu Categorical Data
  • Tìm hiểu Numerical Data
  • Group by
  • Correlation
  • Correlation Statistics
  • Mô tả phân phối dữ liệu
  • Phân tích ANOVA
• Model deployment (triển khai model)
  • Linear Regression (Symple Linear Regression, Multiple Linear Regression)
  • Đánh giá model
  • Polynomial Regression
  • Pipelines
  • Đo lường kết quả
  • Dự đoán và ra quyết định
• Model evaluation (Đánh giá model)
  • Model Evaluation & Refinement (Đánh giá và sàng lọc model)
  • Model Selection