Data Pre-processing and Analysis

• HV đã tham gia khóa Fundamentals of Python; Python for Machine Learning, Data Science and Data Visualization; Mathematics and Statistics for Data Science hoặc có kiến thức tương đương
• Sinh viên các trường Đại học, Cao đẳng
• HV có định hướng sẽ làm việc trong lĩnh vực Data Science

• Hiểu được vòng lặp trong phân tích dữ liệu
• Phân biệt giữa các loại dữ liệu khác nhau
• Xác định các loại câu hỏi khác nhau, đặt câu hỏi và tìm những bộ dữ liệu cụ thể
• Khám phá bộ dữ liệu để xác định xem dữ liệu có phù hợp với dự án không
• Hiểu và vận dụng quy trình tiền xử lý dữ liệu
• Áp dụng linh hoạt các kỹ thuật chuẩn hóa dữ liệu khác nhau tùy vào các bộ dữ liệu và yêu cầu của dự án
• Phân tích dữ liệu, triển khai và đánh giá mô hình phân tích dữ liệu
• Giải thích kết quả từ các phân tích dữ liệu
• Tích hợp kết quả thống kê để tạo các báo cáo, thuyết trình phân tích dữ liệu mạch lạc, thuyết phục

• Thời lượng: 53 tiết (5 tuần), học trực tiếp trên máy
• Học phí: 4.800.000đ

• Tổng quan
  • Giới thiệu Pre-processing
  • Tầm quan trọng của Pre-processing
• Data Understanding (Hiểu dữ liệu)
  • Import dataset
  • Export dataset
  • Phân tích sơ bộ
• Quy trình Pre-processing
  • Import libraries
  • Đọc dữ liệu
  • Kiểm tra dữ liệu thiếu (missing values)
  • Kiểm tra dữ liệu phân loại (categorical data)
  • Chuẩn hóa dữ liệu (Data standardizing)
  • PCA transformation
  • Data splitting
• Chuẩn hóa dữ liệu
  • Missing Values: xử lý Missing Values dùng drop, thay thế bằng giá trị mean, median hoặc mode
  • Data Formatting
  • Log normalization
  • Feauture Scaling
    • Data Normalization (Min max scaler)
    • Standard scaler
    • Feature Engineering (Encoding categorical data)
    • Label Encoder
    • Binary Encoder
    • One hot Encoder
    • Numeric feature: average, datetime
    • String feature: extraction, tf/idf vectors
    • Dummy Variables 
  • Binning
    • Turning categorical variables into quantitative variables (chuyển các biến phân loại thành các biến định lượng)
    • Pivot
  • Lựa chọn feature
    • Xác định/ lựa chọn các feature cần thiết
    • Kiểm tra Correlated Features
    • Tìm hiểu text vector

• Quy trình quản lý phân tích dữ liệu
  • Data Analysis Iteration
  • Các giai đoạn của phân tích dữ liệu
  • Các loại câu hỏi, đặc điểm của câu hỏi tốt
  • Mục tiêu và kỳ vọng của khám phá Data Analysis
  • Sử dụng các mô hình thống kê để khám phá dữ liệu
  • Khám phá Phân tích dữ liệu
  • Suy luận từ dữ liệu
  • Phân tích kết hợp (Associational Analysis)
  • Phân tích dự đoán (Prediction Analysis)
  • Giải thích kết quả
  • Báo cáo/ thuyết trình phân tích dữ liệu
• Khám phá Data Analysis
  • Descriptive Statistics (thống kê mô tả)
  • Tìm hiểu Categorical Data
  • Tìm hiểu Numerical Data
  • Group by
  • Correlation
  • Correlation Statistics
  • Mô tả phân phối dữ liệu
  • Analysis of Variance ANOVA
• Model deployment (triển khai model)
  • Linear Regression (Symple Linear Regression, Multiple Linear Regression
  • Model Evaluation
  • Polynomial Regression
  • Pipelines
  • Measures for In-Sample Evaluation
  • Prediction & Decision Making
• Model evaluation (Đánh giá model)
  • Model Evaluation & Refinement (Đánh giá và sàng lọc model)
  • Overfitting, Under fitting & Model Selection
  • Ridge Regression
  • Grid Search
  • Random Search

Học viên thi đạt kết quả cuối môn học sẽ được cấp chứng nhận "Data Pre-processing and Analysis" do Trung Tâm Tin Học - Trường ĐH Khoa Học Tự Nhiên cấp.