Data Pre-processing and Analysis

• HV đã tham gia khóa Mathematics and Statistics for Data Science hoặc có kiến thức tương đương
• Sinh viên các trường Đại học, Cao đẳng
• HV có định hướng sẽ làm việc trong lĩnh vực Data Science, Machine Learning

• Hiểu và vận dụng các bước trong quy trình tiền xử lý dữ liệu (Data Pre-processing) khi triển khai dự án Data Science
• Nắm được quy trình và kỹ thuật phân tích dữ liệu (Data Analysis)
• Phân tích dữ liệu khám phá (Exploratory Data Analysis - EDA) để có cái nhìn ban đầu về dữ liệu, xác định các yếu tố quan trọng trong bộ dữ liệu
• Thực hiện các thao tác làm sạch dữ liệu (Data Cleaning)
• Áp dụng linh hoạt các kỹ thuật chuẩn hóa dữ liệu (Data Standardization) khác nhau tùy vào các bộ dữ liệu và yêu cầu của dự án
• Tạo các tính năng cần thiết (Feature Engineering)
• Tiền xử lý dữ liệu tiếng Anh, tiếng Việt
• Phân tích, triển khai và đánh giá mô hình phân tích dữ liệu
• Giải thích kết quả từ các phân tích dữ liệu
• Quy trình quản lý phân tích dữ liệu hiệu quả
• Sử dụng thư viện mã nguồn mở sklearn để triển khai một số thuật toán Machine Learning
• Kết hợp trực quan hóa dữ liệu, kết quả thống kê để tạo các báo cáo phân tích dữ liệu mạch lạc, thuyết phục

• Thời lượng: 40 giờ - 53 tiết (5 tuần), học trực tiếp trên máy
• Học phí: 5.500.000đ

• Giới thiệu quy trình phân tích dữ liệu (Data Analysis)
  • ​Business Understanding
  • Data Requirements
  • Data Collection
  • Data Pre-processing
  • Exploratory Data Analysis
  • Modeling & Algorithms
  • Data Product
  • Communication
• Quy trình tiền xử lý dữ liệu (Data Pre-processing)
  • ​Tích hợp dữ liệu (Data Intergration)
  • Làm sạch dữ liệu (Data Cleaning)
  • Kỹ thuật tạo tính năng (Feature Engineering)
  • Chuyển đổi dữ liệu (Data Transformation)
• Phân tích dữ liệu khám phá (Exploratory Data Analysis - EDA)
  • ​Xác định các thuộc tính/ biến (Variable Identification)
  • Xử lý dữ liệu trùng (Duplicate values)
  • Xử lý dữ liệu thiếu (Missing values)
  • Xử lý dữ liệu ngoại lệ (Outlier values)
  • Phân tích đơn biến (Univariate Analysis)
  • Phân tích hai biến (Bi-variate Analysis)
  • Các package EDA hữu ích: pandas-profiling, dataprep, ttth-mds5-analyzer
• Làm sạch dữ liệu (Data Cleaning)
  • Thu dọn dữ liệu (Tidying data)
    • Tidy data: pd.melt()
    • Pivoting data: pivot(), pivot_table()
  • Kết hợp dữ liệu (Combining data)
    • Merge
    • Join
    • Concat
    • Combine
    • Append
    • Nối dữ liệu từ nhiều tập tin 
  • Làm sạch dữ liệu (Data Cleaning)
    • Loại bỏ các mẫu trùng 
    • Xử lý dữ liệu ngoại lệ
    • Xử lý dữ liệu thiếu
    • Chuyển đổi kiểu dữ liệu phù hợp 
    • Làm sạch dữ liệu chuỗi 
    • Loại bỏ các mẫu không liên quan

• Chuẩn hóa dữ liệu (Data Standardization)
  • Log normalization
  • Feauture Scaling
    • Standard scaler
    • MinMax scaler
    • Robust scaler
• Tạo thuộc tính (Feature Engineering)
  • Mã hóa thuộc tính phân loại (Encoding categorical feature)
    • Integer/ Label Encoder 
    • One hot/ Dummy Encoder 
  • Xử lý các danh mục không phổ biến (Uncommon category)
    • Binary Encoder
    • Binning 
  • Xử lý dữ liệu văn bản (Text)
    • Loại bỏ ký tự không mong muốn
    • Chuẩn hóa loại chữ
    • CountVectorizer
    • TF-IDF
    • N-gram
• Tiền xử lý ngôn ngữ tự nhiên (Natural Language Processing – NLP)
  • Giới thiệu, nhiệm vụ của NLP
  • Các công cụ hỗ trợ NLP thông dụng
  • Kỹ năng làm việc với ngôn ngữ tiếng Anh
  • Kỹ năng làm việc với ngôn ngữ tiếng Việt  
• Xử lý dữ liệu mất cân bằng (Imbalanced Dataset)
  • ​Các chiến thuật làm việc với dữ liệu mất cân bằng
    • Thu thập thêm dữ liệu
    • Thay đổi performance metric
    • Lấy mẫu lại dữ liệu (Resampling Dataset): under-sampling, over-sampling
• Model deployment (triển khai model) - Linear Regression 
  • Linear Regression (Symple Linear Regression, Multiple Linear Regression)
  • Lựa chọn thuộc tính (Feature selection)
    • Tầm quan trọng, lợi ích
    • Xác định/ lựa chọn các feature cần thiết bằng SelectKBest, Correlation matrix & Heatmap
  • Polynomial Regression
  • Pipelines
  • Đa cộng tuyến
• Logistic Regression
  • ​Giới thiệu, ứng dụng
  • Thuật toán
  • Triển khai & đánh giá model
  • Phát hiện gian lận (Fraud detection)

Học viên thi đạt kết quả cuối môn học sẽ được cấp chứng nhận "Data Pre-processing and Analysis" do Trung Tâm Tin Học - Trường ĐH Khoa Học Tự Nhiên cấp.