Natural Language Processing with Deep Learning

• HV đã tham gia khóa “Machine learning with Python”  hoặc có kiến thức tương đương.
• HV muốn áp dụng AI/ Natural Language Processing vào công việc.
• HV có định hướng sẽ làm việc trong lĩnh vực Machine Learning/ AI/ Natural Language Processing.

• Hiểu và ứng dụng được các khái niệm và kỹ thuật trong PyTorch để xây dựng, huấn luyện, và triển khai các mô hình Deep Learning và NLP
• Xử lý và biến đổi dữ liệu ngôn ngữ tự nhiên thành dạng số để phục vụ cho việc huấn luyện mô hình
• Xây dựng và tối ưu hóa các mô hình cho các tác vụ NLP như phân loại văn bản, dự đoán cảm xúc, và dịch máy… sử dụng các kỹ thuật như Neural Networks, LSTM, và Transformer, Sentiment Analysis, Machine Translation, và Named Entity Recognition…
• Trải nghiệm thực tế với các mô hình NLP hiện đại như BERT, GPT và T5.
• Triển khai ứng dụng Chatbot đủ tính năng như: AI hội thoại, trích xuất thông tin hay khởi tạo ngôn ngữ tự nhiên.
• Tư duy và triển khai các ứng dụng NLP áp dụng các kiến thức và kỹ năng được học mình vào nhiều vấn đề thực tế một cách phù hợp dựa trên yêu cầu công việc.
• Cập nhật các nghiên cứu hay đột phá mới nhất về NLP hoặc thực hiện các dự án của riêng mình để phát triển các giải pháp tùy chỉnh phù hợp với nhu cầu.

• Tổng số giờ: 42 giờ - 56 tiết (5 tuần)
• Học phí: 5.800.000đ (có chế độ miễn giảm của mỗi khóa, xem chi tiết trong Thời Khóa Biểu)

• Tổng quan về Pytorch
  • Giới thiệu Pytorch và ứng dụng Pytorch trong Deep Learning.
  • Tensor, các phép toán Tensor và Gradient
  • Khái niệm cơ bản về các mô-đun Autograd, Optimization (tối ưu hóa) và Pytorch
  • Triển khai mạng Neural Network đơn giản trong Pytorch
• Machine learning và Deep learning with Pytorch
  • Ứng dụng Pytorch giải một số bài toán với Machine Learning và Deep Learning:
    • Hiện thực Linear Classification cho bài toán nhận dạng chữ viết tay
    • Hiện thực Neural Network cho bài toán nhận dạng chữ viết tay
• Sentiment Analysis với Logistic Regression và Naïve Bayes
  • Feature extraction từ văn bản sang numerical vector
  • Xây dựng bộ phân loại nhị phân cho các tweet bằng Logistic Regression
  • Tìm hiểu Định lý Bayes về xác suất có điều kiện
  • Phát triển bộ phân loại tweet Naïve Bayes
• Các mô hình Vector Space và Dimensionality Reduction
  • Tạo các word vector để nắm bắt ngữ nghĩa và mối quan hệ giữa các từ
  • Giới thiệu các kỹ thuật Dimensionality Reduction
  • Trực quan hóa các mối quan hệ từ bằng cách sử dụng PCA và UMAP
• Machine Translation và Document Search
  • Phát triển thuật toán dịch từ tiếng Anh sang tiếng Việt sử dụng word embeddings
  • Triển khai Locality-sensitive hashing để xấp xỉ giải thuật K-nearest neighbor
  • Hiểu các nguyên tắc cơ bản của thuật toán tìm kiếm tài liệu
• Auto-correct và Part-of-Speech Tagging
  • Phát triển thuật toán tự động sửa sử dụng Minimum Edit Distance và Dynamic Programming
  • Tìm hiểu Thuật toán Viterbi và ứng dụng trong POS Tagging
  • Triển khai hệ thống POS Tagging cho các tác vụ xử lý ngôn ngữ
• N-gram Language Model và Continuous Bag-of-Words
  • Phát triển thuật toán auto-complete sử dụng N-gram language model
  • Hiện thực mô hình Word2Vec với Neural Network và Continuous Bag-Of-Words
• Mạng Neural Network trong Sentiment Analysis
  • Sử dụng các GloVe word embeddings để huấn luyện Neural Network
  • Phát triển bộ phân loại tweet thành các nhóm sentiment (quan điểm) tích cực hoặc tiêu cực
• Long Short-Term Memory và Named Entity Recognition
  • Tìm hiểu cách LSTM giải quyết vấn đề Vanishing Gradient.
  • Hiểu vai trò của Named Entity Recognition trong trích xuất thông tin cần thiết từ văn bản
  • Xây dựng hệ thống Named Entity Recognition dựa trên LSTM sử dụng dữ liệu Kaggle
• Transformer Architecture và Language Translation
  • Giới thiệu cấu trúc Transformer
  • So sánh mô hình RNN và Transformer cho sequence data
  • Triển khai mô hình Neural Machine Translation với Attention
  • Dịch câu tiếng Anh sang tiếng Việt bằng mô hình Transformer
• Mô hình BERT cho Question-Answering và Text Classification
  • Khám phá mô hình BERT cho các tác vụ trả lời câu hỏi và phân loại văn bản
  • Fine-tune BERT cho các ứng dụng trong các lĩnh vực cụ thể
  • Xây dựng mô hình Sentiment Analysis đa lớp
• Mô hình GPT và T5 cho Text Generation và các tác vụ NLP nâng cao
  • Tìm hiểu mô hình GPT để khởi tạo văn bản
  • Tìm hiểu mô hình T5 và các chức năng nâng cao cho NLP
  • Ứng dụng mô hình GPT và T5 vào các bài toán thực tế
• Nền tảng Chatbot
  • Tìm hiểu về kiến trúc và nguyên tắc thiết kế chatbot
  • Kỹ thuật Dialogue Management, Natural Language Understanding, và Natural Language Generation
  • Đánh giá hiệu quả hoạt động của các mô hình chatbot và đưa ra các cải tiến
• Milestone project: Ứng dụng Chatbot
  • Thiết kế và triển khai chatbot sử dụng các kỹ thuật và mô hình NLP tiên tiến
  • Tích hợp chatbot vào giao diện người dùng hoặc nền tảng nhắn tin
  • Đánh giá hiệu suất của chatbot và cải tiến dựa trên phản hồi của người dùng

Học viên thi đạt kết quả cuối môn học sẽ được cấp chứng nhận "Natural Language Processing with Deep Learning - Xử lý ngôn ngữ tự nhiên với Học sâu" do Trung Tâm Tin Học - Trường ĐH Khoa Học Tự Nhiên cấp.