Môn học mới
Natural Language Processing with Deep Learning

  • Khóa học cung cấp cho học viên các kiến thức cần thiết về Natural Language Processing (NLP), lĩnh vực rất “hot” của Machine Learning và các kỹ thuật quan trọng trong việc xử lý ngôn ngữ tự nhiên.
  • Trang bị kiến thức và kỹ năng vận dụng các thuật toán NLP như Sentiment Analysis, Machine Translation, Document Search, Auto-correct, Part-of-Speech Tagging, N-gram Language, Continuous Bag-of-Words, BERT, GPT… thông qua việc sử dụng các bộ thư viện, công cụ mạnh mẽ, mã nguồn mở như Pytorch, Huggingface Accelerate…
  • Tìm hiểu Generative AI và cách thức hoạt động của các mô hình ngôn ngữ lớn (Large Language Model, LLM)
  • Giới thiệu về mô hình Large Language Model Meta AI (LlaMA) và cách thức hoạt động, tìm hiểu về các phiên bản LLaMA cũng như kỹ thuật LoRA trong huấn luyện mô hình LLaMA.
  • Phát triển các ứng dụng NLP tiên tiến, có tính thực tế cao như như chatbot, hệ thống tìm kiếm tài liệu, và tự động hoá sửa lỗi chính tả, dịch thuật và tự động sửa lỗi ngữ pháp, phân loại thông tin từ văn bản, hệ thống trả lời câu hỏi, dựng chatbot đầy đủ tính năng…
  • Mở rộng hiểu biết về lĩnh vực NLP và học cách ứng dụng các kiến thức này để giải quyết các vấn đề thực tế
  • Là nền tảng để tiếp tục tìm hiểu, áp dụng các nghiên cứu mới nhất trong lĩnh vực NLP đầy tiềm năng vào xử lý các vấn đề trong công việc và cuộc sống.
 
  • HV đã tham gia khóa “Machine learning with Python”  hoặc có kiến thức tương đương.
  • HV muốn áp dụng AI/ Natural Language Processing vào công việc.
  • HV có định hướng sẽ làm việc trong lĩnh vực Machine Learning/ AI/ Natural Language Processing.
 

Sau khi hoàn thành khóa học, học viên sẽ đạt được các kỹ năng:

  • Hiểu và ứng dụng được các khái niệm và kỹ thuật trong PyTorch để xây dựng, huấn luyện, và triển khai các mô hình Deep Learning và NLP;
  • Xử lý và biến đổi dữ liệu ngôn ngữ tự nhiên thành dạng số để phục vụ cho việc huấn luyện mô hình;
  • Xây dựng và tối ưu hóa các mô hình cho các tác vụ NLP như phân loại văn bản, dự đoán cảm xúc, và dịch máy… sử dụng các kỹ thuật như Neural Networks, LSTM, và Transformer, Sentiment Analysis, Machine Translation, và Named Entity Recognition…
  • Trải nghiệm thực tế với các mô hình NLP hiện đại như BERT, GPT và T5.
  • Hiểu rõ về Generative AI và cách thức hoạt động của các mô hình ngôn ngữ lớn (LLM);
  • Hểu về mô hình LLaMA và các phiên bản hiện có cùng với kỹ thuật LoRA trong huấn luyện mô hình;
  • Triển khai ứng dụng Chatbot đủ tính năng như: AI hội thoại, trích xuất thông tin hay khởi tạo ngôn ngữ tự nhiên.
  • Tư duy và triển khai các ứng dụng NLP áp dụng các kiến thức và kỹ năng được học mình vào nhiều vấn đề thực tế một cách phù hợp dựa trên yêu cầu công việc.
  • Cập nhật các nghiên cứu hay đột phá mới nhất về NLP hoặc thực hiện các dự án của riêng mình để phát triển các giải pháp tùy chỉnh phù hợp với nhu cầu.
 

 

  • Tổng số giờ: 42 giờ - 56 tiết (5 tuần)
  • Học phí: 5.800.000đ (có chế độ miễn giảm của mỗi khóa, xem chi tiết trong Thời Khóa Biểu)
  • Tổng quan về Pytorch
    • Giới thiệu Pytorch và ứng dụng Pytorch trong Deep Learning.
    • Tensor, các phép toán Tensor và Gradient
    • Khái niệm cơ bản về các mô-đun Autograd, Optimization (tối ưu hóa) và Pytorch
    • Triển khai mạng Neural Network đơn giản trong Pytorch
  • Machine learning và Deep learning with Pytorch
  • Ứng dụng Pytorch giải một số bài toán với Machine Learning và Deep Learning
    • Hiện thực Linear Classification cho bài toán nhận dạng chữ viết tay
    • Hiện thực Neural Network cho bài toán nhận dạng chữ viết tay
  • Sentiment Analysis với Logistic Regression và Naïve Bayes
    • Feature extraction từ văn bản sang numerical vector
    • Xây dựng bộ phân loại nhị phân cho các tweet bằng Logistic Regression
    • Tìm hiểu Định lý Bayes về xác suất có điều kiện
    • Phát triển bộ phân loại tweet Naïve Bayes
  • N-gram Language Model và Continuous Bag-of-Words
    • Phát triển thuật toán auto-complete sử dụng N-gram language model
    • Hiện thực mô hình Word2Vec với Neural Network và Continuous Bag-Of-Words
  • Mạng Neural Network trong Sentiment Analysis
    • Sử dụng các GloVe word embeddings để huấn luyện Neural Network
    • Phát triển bộ phân loại tweet thành các nhóm sentiment (quan điểm) tích cực hoặc tiêu cực
  • Long Short-Term Memory và Named Entity Recognition
    • Tìm hiểu cách LSTM giải quyết vấn đề Vanishing Gradient.
    • Hiểu vai trò của Named Entity Recognition trong trích xuất thông tin cần thiết từ văn bản
    • Xây dựng hệ thống Named Entity Recognition dựa trên LSTM sử dụng dữ liệu Kaggle
  • Transformer Architecture và Language Translation
    • Giới thiệu cấu trúc Transformer
    • So sánh mô hình RNN và Transformer cho sequence data
    • Triển khai mô hình Neural Machine Translation với Attention
    • Dịch câu tiếng Anh sang tiếng Việt bằng mô hình Transformer
  • Giới thiệu về Generative AI và LLM
    • Tìm hiểu Generative AI và cách thức hoạt động của LLM
    • Hiểu sự đa dạng của LLM và các trường hợp sử dụng khác nhau
    • Hiểu cách chọn lựa mô hình, cách kiểm tra và đánh giá hiệu suất
  • Mô hình BERT cho Question-Answering và Text Classification
    • Khám phá mô hình BERT cho các tác vụ trả lời câu hỏi và phân loại văn bản
    • Fine-tune BERT cho các ứng dụng trong các lĩnh vực cụ thể
    • Xây dựng mô hình Sentiment Analysis đa lớp
  • Mô hình GPT và T5 cho Text Generation và các tác vụ NLP nâng cao
    • Tìm hiểu mô hình GPT để khởi tạo văn bản
    • Tìm hiểu mô hình T5 và các chức năng nâng cao cho NLP
    • Ứng dụng mô hình GPT và T5 vào các bài toán thực tế
  • Giới thiệu về mô hình LLaMA
    • Tìm hiểu mô hình LLaMA và cách thức hoạt động
    • Tìm hiểu về mô hình LLaMA 1, LLaMA2 và LLaMA 3
    • Tìm hiểu kỹ thuật LoRA trong huấn luyện mô hình LLaMA
  • Nền tảng Chatbot
    • Tìm hiểu về kiến trúc và nguyên tắc thiết kế chatbot
    • Kỹ thuật Dialogue Management, Natural Language Understanding, và Natural Language Generation
    • Đánh giá hiệu quả hoạt động của các mô hình chatbot và đưa ra các cải tiến
  • Milestone project: Ứng dụng Chatbot
    • Thiết kế và triển khai chatbot sử dụng các kỹ thuật và mô hình NLP tiên tiến
    • Tích hợp chatbot vào giao diện người dùng hoặc nền tảng nhắn tin
    • Đánh giá hiệu suất của chatbot và cải tiến dựa trên phản hồi của người dùng
 
 

Học viên thi đạt kết quả cuối môn học sẽ được cấp chứng nhận "Natural Language Processing with Deep Learning - Xử lý ngôn ngữ tự nhiên với Học sâu" do Trung Tâm Tin Học - Trường ĐH Khoa Học Tự Nhiên cấp.

ai
Trung Tâm Tin Học
ai
Trung Tâm Tin Học
Chào mừng bạn đến với Trung Tâm Tin Học.
Bạn đang cần hỗ trợ thông tin gì ạ? Hãy Chat ngay với chúng tôi nhé.