Lộ trình tốt nhất để học Generative AI vào năm 2024

Điều kiện tiên quyết

• Hiểu biết tốt về các khái niệm Xác suất và Thống kê.
  • Xác suất: Xác suất, Xác suất có điều kiện, Định lý Bayes, v.v.
  • Thống kê: Phân phối chuẩn, Định lý giới hạn trung tâm, v.v.
• Hiểu biết tốt về các khái niệm Đại số tuyến tính như vectơ, ma trận và hệ phương trình tuyến tính.
• Kiến thức tốt về các khái niệm Giải tích như độ dốc, đạo hàm và đạo hàm riêng.
• Kinh nghiệm thực tế với các ngôn ngữ lập trình như Python / R .

3.1 Học máy

1. Thoải mái với các thuật toán học có giám sát và không giám sát như hồi quy tuyến tính , hồi quy logistic , rừng ngẫu nhiên , phương tiện k , v.v.
2. Biết xây dựng mô hình machine learning trên tập dữ liệu dạng bảng.

3.2 Học sâu

1. Hiểu biết tốt về các kiến ​​trúc học sâu như Perceptron nhiều lớp, Mạng thần kinh tái phát (RNN) , mô hình bộ nhớ ngắn hạn dài (LSTM) , Đơn vị tái phát có kiểm soát (GRU) và Mạng thần kinh chuyển đổi (CNN) .
2. Có kinh nghiệm thực tế với ít nhất một trong các framework deep learning như Keras, Tensorflow, Pytorch hoặc FastAI.
3. Có thể đào tạo các mô hình học sâu bằng cách sử dụng bất kỳ khung học sâu nào được đề cập ở trên. Ví dụ:
   • Huấn luyện Perceptron nhiều lớp trên bộ dữ liệu dạng bảng.
   • Xây dựng RNN và CNN cho dữ liệu phi cấu trúc, tức là văn bản và hình ảnh.
4. Kiến thức về các mô hình được đào tạo trước cho dữ liệu hình ảnh và các loại khác nhau của chúng. Ví dụ: biết cách điều chỉnh chúng trong các nhiệm vụ tiếp theo.
5. Tìm hiểu về các mô hình ngôn ngữ và xây dựng chúng bằng LSTM/GRU.
6. Đạt được kiến ​​thức về Cơ chế chú ý và biết những hạn chế của việc sử dụng LSTM để làm việc với các chuỗi dài hơn.
7. Hiểu kiến ​​trúc của Bộ mã hóa tự động và GAN, đồng thời có thể huấn luyện các mô hình này trên bộ dữ liệu của chúng tôi.

3.3 Mô hình sáng tạo cho NLP và Thị giác máy tính

Bây giờ, bạn có thể tùy chỉnh lộ trình học tập tùy theo sở thích của mình. Nếu bạn muốn tìm hiểu và xây dựng các mô hình Generative như ChatGPT thì có thể lựa chọn các mô hình Generative cho NLP. Nếu bạn quan tâm đến việc xây dựng các mô hình như Midjourney và DALL-E 2, bạn có thể chọn các mô hình tổng quát cho thị giác máy tính.

3.3.1 Mô hình sáng tạo cho NLP

Nếu bạn chọn NLP làm lĩnh vực trọng tâm của mình, lộ trình học tập sau đây sẽ hướng dẫn bạn thành thạo các Mô hình sáng tạo cho NLP.

1. Khám phá sức mạnh của Mô hình ngôn ngữ lớn (LLM) , mô hình nền tảng của Xử lý ngôn ngữ tự nhiên (NLP).
2. Tìm hiểu về các LLM phổ biến như Transformers, BERT, GPT 3.5, PaLM 2, v.v.
3. Hiểu cách sử dụng Mô hình ngôn ngữ lớn (LLM) cho các tác vụ tiếp theo: Tinh chỉnh và học theo ngữ cảnh, tức là học không cần bắn, học một lần và học ít lần.
4. Khám phá các phương pháp thực hành tốt nhất để đào tạo LLM, bao gồm các thách thức, luật mở rộng quy mô và các cơ chế đào tạo hiệu quả như kiến ​​trúc song song và phân tán.
5. Tìm hiểu cách đào tạo trước LLM trên dữ liệu theo miền cụ thể của bạn.
6. Hiểu và triển khai các kỹ thuật khác nhau để tinh chỉnh LLM cho các nhiệm vụ tiếp theo.
7. Tìm hiểu các kỹ thuật tối ưu hóa khác nhau để tăng tốc quá trình tinh chỉnh mô hình như Bộ điều hợp, LoRA, QLoRA, v.v.
8. Biết LLMops: Bạn triển khai LLM trong sản xuất như thế nào?
9. Khám phá các mô hình tiên tiến như ChatGPT và BARD, đồng thời hiểu quy trình đào tạo của họ, bao gồm các khái niệm như Học tăng cường từ phản hồi của con người (RLHF), Tinh chỉnh có giám sát và Kỹ thuật nhanh chóng.
10. Biết cách tinh chỉnh ChatGPT trên tập dữ liệu của bạn.
11. Thực hành với các khung LLM như LangChain, AutoGPT, Vector DB, v.v.

3.3.2 Mô hình sáng tạo cho thị giác máy tính

Nếu bạn chọn đi sâu vào thị giác máy tính, lộ trình học tập này sẽ hướng dẫn bạn nắm vững các mô hình tổng quát cho thị giác máy tính.

1. Tìm hiểu về các mô hình nền tảng trong thị giác máy tính: mô hình khuếch tán và các loại khác nhau của chúng.
2. Hiểu cách tinh chỉnh các mô hình khuếch tán cho các trường hợp sử dụng tiếp theo.
3. Tìm hiểu về các mô hình khuếch tán ổn định, bao gồm kiến ​​trúc mô hình và quy trình đào tạo.
4. Tìm hiểu cách tinh chỉnh các mô hình khuếch tán ổn định trên tập dữ liệu của bạn.
5. Khám phá Mid Journey, DALLE 2 và bất kỳ mô hình tương tự nào khác.

4. Nhà nghiên cứu

Giai đoạn cuối cùng dành cho các nhà nghiên cứu. Để xây dựng sự nghiệp của mình trong nghiên cứu AI sáng tạo, bạn cần hiểu cách xây dựng các mô hình sáng tạo này ngay từ đầu. Bạn phải thành thạo các khái niệm và kỹ thuật khác nhau để xây dựng các mô hình tổng quát này.

Để trở thành nhà nghiên cứu về NLP, bạn cần:

1. Tìm hiểu và triển khai các mô hình chú ý, chú ý Giá trị truy vấn khóa (KQV), chuẩn hóa lớp, mã hóa vị trí, v.v.
2. Có được trải nghiệm thực tế khi xây dựng kiến ​​trúc GPT của riêng bạn từ đầu.
3. Hiểu hoạt động của các thuật toán học tăng cường từ cơ bản đến nâng cao.
4. Tìm hiểu về Tối ưu hóa chính sách gần nhất (PPO).
5. Triển khai RLHF từ đầu.
6. Xây dựng ChatGPT từ đầu
7. Luôn cập nhật các xu hướng và nghiên cứu hiện tại về Generative AI cho NLP

Để tiếp tục nghiên cứu về Thị giác máy tính:

1. Xây dựng mô hình khuếch tán từ đầu.
2. Tìm hiểu cách triển khai khuếch tán ổn định ngay từ đầu.
3. Luôn cập nhật các xu hướng và nghiên cứu hiện tại về Generative AI cho Thị giác Máy tính.

Phần kết luận

Khi chúng tôi kết thúc lộ trình làm chủ Generative AI vào năm 2024, hành trình này đã soi sáng những con đường đa dạng dành cho những người đam mê, nhà nghiên cứu và chuyên gia mong muốn đi sâu vào lĩnh vực sáng tạo và trí thông minh. Các nhân vật Người dùng, Siêu người dùng, Nhà phát triển và Nhà nghiên cứu đóng vai trò là ánh sáng dẫn đường cho cuộc thám hiểm đầy biến đổi này, đưa ra các lộ trình phù hợp cho nhiều cấp độ chuyên môn và nguyện vọng khác nhau. Lộ trình toàn diện dành cho Generative AI này vạch ra một lộ trình phù hợp với bối cảnh phát triển của trí tuệ nhân tạo, cung cấp hướng dẫn có cấu trúc cho những người điều hướng sự giao thoa thú vị giữa công nghệ và sáng tạo.

Hãy nhớ rằng, lộ trình này không chỉ là một con đường tuyến tính; đó là một kim chỉ nam mang lại sự linh hoạt, khả năng thích ứng và không gian để khám phá. Nắm bắt những thách thức, tham gia học hỏi liên tục và theo kịp các xu hướng phát triển trong Generative AI. Khi năm 2024 mở ra, lộ trình này đóng vai trò như một chiếc la bàn, hướng dẫn bạn nắm vững nghệ thuật và khoa học của Generative AI, mở ra những triển vọng mới về sự sáng tạo và đổi mới trong năm tới.