Sự kết thúc của kỷ nguyên mô hình AI khổng lồ: CEO OpenAI cảnh báo kỷ nguyên mở rộng quy mô đã kết thúc

Sự kết thúc của kỷ nguyên của các mô hình AI khổng lồ

Theo Altman, chiến lược thành công của OpenAI trong việc mở rộng các thuật toán học máy hiện có lên đến kích thước không thể tưởng tượng được trước đây đã đạt đến giới hạn. Ông tin rằng những tiến bộ hơn nữa trong AI sẽ đến từ việc tìm ra những cách mới để cải thiện thuật toán thay vì làm cho chúng trở nên nổi bật hơn. Altman cho rằng thời của “những mô hình khổng lồ, khổng lồ” đã qua. Cách tiếp cận này, trong đó các mô hình ngày càng trở nên đồ sộ hơn và dữ liệu đầu vào trở nên phong phú hơn, đã giúp thúc đẩy sự tăng trưởng nhanh chóng của AI trong thập kỷ qua. Ý kiến ​​của Altman gợi ý rằng các nhà nghiên cứu có thể cần phải tìm kiếm những hướng đi mới để đạt được những tiến bộ trong tương lai.

Chi phí của việc mở rộng quy mô mô hình AI

Một lý do chính đằng sau việc tránh xa “mở rộng quy mô là tất cả những gì bạn cần” là chi phí đào tạo và chạy các quy trình đồ họa mạnh mẽ cần thiết cho các mô hình ngôn ngữ lớn (LLM) cao. Altman lưu ý rằng quá trình đào tạo ChatGPT cần hơn 100 triệu USD và được cho là có liên quan đến hơn 10.000 GPU. Tuy nhiên, GPU không hề rẻ. GPU H100 mới nhất của Nvidia, được thiết kế đặc biệt cho AI và điện toán hiệu năng cao (HPC), có thể có giá lên tới 30.603 USD mỗi chiếc.

Khi chi phí phát triển và vận hành các mô hình AI lớn tiếp tục tăng, tính kinh tế của quy mô đã đi ngược lại với cách tiếp cận “càng lớn càng tốt”. Altman tin rằng sự tiến bộ sẽ đến từ việc cải thiện kiến ​​trúc mô hình, nâng cao hiệu quả dữ liệu và nâng cao các kỹ thuật thuật toán ngoài việc chia tỷ lệ sao chép-dán. Mặc dù đây là một sự thay đổi đáng kể nhưng các nhà nghiên cứu như Nick Frosst, đồng sáng lập tại Cohere, đồng ý rằng cần phải có sự tiến bộ vượt ra ngoài phạm vi mở rộng. Frosst cho biết các thiết kế, kiến ​​trúc mô hình AI mới và việc điều chỉnh sâu hơn dựa trên phản hồi của con người là những hướng đi đầy hứa hẹn mà nhiều nhà nghiên cứu đang khám phá.

Vụ mua GPU mới nhất của Elon Musk

Bất chấp sự thay đổi từ việc mở rộng quy mô các mô hình AI, việc truy cập vào GPU vẫn rất quan trọng để đào tạo và chạy các mô hình AI lớn. Một cuộc phỏng vấn gần đây trên Twitter Spaces với Elon Musk đã tiết lộ rằng các công ty của ông, Tesla và Twitter, đang mua hàng nghìn GPU để phát triển một công ty AI mới. Musk xác nhận rằng ông đang mua GPU nhưng lưu ý rằng tính khả dụng có thể là một vấn đề. Ngay cả đối với các nhà cung cấp đám mây lớn như Microsoft, Google và Amazon, có thể mất hàng tháng để dành quyền truy cập vào GPU.

Lời nói của chúng tôi

Trong khi chiến lược làm cho các mô hình trở nên quan trọng hơn của OpenAI đã thành công, CEO Sam Altman tin rằng những tiến bộ hơn nữa trong AI sẽ đến từ việc tìm ra những cách mới để cải thiện thuật toán ngoài việc mở rộng quy mô. Các nhà nghiên cứu và công ty phát triển mô hình AI sẽ cần khám phá những con đường mới để cải tiến trong lĩnh vực này. Bất chấp sự thay đổi từ việc mở rộng quy mô, quyền truy cập vào GPU vẫn rất quan trọng để phát triển và chạy các mô hình AI. Tuy nhiên, chi phí cao liên quan đến GPU có thể hạn chế quyền truy cập vào tài nguyên thiết yếu này, buộc các nhà nghiên cứu phải tìm kiếm các giải pháp thay thế hợp lý hơn.