Gần đây, thông tin từ Thung lũng Silicon đang làm dấy lên những nghi vấn xoay quanh khả năng cải thiện hiệu suất của các mô hình trí tuệ nhân tạo (AI). Theo báo cáo từ The Information, OpenAI có thể đang gặp khó khăn trong việc nâng cao hiệu suất của mô hình AI mới nhất mang tên “Orion”.
Mặc dù được kỳ vọng sẽ vượt qua GPT-4, Orion lại chỉ đạt được các cải tiến nhỏ so với các phiên bản trước, đặc biệt là trong các tác vụ mã hóa. Một số nhân viên thử nghiệm Orion cho rằng khoảng cách cải thiện giữa GPT-4 và Orion không ấn tượng như khi so sánh từ GPT-3 lên GPT-4.
Hiện tượng chững lại này đã khơi mào cuộc thảo luận về “quy luật mở rộng” — giả thuyết cho rằng mô hình AI sẽ tiếp tục thông minh hơn khi tăng quy mô và lượng dữ liệu. Sam Altman, CEO của OpenAI, từng nhấn mạnh rằng việc mở rộng quy mô là chìa khóa trong phát triển AI.
Tuy nhiên, với những khó khăn hiện tại, ngay cả các kỹ sư của OpenAI cũng bắt đầu đặt dấu hỏi về tính khả thi của quy luật này, khi gặp phải “bức tường hiệu suất” mà AI có thể khó vượt qua.
Quy luật mở rộng đang đến giới hạn?
Hiệu suất của các mô hình AI phụ thuộc rất nhiều vào dữ liệu chất lượng cao và sức mạnh tính toán. Tuy nhiên, cả hai yếu tố này đều đang gặp phải những giới hạn nhất định. Kho dữ liệu từ văn bản, video và các nghiên cứu hiện có đang dần khan hiếm.
Các công ty đang phải tìm kiếm giải pháp thay thế như dữ liệu tổng hợp do AI tạo ra, nhưng đây có thể không phải là cách dài hạn. Theo dự đoán của công ty nghiên cứu Epoch AI, kho dữ liệu văn bản khả dụng sẽ cạn kiệt vào năm 2028, đẩy ngành AI vào một thử thách lớn.
Giáo sư Ion Stoica từ Databricks cũng cảnh báo rằng AI có thể đã chạm đến giới hạn hiệu suất trong các tác vụ kiến thức chung. Ông cho rằng dữ liệu thực tế vẫn có giá trị hơn dữ liệu tổng hợp, đặc biệt là khi AI cần nâng cao khả năng suy luận.
Đồng thời, CEO Sam Altman của OpenAI đã thừa nhận rằng công ty đang đối mặt với vấn đề tài nguyên tính toán, dẫn đến các quyết định phân bổ khó khăn.
Hiệu suất giảm dần – Lợi nhuận giảm dần?
Gary Marcus, giáo sư tại Đại học New York, cho rằng ngành AI có thể đang bước vào giai đoạn “lợi nhuận giảm dần.”
Marcus nhận xét rằng sau những đột phá lớn trong những năm qua, hiệu suất của các mô hình mới chỉ tăng nhẹ thay vì có những bước tiến đáng kể. Ông ví tình trạng này như là sự hội tụ về hiệu suất giữa các mô hình AI thay vì tăng trưởng vượt bậc như trước.
Ilya Sutskever, đồng sáng lập OpenAI, cũng cho rằng lợi ích từ việc mở rộng quy mô đang giảm dần. Theo ông, thay vì mở rộng vô tội vạ, cần chú trọng vào việc “mở rộng quy mô hợp lý” để tối ưu hóa hiệu suất mà không đối diện với các giới hạn về tài nguyên và tính toán.
Orion còn cơ hội để cải thiện?
Mặc dù gặp nhiều thách thức, Orion vẫn chưa hoàn tất quá trình đào tạo. Điều này có nghĩa là OpenAI vẫn có thể thực hiện các cải tiến sau đào tạo để nâng cao hiệu suất.
Tuy nhiên, sự chậm lại trong cải tiến giữa các phiên bản cho thấy rằng trong tương lai, những đột phá lớn của AI có thể sẽ khó đạt được, khác xa với kỳ vọng ban đầu về tốc độ phát triển liên tục.
Orion vẫn mang đến hy vọng về một sự đổi mới, nhưng những giới hạn hiện tại là dấu hiệu cho thấy ngành công nghệ AI có thể cần tìm hướng đi khác, thay vì chỉ dựa vào việc mở rộng quy mô.
Nguồn: eKnow Solutions
