Theo bài đăng trên blog HumanLoop của nền tảng phát triển AI, Giám đốc điều hành OpenAI Sam Altman cho biết trong một cuộc hội thảo kín rằng OpenAI hiện đang bị hạn chế nghiêm trọng bởi GPU, khiến họ phải hoãn nhiều kế hoạch ngắn hạn. và tốc độ là do thiếu tài nguyên GPU. Sam Altman cũng chia sẻ lộ trình gần đây của OpenAI: Chi phí API GPT-4 sẽ giảm vào năm 2023; cửa sổ ngữ cảnh ChatGPT dài hơn (tối đa 1 triệu mã thông báo) và sẽ có phiên bản API ghi nhớ lịch sử hội thoại trong tương lai; GPT-4's các khả năng đa phương thức sẽ không được cung cấp công khai cho đến năm 2024 và phiên bản trực quan của GPT-4 không thể được mở rộng cho mọi người cho đến khi có nhiều tài nguyên GPU hơn. Ngoài ra, OpenAI đang xem xét mã nguồn mở GPT-3, một phần lý do họ chưa mã nguồn mở là vì họ cảm thấy rằng không có nhiều người và công ty có khả năng quản lý đúng mô hình ngôn ngữ lớn như vậy. Nhiều bài báo gần đây cho rằng "kỷ nguyên của những mô hình AI khổng lồ đã qua" là không đúng. Dữ liệu nội bộ của OpenAI cho thấy quy luật tỷ lệ thuận giữa quy mô và hiệu suất vẫn đúng và quy mô mô hình của OpenAI có thể tăng gấp đôi, gấp ba mỗi năm (nhiều thông tin cho thấy Tỷ lệ tham số GPT-4 là 1 nghìn tỷ), thay vì tăng theo nhiều bậc độ lớn.