66B là một mô hình ngôn ngữ quy mô lớn với khoảng 66 tỷ tham số, được thiết kế để xử lý ngôn ngữ tự nhiên ở nhiều ngữ cảnh và lĩnh vực. Mô hình tiếp nối các thế hệ trước như 13B và 33B, đồng thời mở ra khả năng sinh văn bản mạch lạc, có tính đồng cảm và hiểu ngữ cảnh phức tạp.
Kiến trúc của 66B dựa trên transformer, với nhiều lớp tự chú ý (attention), các cơ chế ghép nối vị trí và tối ưu hóa tham số để cân bằng hiệu suất và chi phí tính toán.
Mô hình có khoảng 66 tỷ tham số, cho phép biểu diễn ngữ nghĩa và cú pháp phức tạp.
66B được huấn luyện trên tập dữ liệu đa ngôn ngữ, bao gồm văn bản từ web, sách, báo và các nguồn chất lượng cao. Quá trình huấn luyện tập trung vào tối ưu hóa khả năng hiểu ngữ cảnh, dịch và sinh văn bản tự nhiên. Các biện pháp an toàn và kiểm soát sai lệch được áp dụng để giảm thông tin độc hại và thiên vị.
Nó có thể được dùng cho tổng hợp nội dung, trả lời câu hỏi, dịch ngôn ngữ, hỗ trợ viết sáng tạo, hỗ trợ lập trình, và trợ giúp trong giáo dục. Tuy nhiên, 66B đối mặt với các thách thức về độ tin cậy, minh bạch, công bằng và bảo mật dữ liệu, cũng như chi phí vận hành và nhu cầu tối ưu hóa hiệu suất trên phần cứng đa dạng.
Trong tương lai, các mô hình như 66B có thể được mở rộng bằng cách kết hợp dữ liệu đa modal (hình ảnh, âm thanh), cải thiện khả năng tư duy logic và quản trị rủi ro. Những nghiên cứu tiếp tục hướng tới sử dụng mô hình ngôn ngữ quy mô lớn trong doanh nghiệp, giáo dục và cộng đồng, đồng thời đảm bảo an toàn và có trách nhiệm xã hội.