66B là một loại mô hình ngôn ngữ lớn có khoảng 66 tỷ tham số, được thiết kế để hiểu và sinh ngôn ngữ tự nhiên với độ phức tạp cao. Các mô hình như vậy thường được huấn luyện trên tập dữ liệu đa dạng và có khả năng tổng hợp văn bản, trả lời câu hỏi, tóm tắt và tham gia vào các cuộc hội thoại.
Với 66B tham số, mô hình áp dụng kiến trúc Transformer gồm nhiều lớp tự chú ý (self-attention) và mạng feed-forward. Kích thước tham số ảnh hưởng tới khả năng nắm cú pháp, ngữ cảnh và sự sáng tạo của văn bản sinh ra.
66B có thể được dùng trong trả lời tự động, hỗ trợ viết nội dung, dịch máy, phân tích cảm xúc và trợ lý ảo. Tuy nhiên, hiệu suất còn phụ thuộc chất lượng dữ liệu huấn luyện, giảm thiểu thiên lệch và biện pháp an toàn nội dung.