66b là một mô hình ngôn ngữ lớn có quy mô khoảng 66 tỷ tham số, được thiết kế nhằm cung cấp khả năng hiểu và sinh văn bản tự nhiên ở mức cân bằng giữa hiệu suất và tài nguyên.
66b xuất hiện trong bối cảnh cạnh tranh giữa các mô hình ngôn ngữ lớn. Nó nhắm tới sự cân bằng giữa độ phức tạp và khả năng triển khai trên hệ thống có giới hạn, đồng thời mở rộng khả năng tùy biến cho nhiều ngữ cảnh.
66b sử dụng kiến trúc transformer, với cơ chế attention đa đầu, tối ưu hóa bộ nhớ và tốc độ suy diễn. Nó có thể xử lý nhiều tác vụ ngôn ngữ bằng cách tinh chỉnh trên dữ liệu đa ngôn ngữ và tối ưu hóa cho phần cứng vừa phải.
Quá trình huấn luyện kết hợp dữ liệu đa ngôn ngữ và các kỹ thuật như tiền huấn luyện, tinh chỉnh và các kỹ thuật giảm quá khớp. Các kỹ thuật sparsity và quantization được xem xét để tăng hiệu suất trên nền tảng thông dụng.
66b được ứng dụng trong trả lời tự động, tổng hợp văn bản, hỗ trợ viết mã và trợ giúp giảng dạy. Tuy nhiên vẫn đối mặt với vấn đề kiểm soát chất lượng, an toàn nội dung và nguồn lực tính toán.
Trong tương lai, 66b có thể được mở rộng với các phiên bản nhỏ gọn, tích hợp vào hệ sinh thái AI và hỗ trợ người dùng cuối thông qua các công cụ dễ dùng.