66B là một mô hình ngôn ngữ lớn với 66 tỷ tham số, được thiết kế để xử lý ngôn ngữ tự nhiên, sinh văn bản, và hỗ trợ nhiều tác vụ khác nhau.
Kiến trúc dựa trên mạng transformer cho phép mô hình học được mối quan hệ phụ thuộc dài hạn trong văn bản, đồng thời tối ưu hiệu suất với kỹ thuật tối ưu hoá và định dạng dữ liệu phù hợp.
Quá trình huấn luyện bao gồm dữ liệu đa dạng từ văn bản trên Internet và các nguồn cấp dữ liệu được kiểm duyệt, nhằm nâng cao khả năng hiểu và sinh nội dung có tính nhất quán.
66B có thể được dùng để tóm tắt văn bản, hỗ trợ viết, trả lời câu hỏi và dịch ngôn ngữ. Tuy nhiên, người dùng cần đánh giá rủi ro về độ chính xác, thiên vị và thông tin sai lệch.
Trong tương lai, các mô hình lớn như 66B dự kiến sẽ có hiệu suất cao hơn với chi phí hiệu quả hơn, đồng thời cần tăng cường kiểm soát đạo đức và minh bạch dữ liệu.
