66B là một mô hình ngôn ngữ quy mô lớn, với khoảng 66 tỷ tham số, được thiết kế để hiểu và sinh văn bản tự nhiên. Mô hình này có thể trả lời câu hỏi, viết văn, tóm tắt và hỗ trợ nhiều tác vụ ngôn ngữ khác.
Về kiến trúc, 66B dựa trên nền tảng transformer với nhiều lớp self-attention và feed-forward, tối ưu cho dữ liệu lớn và tối ưu hóa cho hiệu suất inference và huấn luyện.
Nguồn dữ liệu để huấn luyện 66B bao gồm đa dạng văn bản từ web mở và dữ liệu công khai được làm sạch. Quá trình huấn luyện tập trung vào tối ưu hóa log-likelihood và cân bằng giữa khả năng hiểu và sinh văn bản.
So với các mô hình có kích thước tương tự, 66B cho kết quả tốt trên nhiều bài toán NLP như trả lời câu hỏi, tóm tắt, dịch máy và trợ lý ảo. 66B có thể chạy trên hạ tầng đám mây hoặc máy chủ riêng, với yêu cầu GPU hợp lý.
Khi so sánh với các mô hình lớn khác, 66B nổi bật ở sự cân bằng giữa hiệu năng và chi phí, tuy nhiên vẫn đối mặt với thách thức về thiên lệch dữ liệu, giải thích và tính an toàn. Đánh giá phụ thuộc vào ngữ cảnh và dữ liệu được dùng.
