Cerebras WSE-3: kiến trúc wafer-scale trong hệ CS-3

Ý tưởng và giải pháp

WSE-3 là bộ xử lý ở quy mô wafer trong hệ CS-3 của Cerebras, đưa nhiều lõi và bộ nhớ lên cùng một wafer để giảm việc di chuyển dữ liệu qua nhiều chip. Trong kiến trúc cụm được tài liệu mô tả, MemoryX cung cấp/stream trọng số, SwarmX phân phối trọng số và gom gradient, máy chủ CPU chuẩn bị dữ liệu và điều phối. Đầu ra là checkpoint hoặc kết quả đánh giá của công việc AI được hỗ trợ.

Đây là một nền hạ tầng tích hợp, không phải chip để doanh nghiệp nhỏ tự hàn lên bo. Phải phân biệt WSE-3/CS-3 gốc với WSE-3 Turbo/CS-4 trên trang sản phẩm hiện tại. Không chuyển các so sánh hiệu năng giữa thế hệ sang một workload mà chưa kiểm đúng model, dữ liệu và cấu hình.

Thực thể được phân tích

Cerebras WSE-3

Công bố hoặc chương trình

Blog giới thiệu CS-3 gốc

Ngày công bố có nguồn

2024-03-12

Dạng giải pháp

Phần cứng

Người dùng và người trả tiền

Người dùng là đội ML, hạ tầng và nghiên cứu mô hình lớn; viện hoặc nhà cung cấp hạ tầng có thể trả tiền hệ thống/quyền truy cập. Giả thuyết Việt Nam chỉ phù hợp khi có workload, dữ liệu và ngân sách đủ rõ để so với GPU/cloud. Người mua cần đồng thời kỹ sư ML, vận hành trung tâm dữ liệu và người phụ trách dữ liệu; không chọn hệ chỉ vì kích thước chip.

Cơ chế công nghệ

CPU chuẩn bị dữ liệu, MemoryX/SwarmX phối trọng số và gradient với CS-3 dùng WSE-3.

1. Đầu vào

   Mô hình, dữ liệu huấn luyện và cấu hình công việc hỗ trợ

2. Bước 1

   CPU chuẩn bị dữ liệu và lịch công việc

3. Bước 2

   MemoryX/SwarmX phối trọng số với CS-3

4. Bước 3

   WSE-3 tính và hệ lưu checkpoint/đánh giá

5. Đầu ra

   Checkpoint hoặc kết quả mô hình cùng nhật ký tài nguyên

Giai đoạn và cách tiếp cận

Bán hệ thống hoặc quyền truy cập theo hợp đồng; giá và hạ tầng hỗ trợ chưa xác minh cho Việt Nam.

Ứng dụng cho doanh nghiệp Việt Nam

Các tình huống dưới đây là đề xuất ứng dụng cần thử tại Việt Nam, chưa phải kết quả triển khai hoặc cam kết của nhà cung cấp.

Giả thuyết đánh giá workload model tiếng Việt hoặc dịch vụ tính toán có nhu cầu xác nhận.

Lộ trình thử 30–60–90 ngày

Lộ trình tham khảo để thiết kế một phép thử có giới hạn. Thời gian cấp quyền, mua sắm, pháp lý hoặc thử nghiệm chuyên ngành có thể dài hơn; chỉ chuyển bước khi đủ bằng chứng.

Bài toán kinh tế

Khung tính dưới đây là phân tích biên tập cho phép thử tại Việt Nam. Giá, chi phí và hiệu quả chưa có số đo không được xem là bằng không.

Chi phí phần cứng phải gồm hệ CS-3, thành phần cụm, hạ tầng và hỗ trợ; giá WSE-3 đơn lẻ không đại diện dự án và chưa được xác minh.

Nếu dùng quyền truy cập, cần giá công việc, lưu trữ, hỗ trợ và chuyển dữ liệu. Không coi đường liên hệ cloud trong bài cũ là giá hiện hành.

Đơn vị giá trị là checkpoint/model đạt chất lượng hoặc công việc khách nghiệm thu. So tổng chi tới chất lượng đó, không chỉ token/giây hay số lõi.

Kịch bản phải có mức sử dụng thấp, thay đổi model và công chuyển nền tảng. Điều khoản mua, truy cập, điện/làm mát và xuất dữ liệu đều cần giá thật; không tự dự đoán doanh thu.

Tích hợp và dữ liệu

Tài liệu mô tả CPU preprocessing, MemoryX, SwarmX và máy quản lý; người dùng gửi công việc từ usernode. Thiết kế Việt Nam phải kiểm phiên bản phần mềm, model hỗ trợ và đường checkpoint, không gộp với compiler GPU hiện hữu. Dữ liệu training cần phân quyền, mã hóa theo yêu cầu và vị trí lưu xác nhận. Nếu đánh giá qua dịch vụ ngoài, phải xác nhận chính backend và mức quyền; một giao diện tương thích không chứng minh toàn phần cứng hoặc tính riêng tư.

Khi nào không phù hợp

Không phù hợp với công việc nhỏ, nhu cầu không ổn định hoặc chưa có đội ML/vận hành. Dừng nếu chi phí chuyển mã lớn hơn lợi ích, không giữ quyền dữ liệu/checkpoint hoặc không có hạ tầng hỗ trợ. Không lấy con số tối đa của cụm làm năng lực một máy, hay dùng WSE-3 Turbo để mô tả WSE-3 gốc.

Bằng chứng và điều cần kiểm

Đã đọc blog CS-3 ngày 12/03/2024 và docs cụm đúng WSE-3. Trang chip hiện nêu Turbo/CS-4 nên chỉ dùng để nhận diện thay đổi, không trộn thông số. Các so sánh của hãng chưa là kiểm độc lập tác vụ tại Việt Nam. Chưa có báo giá, quyền truy cập hoặc dự án địa phương. Kịch bản và lịch thử là đề xuất có điều kiện.

• Không gộp WSE-3 với WSE-3 Turbo.
• Mô hình và mã cần kiểm tương thích.
• Hệ tích hợp cần vận hành, dữ liệu và mức sử dụng phù hợp.

Câu hỏi nghiên cứu tiếp theo

Những câu hỏi dành riêng cho Cerebras WSE-3 cần tiếp tục đối chiếu tài liệu, trao đổi với bên phát triển hoặc thiết kế thử nghiệm.

1. Mô hình nào thực được phần mềm hỗ trợ?
2. Công chuyển mã và biên dịch là bao nhiêu?
3. Chất lượng tại cùng ngân sách so GPU ra sao?
4. Checkpoint có thể xuất và tái lập ở đâu?
5. Mức sử dụng nào đủ bù hạ tầng/hỗ trợ?
6. Hệ thống dịch vụ thử có đúng CS-3 không?