Anthropic đã công bố tính năng Prompt Caching with Claude mới giúp tăng cường khả năng của Claude cho các tác vụ lặp lại với lượng lớn thông tin ngữ cảnh chi tiết. Tính năng mới giúp Claude nhanh hơn, rẻ hơn và mạnh hơn, hiện có trong Beta thông qua API Anthropic.
Bộ nhớ đệm nhắc nhở
Tính năng mới này cung cấp sự thúc đẩy mạnh mẽ cho người dùng sử dụng liên tục các hướng dẫn rất chi tiết sử dụng các phản hồi mẫu và chứa một lượng lớn thông tin cơ bản trong lời nhắc, cho phép Claude sử dụng lại dữ liệu với bộ nhớ đệm. Điều này cải thiện tính nhất quán của đầu ra, tăng tốc độ phản hồi của Claude lên tới 50% (độ trễ thấp hơn) và cũng giúp tiết kiệm tới 90% chi phí sử dụng.
Prompt Caching với Claude đặc biệt hữu ích cho các dự án phức tạp dựa trên cùng một dữ liệu và hữu ích cho các doanh nghiệp ở mọi quy mô, không chỉ các tổ chức cấp doanh nghiệp. Tính năng này có sẵn trong bản Beta công khai thông qua API Anthropic để sử dụng với Claude 3.5 Sonnet và Claude 3 Haiku.
Thông báo liệt kê những cách sau đây mà Prompt Caching cải thiện hiệu suất:
- “Các tác nhân đàm thoại: Giảm chi phí và độ trễ cho các cuộc hội thoại kéo dài, đặc biệt là các cuộc hội thoại có hướng dẫn dài hoặc tài liệu được tải lên.
- Xử lý tài liệu lớn: Kết hợp toàn bộ tài liệu dài vào lời nhắc của bạn mà không làm tăng độ trễ phản hồi.
- Bộ hướng dẫn chi tiết: Chia sẻ danh sách hướng dẫn, quy trình và ví dụ chi tiết để tinh chỉnh phản hồi của Claude mà không phải chịu thêm chi phí.
- Trợ lý mã hóa: Cải thiện tính năng tự động hoàn thành và Hỏi & Đáp về cơ sở mã bằng cách lưu phiên bản tóm tắt của cơ sở mã trong lời nhắc.
- Sử dụng công cụ Agentic: Nâng cao hiệu suất cho các tình huống liên quan đến nhiều lệnh gọi công cụ và thay đổi mã lặp đi lặp lại, trong đó mỗi bước thường yêu cầu một lệnh gọi API mới.”
Để biết thêm thông tin về Anthropic API, vui lòng truy cập tại đây:
Xây dựng với Claude
Khám phá các mẫu mới nhất – Giá cả
Hình ảnh nổi bật của Shutterstock/gguy
Nguồn: Searchenginejournal
