Cloudflare Cho Phép Các Trang Web Tính Phí Các Bot AI Với ‘Thanh Toán Theo Lượt Crawl’

Cloudflare đang mang đến cho các nhà xuất bản một lựa chọn mới: thu phí từ các bot AI khi chúng tìm kiếm thông tin trên trang web của họ thông qua hệ thống thanh toán HTTP 402 đã được tái sử dụng.

Thông qua hệ thống mới “Pay Per Crawl” của mình, chủ sở hữu website có thể tính phí cho các bot AI để truy cập nội dung của họ. Hệ thống cung cấp cho các nhà xuất bản một phương pháp thay thế so với chính sách hai lựa chọn hiện tại của họ, cho phép AI gom dữ liệu hoặc hoàn toàn chặn quyền truy cập của AI.

“Nhiều nhà xuất bản, người tạo nội dung và chủ sở hữu trang web hiện nay cảm thấy như họ đang đứng trước một lựa chọn nhị phân – hoặc để cửa chính rộng mở cho AI tiêu thụ mọi thứ họ tạo ra, hoặc tự tạo ra khu vườn riêng biệt của mình,” Cloudflare nói. “Nhưng liệu có một cách khác không?”

Với Pay Per Crawl, người tạo nội dung giờ đây có thể quyết định ai được vào và với giá cả như thế nào. Họ có thể cho một số máy tìm kiếm AI vào miễn phí, chặn hoàn toàn những máy khác, hoặc tính phí cho quyền truy cập. “Chúng tôi muốn người tạo nội dung kiểm soát ai được truy cập công trình của họ,” Cloudflare nói. “Người sáng tạo nên là người ngồi ở vị trí lái xe.”

Quyết định này xuất hiện trong bối cảnh phản đối ngày càng tăng đối với các công ty AI sử dụng nội dung web mà không có sự đồng ý. Ví dụ, YouTube đã bị chỉ trích vì cho phép Google trích xuất video mà không thông báo cho người tạo. Thêm vào đó, tính năng AI Overviews của Google đã làm giảm lưu lượng truy cập đến các trang tin tức như HuffPost và The Washington Post hơn 50%.

“Google chỉ đơn giản lấy nội dung mà không đem lại lợi ích gì – đó là định nghĩa của việc ăn cắp,” Danielle Coffey, chủ tịch của News/Media Alliance phát biểu.

Công cụ này hoạt động dựa trên một tính năng web cũ: mã phản hồi HTTP 402, có nghĩa là “Yêu cầu thanh toán”. Nếu một bot AI cố gắng truy cập một trang, máy chủ bây giờ có thể trả lời bằng một 402 và bao gồm một nhãn giá. Nếu bot đồng ý trả tiền, máy chủ sẽ cung cấp nội dung.

Cloudflare cung cấp cơ sở hạ tầng kỹ thuật và xử lý các khoản thanh toán. Nhà xuất bản có thể đặt một mức giá cố định cho mỗi yêu cầu rà soát và thậm chí áp dụng các quy tắc khác nhau cho các bot khác nhau. Ngay cả khi một bot không được đăng ký với Cloudflare, nó vẫn có thể bị “tính phí” – về cơ bản là chặn quyền truy cập, nhưng để lại không gian cho các thỏa thuận trong tương lai.

Hệ thống này có thể dẫn đến việc cấp phép linh hoạt hơn và giá cả biến động trong tương lai. Như Cloudflare đã nói: “Bằng cách cung cấp cho người sáng tạo một cơ chế mạnh mẽ, tự động để định giá và kiểm soát tài sản số của họ, chúng tôi trao quyền cho họ tiếp tục sáng tạo nội dung phong phú, đa dạng làm cho Internet trở nên vô giá.”