Spotify xoá cả nền tảng MCP gateway mà không ai nhận ra

Tóm tắt

Short dọc 1 phút tóm tắt talk "Spotify Deleted Its AI Platform and Nobody Noticed" của Yannick và Reinout (Spotify) tại Agentic AI Foundation. Câu chuyện: một MCP gateway viết trong một cuối tuần, lớn lên thành hạ tầng cho cả công ty, rồi bị thay ruột bằng Envoy mã nguồn mở mà người dùng không hề hay biết.

Quy mô. Hôm trước buổi talk, 163.000 tool call đi qua một gateway duy nhất (0:32). Khoảng 150 MCP server nội bộ và bên ngoài (1:00). Từ khoảng 50.000 tool call mỗi tháng vào tháng 12 năm ngoái lên khoảng 4 triệu mỗi tháng (4:41).

Xây trên cái đã có. Spotify có hàng nghìn gRPC service, nên gateway đầu tiên chuyển request MCP thành gRPC. Engineer viết MCP server theo cách họ đã quen, và chỉ vài ngày sau bản đầu tiên đã có 10 đến 15 backend gRPC (2:51–4:15).

Code tự viết bị mục dần. Gateway gom code của nhiều team, ai cũng muốn gắn thêm tính năng. Khi Envoy có MCP filter gốc, họ chuyển sang Envoy cùng một control plane mã nguồn mở. Phần chuyển gRPC tách ra thành thư viện, nên với bên ngoài nó vẫn là một MCP server bình thường (6:27–8:15).

Giao diện hẹp là thứ cho phép thay ruột. Người dùng chỉ khai báo một file YAML nhỏ dạng Kubernetes resource: traffic đi đâu và token cần scope gì (10:50–11:20). Vì hợp đồng chỉ có vậy, phần bên dưới thay được mà không ai phải sửa gì.

LLM không bao giờ thấy credential. Người dùng đăng nhập một lần vào gateway. Gateway dùng token exchange theo RFC 8693 để đổi lấy token ngắn hạn, mint ngay lúc gọi, với đúng scope mà MCP server đó cần (10:23, 12:47–15:09). Agent tự chạy thì có principal riêng, kiểm theo policy của từng server, cùng một audit log (16:07).

Ba bài học ở cuối talk (20:12): ở vùng chưa có chuẩn thì cứ tự build, nhưng có chính kiến; giấu nó sau một giao diện hẹp; và chuyển sang chuẩn hoặc mã nguồn mở ngay khi chúng có.