Được phát triển bởi GoTymeX, Trung tâm Phát triển Sản phẩm và Công nghệ của GoTyme, giải pháp đã được kiểm thử với các mẫu sự cố thu thập trong sáu tháng và rút ngắn thời gian xác định nguyên nhân gốc từ trung bình 34,5 phút xuống chỉ còn 10 phút. Thời gian xác định nguyên nhân gốc được tính từ khi sự cố kích hoạt cảnh báo đến khi hệ thống đưa ra nguyên nhân có khả năng cao nhất.

Ông Hiếu Tạ, Giám đốc Kỹ thuật, GoTymeX, cho biết: "Khách hàng tin tưởng chúng tôi về những dịch vụ ngân hàng hàng ngày mà họ cần, và mỗi phút chẩn đoán chậm trễ là một phút họ có thể không truy cập được tài khoản. Chúng tôi được xây dựng trên AWS ngay từ đầu, nên việc phát triển giải pháp Phân tích Nguyên nhân Gốc (RCA) với AWS DevOps Agent diễn ra rất thuận lợi. RCA bắt đầu điều tra ngay khi cảnh báo được kích hoạt, và sự cố được chẩn đoán trong vòng 10 phút. Điều đó có nghĩa là ít thời gian gián đoạn hơn cho khách hàng, vấn đề không phải cần nhiều đội nhóm xử lý nữa, và kỹ sư của chúng tôi có thêm thời gian tạo ra giá trị hơn – phát triển sản phẩm thay vì truy tìm lỗi."

Từ cảnh báo tới câu trả lời chỉ trong 10 phút

GoTyme hiện phục vụ hơn 22 triệu khách hàng tại Nam Phi, Philippines, Indonesia, và Hồng Kông. Hạ tầng của tập đoàn được đặt trên nhiều khu vực và tích hợp với hơn 10 đối tác bên ngoài. Một sự cố đơn lẻ có thể kích hoạt hàng trăm cảnh báo, và đến khi kỹ sư xác định được nguyên nhân gốc, sự cố có thể đã lan sang nhiều quốc gia, cộng thêm lưu lượng thử lại từ khách hàng bị ảnh hưởng càng làm trầm trọng thêm tình trạng gián đoạn.

Các sự cố CNTT nghiêm trọng gây thiệt hại trung bình 1,8 triệu USD mỗi giờ cho các công ty dịch vụ tài chính. Mặc dù các công cụ giám sát ban đầu của GoTyme phát hiện vấn đề nhanh chóng, chúng không thể xác định chính xác nguồn gốc sự cố. Kỹ sư thường mất 30 phút đầu tiên của mỗi sự cố để thu thập dữ liệu thủ công, đối chiếu nhật ký, kiểm tra triển khai và loại trừ các hệ thống bên ngoài, trong khi các đội ở nhiều quốc gia dù không liên quan cũng bị kéo vào theo quy trình thông báo mở rộng. Điều này còn dẫn đến tình trạng quá tải cảnh báo trong các đội, và chi phí hạ tầng không cần thiết khi hệ thống cố gắng mở rộng quy mô để bù đắp mà không hiểu nguyên nhân gốc.

Giải pháp RCA mới, được hỗ trợ bởi AWS DevOps Agent, tự động điều tra ngay khi phát hiện vấn đề. Tác tử AI (AI agent) thu thập và đối chiếu tín hiệu từ toàn bộ môi trường của GoTyme, bao gồm chỉ số, nhật ký, dấu vết, lịch sử triển khai, tình trạng hạ tầng, dữ liệu mạng và hiệu suất ứng dụng, sau đó xác định nguyên nhân gốc có khả năng nhất kèm bằng chứng hỗ trợ. Trong một kiểm thử, RCA đã truy vết sự cố qua nhiều dịch vụ và tài khoản đến một truy vấn cơ sở dữ liệu bị khóa - nằm cách bốn bước so với cảnh báo ban đầu - một nguyên nhân gốc mà các công cụ giám sát riêng lẻ đã bỏ sót. Sau đó, giải pháp đưa ra khuyến nghị khắc phục dựa trên bằng chứng. Điều này đã giúp GoTyme đạt được tốc độ khôi phục dịch vụ nhanh hơn 3,5 lần, giảm chi phí vận hành và giảm thiểu tác động đến khách hàng.

Điều quan trọng là mọi khuyến nghị đều nằm dưới sự kiểm soát của con người. AI điều tra, đối chiếu và tư vấn, nhưng kỹ sư xem xét, xác nhận và phê duyệt mọi hành động trước khi thực hiện. Không có thay đổi nào được thực hiện trên hệ thống sản xuất mà không có sự cho phép rõ ràng của con người.

Ông Eric Yeo, Tổng Giám đốc AWS Vietnam, nói: “Trên khắp Đông Nam Á, các đội nhóm kỹ thuật đang chứng minh rằng vận hành ứng dụng AI có thể thay đổi cách các công ty quản lý hạ tầng phức tạp, đa quốc gia trên quy mô lớn. GoTymeX là minh chứng rõ nét cho sự chuyển đổi này. Các kỹ sư của họ đã xây dựng giải pháp phân tích nguyên nhân gốc giúp rút ngắn đáng kể thời gian xử lý sự cố, trực tiếp bảo vệ hàng triệu khách hàng. Đó là kiểu đổi mới sáng tạo đo lường được, lấy khách hàng làm trọng tâm mà chúng tôi thấy khi các nhà phát triển có đúng công cụ và quyền tự chủ để sử dụng chúng.”

Từ Việt Nam vươn ra thế giới

Từ năm 2016, GoTymeX đã phát triển đội ngũ hơn 900 kỹ sư, nhà thiết kế và chuyên gia công nghệ tại Việt Nam, xây dựng các nền tảng ngân hàng số phục vụ hàng triệu khách hàng trên nhiều thị trường.

Giải pháp RCA không chỉ là cách chẩn đoán sự cố nhanh hơn cho GoTyme, mà đây còn thể hiện một bước tiến quan trọng trong tầm nhìn rộng hơn của GoTyme về việc xây dựng hệ thống vận hành thông minh, được hỗ trợ bởi AI, nhằm cải thiện độ tin cậy và trải nghiệm khách hàng trên quy mô lớn. Giải pháp cũng mở ra một cách tiếp cận có thể nhân rộng cho vận hành dựa trên AI - đối chiếu dấu hiệu, xác định nguồn gốc thực sự của sự cố, và đề xuất hành động dựa trên bằng chứng trên các hệ thống phân tán phức tạp.