Các công ty tổ chức cần cẩn thận về việc đặt tất cả các cơ sở hạ tầng của họ vào một khu vực hay họ cần phải chuẩn bị tốt khâu xử lý sự cố mất điện nếu không muốn dịch vụ ngày càng đi xuống.
Angelique Medina là người đứng đầu bộ phận tiếp thị sản phẩm tại Thousand Eyes, đó là một công ty tình báo mạng thuộc sở hữu của Cisco chuyên theo dõi lưu lượng truy cập internet và đám mây, cho biết: “Cần phải lên một kế hoạch sẵn có. "Các tổ chức không cần phụ thuộc vào khả năng dự phòng của bất kỳ một dịch vụ nào hết."
Hai trong số những đợt ngừng hoạt động lớn nhất của năm 2021 bao gồm các nhà cung cấp dịch vụ đám mây như AWS và Azure. Hai nhà cung cấp dịch vụ Internet liên quan là Verizon và Azure. Bốn sự cố liên quan đến các nhà cung cấp CDN và DNS là Akamai, Cloudflare và Fastly. Và đó là những trường hợp ngừng hoạt động vì sự cố mất điện nghiêm trọng nhất trong năm 2021 do công ty Thousand Eyes tổng hợp được.
Sự cố ngừng hoạt động của Facebook không chỉ phá hủy mạng truyền thông xã hội và các dịch vụ khác của công ty như Instagram và WhatsApp. Nhiều doanh nghiệp sử dụng Facebook để xác thực người dùng. Khi dịch vụ đó ngừng hoạt động, người dùng không thể đăng nhập vào các trang web của doanh nghiệp đó nữa.
Vấn đề mạng xuất hiện trong các sự cố định tuyến BGP bị ngừng hoạt động đầu năm 2021. BGP - viết tắt của Border Gateway Protocol được sử dụng để trao đổi định tuyến cho internet và là giao thức được sử dụng giữa các ISP. Chức năng chính của BGP là trao đổi thông tin về khả năng tiếp cận mạng với các hệ thống BGP khác
“Các hacker BGP có thực sự đáng sợ. Nó có thể là một sự cố khó kiểm soát và các tác động nguy hiểm ảnh hưởng đến lưu lượng mà BGP đó kiểm soát “
Danh sách các sự cố mất điện hàng đầu:
1. Facebook: Ngày 4 tháng 10
Sự cố ngừng hoạt động lớn nhất năm 2021 là sự cố ngừng hoạt động của Facebook vào lúc 15:39 UTC ngày 4 tháng 10. Đó là một sự cố xảy ra hơn 7 giờ phạm vi ảnh hưởng đến toàn cầu. Việc ngừng hoạt động của Facebook nó ảnh hưởng đến Facebook nói chung và các dịch vụ khác : Messenger, Instagram, WhatsApp, Mapillary, và Oculus…
Công việc bảo trì định kỳ đã xảy ra lỗi và cả máy chủ hệ thống và các tuyến BGP đều bị ảnh hưởng. Tệ hơn nữa, không chỉ các dịch vụ công khai của Facebook đi xuống mà còn cả các công cụ mà nhân viên Facebook để quản lý các dịch vụ đó. Do đó, các nhân viên phải vào trung tâm dữ liệu để khởi động lại hệ thống theo các thủ công.
Theo phó giám đốc cơ sở hạ tầng Santosh Janardhan của Facebook nói rằng : “ một lệnh đã vô tình kích hoạt kiến tất cả các mạng lưới Facebook bị ngắt kết nối dẫn đến tất cả các trung tâm dữ liệu của Facebook”
Janardhan đã nói trong cuộc họp báo sau đó vài ngày “ Hệ thống của chúng tôi được thiết kế để kiểm tra các lệnh như thế này, nhằm ngăn chặn những sai lầm như thế này, nhưng một lỗi trong công cụ kiểm tra đó đã ngăn chặn nó đừng lệnh đúng cách ”
Sai lầm đó đã ngăn chặn các hệ thống phản hồi các truy vấn của DNS. Vì các máy chủ DNS của Facebook không còn có thể kết nối với các trung tâm dữ liệu, chúng tự động vô hiệu hoá các BGP liên quan và do đó các máy chủ DNS không thể truy cập được mặc dù bản thân chúng đang hoạt động.
“ Tất cả những điều xảy ra này diễn ra rất nhanh. Và khi các kỹ sư của Facebook làm việc để tìm ra điều gì đang xảy ra, họ phải đối mặt với hai trở ngại lớn:
“Và cũng nên xem xét việc đa dạng hoá đối tượng cung cấp dịch vụ của bạn. không nhất thiết chỉ dựa vào các dịch vụ nội bộ của riêng bạn mà có thể xem xét các nhà cung cấp bên ngoài hoặc nhiều nhà cung cấp bên ngoài.”
2. AWS: Ngày 7 tháng 12
AWS là một trong những dịch vụ đám mây được sử dụng rộng rãi nhất trên thế giới và một lượng đáng kể cơ sở hạ tầng phi tập trung sử dụng nó. AWS cung cấp máy chủ, lưu trữ, kết nối mạng, điện toán từ xa, electronic mail, phát triển di động và bảo mật cho các trang web.và khi các dịch vụ của nó bị gián đoạn thì hàng triệu doanh nghiệp có thể bị ảnh hưởng.
Vào ngày 7 tháng 12, sự cố ngừng hoạt động kéo dài hơn một giờ đã ảnh hưởng đến các dịch vụ của chính Amazon, cũng như các thiết bị tiêu dùng như Roomba và Ring và các dịch vụ phát trực tuyến như Disney + và Netflix, do sự cố với API AWS EC2 ở khu vực US-EAST-1.
Chris Villemezl là kỹ sư kỹ thuật cao cấp tại San Francisco, cho biết việc ngừng hoạt động cung cấp dịch ảnh hưởng đến các doanh nghiệp với mục đích theo dõi tình trạng hoạt động của tất cả các API nằm trong ứng dụng của họ và đóng góp vào việc cung cấp dịch vụ, trải nghiệm khách hàng cũng như khả năng xây dựng và triển khai của công ty dựa trên ThousandEyes.
3. Fastly: ngày 8 tháng 6
Fastly là một trong những mạng phân phối nội dung (CDN) được sử dụng phổ biến bởi nhiều website khác nhau.
Tuy nhiên, hơn 100.000 công ty sử dụng dịch vụ của Fastly, bao gồm cả Reddit và New York Times. Ngay cả Amazon và eBay cũng sử dụng một số dịch vụ của Fastly và bị ảnh hưởng bởi sự cố ngừng hoạt động vào tháng 6 của Fastly.
Những khách hàng đã có trải nghiệm không tốt về sự cố Fastly gây ra.
Ví dụ, Reddit đã bị sập hoàn toàn và không hoạt động trong toàn bộ thời gian ngừng hoạt động, kéo dài gần một giờ, theo một báo cáo của Thousand Eyes.
Nhưng New York Times đã có thể giảm thời gian ngừng hoạt động bằng cách đưa người dùng trực tiếp đến các máy chủ trang web của nó, được lưu trữ trong Google Cloud Platform. Vẫn cần thời gian để thực hiện bản sửa lỗi và thời gian để các bản ghi DNS cập nhật phổ biến.
Amazon sử dụng nhiều mạng phân phối nội dung, bao gồm cả Cloudfront CDN và Akamai của riêng mình. Khi Fastly ngừng hoạt động, nó có thể định tuyến lại các yêu cầu đến các CND khác, giảm đáng kể tác động của việc ngừng hoạt động.
Tương tự, eBay chỉ sử dụng Fastly cho một số nội dung, cụ thể là các đối tượng riêng lẻ trên các trang web. Công ty đã sử dụng Akamai để tự cung cấp các trang web. Trong quá trình ngừng hoạt động, eBay đã có thể chuyển hướng các yêu cầu khỏi Fastly và cuối cùng có thể giảm tác động của việc ngừng hoạt động hơn nữa.
4.Akamai Edge DNS: ngày 22 tháng 7
Akamai là Mạng phân phối nội dung toàn cầu, tương tự như Fastly về số lượng người dùng và thị phần. Và, cũng như sự cố ngừng hoạt động Fastly, các công ty sử dụng nhiều CDN ít bị ảnh hưởng hơn từ việc ngừng hoạt động.
Trong trường hợp ngừng hoạt động cụ thể này, dịch vụ Akamai DNS, dẫn người dùng đến mạng CDN của Akamai. Theo công ty, bản cập nhật cấu hình phần mềm đã gây ra lỗi trong Mạng phân phối nội dung Secure Edge của họ, ảnh hưởng đến hệ thống dịch vụ tên miền của mạng đó.
Nhiều trang web lớn đã bị ảnh hưởng, bao gồm Steam, American Airlines, Fox News và HSBC. Amazon, sử dụng nhiều CDN, đã có thể định tuyến lại lưu lượng truy cập và không để người dùng bị ảnh hưởng.
5. Akamai Prolexic định tuyến: 16 tháng 6
Sự cố ngừng hoạt động vào ngày 16 tháng 6 không phải là sự cố mất điện duy nhất đối với Akamai vào 2021 . Vào tháng 6, công ty đã chứng kiến sự cố về các dịch vụ giảm thiểu DDOS của mình, Prolexic Routed, vì sự cố với định tuyến BGP.
Theo Thousand Eyes, một số trang website của hàng hàng Akamai không thể truy cập được trong những khoảng thời gian khác nhau. Nhưng bằng cách nhanh chóng thực hiện hành động loại bỏ các băng thông, Prolexic đã giảm thiểu tác động đến khách hàng của mình và khách hàng có thể tự do khôi phục các thông báo của BGP thông qua các nhà cung cấp khác để giải quyết vấn đề. "Sau khi hành động đó được thực hiện, những khách hàng nhanh chóng khôi phục kết nối với trang web của họ là những người đã có các quy trình dự phòng."
Theo Akamai, đã có khoảng 500 khách hàng sử dụng dịch vụ giảm thiểu DDOS này. Nhiều thiết bị đã được định tuyến tự động, khôi phục hoạt động trong vòng vài phút. Hầu hết phần còn lại đã được định tuyến lại theo cách thủ công ngay sau đó. Sự cố xảy ra do bảng định tuyến đã vô tình bị vượt quá.
6. Verizon: Ngày 26 tháng 1
Sự cố ngừng hoạt động của Verizon là sự cố lớn đầu tiên của năm 2021 và ảnh hưởng đến người dùng từ Washington, D.C. đến Boston.
Hàng chục nghìn khách hàng không có dịch vụ khi mạng FIOS của Verizon ngừng hoạt động, bao gồm cả các công ty và nhân viên làm việc tại nhà.
Theo Verizon, sự cố gián đoạn là do "sự cố phần mềm" được kích hoạt trong các hoạt động quản lý mạng thông thường và không liên quan đến một đường dây cáp quang bị cắt ở Brooklyn, xảy ra cùng thời điểm.
7. Comcast: ngày 9 tháng 11
Một sự cố ngừng hoạt động lớn khác của một nhà cung cấp dịch vụ Internet xảy ra vào tháng 11, khi đường trục mạng của Comcast ở khu vực San Francisco gặp trục trặc trong gần hai giờ, sau đó là sự cố ngừng hoạt động trên diện rộng hơn kéo dài hơn một giờ trên nhiều thành phố ở Hoa Kỳ, bao gồm Chicago và Philadelphia và trải dài đến New Jersey và Nam Carolina.
Hàng chục nghìn người dùng, gia đình và doanh nghiệp của mạng Xfinity của Comcast đã bị ảnh hưởng.
Với sự ngừng hoạt động của cả Comcast và Verizon, bài học là các công ty cần phải có kế hoạch kết nối dự phòng, không chỉ cho các dịch vụ của riêng họ mà còn cho nhân viên của họ và những người dùng quan trọng khác.
8. Cloudflare Magic Transit: Ngày 3 tháng 5
Sự cố ngừng hoạt động của Cloudflare tháng 5 là một ví dụ khác về sự cố ngừng hoạt động do một dịch vụ được thiết kế đặc biệt để bảo vệ các công ty khỏi sự cố ngừng hoạt động. Giống như Prolexic của Amazon, dịch vụ Magic Transit của Cloudflare có nhiệm vụ giúp bảo vệ khách hàng chống lại các cuộc tấn công DDOS bằng cách định tuyến lưu lượng truy cập qua mạng của họ, kiểm tra nó, kiểm tra nó và gửi nó đến nơi nó được cho là sẽ đến.
Sự cố ngừng hoạt động cụ thể này đã ảnh hưởng đến cơ sở hạ tầng Cloudflare trên toàn cầu, với các sự cố xảy ra ở các mức độ khác nhau trong khoảng hai giờ.
9. Azure AD: Ngày 15 tháng 12
Sự cố ngừng hoạt động gần đây nhất của năm 2021 là sự cố ngừng hoạt động của Active Directory vào tháng 12. Dịch vụ AD của Azure đã ngừng hoạt động trong một giờ rưỡi vào giữa tháng 12, ngăn người dùng đăng nhập vào các dịch vụ của Microsoft như Office 365.
Medina cho biết một số doanh nghiệp cũng sử dụng dịch vụ này để xác thực hệ thống và dịch vụ của họ.
"Vì vậy, mặc dù bản thân các ứng dụng có thể xác thực, nhưng người dùng vẫn không thể đăng nhập. Xác thực là một trong những yếu tố phụ thuộc này đôi khi bị bỏ qua khi bạn nghĩ về tính khả dụng."
10. Facebook: ngày 8 tháng 4
Cuối cùng, làm tròn danh sách một lần nữa là Facebook, với sự cố ngừng hoạt động vào tháng 4 kéo dài khoảng 40 phút.
Trong thời gian xảy ra sự cố này thì một số người dùng đã chuyển qua các ứng dụng khác làm các băng thông của ứng dụng đó đều bị chậm.
Bạn cần Biết nhà cung ứng kỹ thuật số của bạn
Chìa khóa quan trọng để tránh tất cả những sự cố ngừng hoạt động này là các công ty cần nhận thức được tất cả các thành phần và phụ thuộc giúp hệ thống của họ hoạt động, cung cấp dữ liệu cho người dùng cuối. .
Villemez nói: “Những thành phần này cung cấp cho chúng tôi rất nhiều lựa chọn và rất nhiều tính linh hoạt và cuối cùng là sức mạnh để cung cấp nội dung trên Internet.”
“Vì vậy, đối với các nhóm ITOps, điều tối quan trọng là chúng tôi không chỉ biết những ứng dụng phụ thuộc trực tiếp mà còn cả những phụ thuộc gián tiếp đó. Sau đó công ty cần phải có kế hoạch và cách khắc phục cho sự cố vừa qua.
“bạn phải biết giải quyết vấn đề đang gặp phải trong khi nhà cung cấp dịch vụ đang cố gắng xử lý sự cố”
