Coinbase підсумовує інцидент у липні: конфлікт конфігурацій Kubernetes призвів до зупинки кількох торгових сервісів, кошти користувачів не були під загрозою

PANews 22 липня повідомляє, що Coinbase офіційно опублікувала звіт про повторний розгляд інциденту з відключенням сервісу, який стався 14 липня, детально розкривши причини аварії, процес відновлення та подальші заходи вдосконалення. Coinbase зазначила, що ця несправність була спричинена конфліктом назв ресурсів Kubernetes в межах звичайного конфігу-раційного оновлення, що призвело до виходу з ладу ключових мережевих компонентів і вплинуло на перекази, транзакції з банківськими картками та on-chain-сервіси, але кошти користувачів жодного разу не наражалися на ризик. О 12:34 за східним часом США 14 липня Coinbase розгорнула звичайну зміну конфігурації у спільному виробничому кластері Kubernetes, який обслуговує базові сервіси, що підтримують роботу критичної інфраструктури. Це оновлення входить до частини міграції на модель розгортання нових сервісів, спрямоване на підвищення продуктивності та надійності системи, пройшло стандартний процес аудиту та вважалося зміною низького ризику.

Однак, оскільки під час перевірок у середовищі препродакшен не було виявлено конфлікту назв ресурсів, ця конфігурація несподівано змінила пов’язані з Istio Ingress Gateway ресурси Kubernetes у кластері, що призвело до недоступності вхідного шлюзу. До 12:37 усі потоки трафіку, що входили в цей кластер, були перервані, внаслідок чого внутрішні сервіси не могли отримати доступ до кількох компонентів інфраструктури.

Coinbase зазначила, що постраждалі асинхронні робочі процеси майже повністю охоплювали систему обігу коштів, включно з розрахунками за угодами, переказами активів та авторизацією транзакцій банківськими картками. Коли інфраструктурні сервіси не могли отримати доступ, ці процеси призупинилися в межах платформи, а постраждалий бізнес включав: роздрібні користувачі не могли завершити off-chain-транзакції, поповнення та зняття коштів, частина угод, що перебували в обробці, відображалася як така, що зависла, і після відновлення автоматично завершувалася; транзакції дебетової картки Coinbase Card тимчасово зазнавали невдачі, оплати кредитними картками все ще були доступні, але деякі функції керування картками були недоступні; ончейн-сервіс обміну Coinbase DEX на Base і Solana був призупинений; у Coinbase Exchange та для інституційних клієнтів Prime виникали невдачі або затримки переказів і розрахунків; клієнти Coinbase Developer Platform не могли завершити відкриття рахунку, переказ коштів та послуги з внесення коштів.

Coinbase зазначила, що під час відновлення компанія призупинила постраждалі процеси та через сторінки стану Retail, Exchange та Prime постійно оновлювала інформацію. О 13:20 за східним часом США вхідний шлюз відновив роботу; о 13:23 інцидент практично був врегульований. Після цього система почала обробляти накопичені задачі, більшість сервісів швидко відновилися, а решта черг була очищена протягом кількох годин. Щодо цього інциденту Coinbase заявила, що вживатиме такі заходи для підвищення надійності системи: розширити механізми захисту на етапі розгортання, автоматично виявляти та блокувати конфлікти назв ресурсів Kubernetes, щоб уникнути того, що оновлення конфігурації помилково вплине на інші компоненти; посилити надлишковість між інструментами розгортання та базовою інфраструктурою, щоб уникнути впливу однієї й тієї самої несправності на інструменти відновлення; регулярно переглядати та відпрацьовувати механізми екстреного доступу, щоб підвищити швидкість відновлення у разі великих збоїв.

Coinbase заявила, що її ціль завжди — досягти безперебійної роботи без простоїв, і що вона продовжить реорганізацію інфраструктури, щоб навіть у разі аналогічних збоїв у майбутньому мати змогу швидше відкотити зміни та відновитися. Компанія також вибачилася перед користувачами за вплив і порадила користувачам, у яких досі існують пов’язані проблеми, звернутися до офіційної команди підтримки.