Сеть второго уровня zkSync отключалась на 5 часов

Команде пришлось отложить празднование и заняться расследованием инцидента.  Вчера, 25 декабря, в 7:36 UTC команда zkSync в социальной сети X сообщила о «фиксировании различных проблем» в сети. Разработчики заявили, что «активно работают» над проблемой.

On December 25 at 05:50 UTC, zkSync Era encountered an issue triggered by one of the network’s automated safety procedures.

The issue is completely resolved, but we want to share details with the community about what happened, and what teams did to address it.

TL;DR
There… pic.twitter.com/hO9TKlfBMQ 

— zkSync Developers (@zkSyncDevs) December 25, 2023 

Оказалось, что из-за ошибки в программном коде одного из серверов был запущен «один из автоматических протоколов безопасности сети». При этом сам сбой случился в 5:50 утра по UTC. Работа решения была восстановлена к 11:00 утра. Разработчики подчеркнули, что никакие пользовательские средства не были под угрозой.

«Сама проблема была не слишком значительной ― относительно простая ошибка, связанная с обновлением состояний. Они вычисляются как часть протокола, однако оператору необходимо отправлять их на первый уровень сети. Сам оператор также вычисляет данные состояния и в способе этих вычислений на стороне оператора была небольшая ошибка. Поэтому состояния, вычисляемые протоколом и оператором, не совпадали, поэтому сеть перешла в максимально защищенный режим», ― рассказали разработчики.

После обнаружения и исправления ошибки разработчики zkSync распространили обновление ПО на все узлы сети, чтобы ошибка не повторилась. Они принесли извинения за неработоспособность решения и пообещали проработать более быстрый процесс реагирования в праздники.

В марте этого года масштабный сбой произошел в другом решении второго уровня ― Avalanche.