Самый дорогой компьютерный баг в истории. $5.18 млн в секунду и $8.65 млрд за 28 минут

1 августа 2012 года произошла одна из самых масштабных катастроф в истории финансовых технологий. Компания Knight Capital потеряла $8.65 миллиарда за считанные минуты, что эквивалентно колоссальным $5.18 миллионам в секунду. Этот инцидент до сих пор остается уникальным примером того, как ошибка в коде может привести к фатальным финансовым последствиям.

Как это случилось

В преддверии запуска нового торгового сервиса NYSE через 33 дня разработчики Knight Capital работали в экстремальном режиме. Они проводили по 80 часов в неделю, чтобы успеть перенести высокочастотного торгового бота на новую платформу. В процессе работы было принято решение оставить старые методы и классы, чтобы избежать необходимости полной пересборки системы сервера.

Однако в коде осталась часть старого тестового кода, которую решили заменить новым рабочим. Утром 1 августа, в 8:00, код был успешно развернут в продакшн-среде, и на первый взгляд все выглядело прекрасно.

Катастрофа

Но уже в 9:30, когда рынок открылся, бот Knight Capital начал активно скупать акции по самым высоким ценам. Спустя две минуты стало ясно, что деньги компании стремительно улетают. На момент, когда стало очевидно, что ситуация выходит из-под контроля, попытки связаться с разработчиками не увенчались успехом, так как они находились в удаленном офисе и не отвечали на звонки.

Через 11 минут боты уже скупили акции на сумму более $3 миллиардов, и Knight Capital оказалась на грани банкротства. В попытке остановить катастрофу был принят крайний шаг — физическое уничтожение серверов в дата-центре при помощи топоров. Торговля была остановлена через 28 минут, но ущерб был нанесен в размере $10.8 миллиардов.

Почему это произошло

Расследование показало, что причиной катастрофы стала ошибка при вводе данных. Один из операторов ввел неправильную команду rsync, в результате чего один из серверов остался с тестовым кодом, который не должен был работать в продакшн-среде. Этот код и стал причиной безудержного скупки акций.

После обнаружения проблемы было принято решение откатиться к предыдущему релизу, что только усугубило ситуацию. В результате всего за 28 минут было потеряно $8.65 миллиардов.

Последствия

Этот инцидент стал роковым для Knight Capital. Все корпоративные клиенты компании отказались от сотрудничества, и через несколько недель Knight Capital прекратила свою деятельность. Этот случай является важным напоминанием о том, насколько критична правильная сборка компьютера и тестирование кода перед запуском в продакшн-среде.