改めて東京証券取引所、システム障害で業務改善命令に至った経緯についてまとめてみた
10月1日、相場情報の配信に障害が発生し、東証における全銘柄の売買を停止すると発表した。金融庁はシステムの不備を把握していなかったことや、取引再開時のルールが整備されていなかったことを問題視。東証らに対し、再発防止策の迅速な実施や市場開設者としての責任の所在の明確化などを求めた。本件について経緯からまとめてみた。
事象・症状
富士通製の株式売買システム「arrowhead」（アローヘッド）の共有ディスク装置（NAS）1号機でトラブルが発生したが、2号機への自動切り替えが行われず、全株式の売買を終日停止。
その後の調査では、富士通のマニュアルの不備で自動切り替え機能がオフになっていたことや、東証が切り替えのテストを実施していなかったことが判明した。
相場情報の配信に障害が発生しており、東京証券取引所における全銘柄の売買を停止、注文の受付も不可となった*1
障害発生源となった arrowhead とは
2010年1月4日に稼働した現物商品の売買システム*2
arrowheadは、投資家（証券会社）から“注文”を受け付け、売買を成立させてその結果を返信し、注文状況や約定情報といった“相場情報”を証券会社や情報配信ベンダに配信するシステムである。また、arrowheadでは、約定された注文の清算・決済を行うために、結果を清算システムに連携するとともに、注文の不正有無の確認や売買の停止措置といった規制を行うための、監視・制御機能を具備している。
障害発生から売買停止までと売買再開までの時系列
2020年10月1日
7:04 共有ディスク装置♯1号機 アクセス異常を大量に検知
7:10 arrowheadの売買監理及び運用管理画面への一部ログインが不可である事象を確認
7:10 富士通に発生事象を連絡
7:11 富士通と共同で業務影響の切り分け等の作業を開始
7:30 相場情報未配信と銘柄情報の遅延検知
7:37 障害対策本部を設置し、システム運用部門から障害を知らせるメールを社内に送信
7:55 共有ディスク装置全体が利用できないことを確認した
8:01 通信開始の電文送信不可の通知
8:16 共有ディスク装置♯1号機、強制電源断指示
8:26 1号機から2号機へ制御を遷移させるための指示を試みた→失敗
8:28 ポート閉鎖によるダウン状況で切り替えを試みた→失敗
8:36 全銘柄売買停止を決定
8:42 1号機から2号機へ制御を遷移させるための指示（条件変更）を試みた→失敗
8:54 arrowheadと取引参加者を繋ぐロードバランサを遮断
8:56 arrowheadとToSTNeT（立会外取引システム）を繋ぐロードバランサを遮断
9:11 ロードバランサの遮断と合わせて、配信された約定情報については無効である旨、通知
9:23 富士通の製品担当から提供されたコマンドを試行→失敗
9:26 上記コマンドにオプションを追加して、2号機への切り替えに成功、復帰を確認
11:00 臨時リスク委員会を開催、終日売買停止を決定
11:45 Webサイトにて「終日売買停止の告知」を公開
2020年10月02日
09:00 監視人員を強化したうえで正常に売買を開始*3
システム再起動をせず、終日売買停止と判断した理由は既に引き受けた売買注文が消失するなど混乱に拍車が掛かるためと説明している（記者会見）
arrowheadの開発ベンダである富士通には、ハードウェア等製品の納入のほか、稼働後の開発、維持及び保守業務についても委託をしている。
障害発生の原因とは
共有ディスク装置にに保存したデータにアクセスする各種機能（売買停止、市場停止、緊急用売買停止等）が動作不全に陥ったことが直接的な原因
共有ディスク装置のメモリカードの故障原因について
不良品でなく、偶発的に発生したトラブル。機器の稼働期間は耐用年数以内。
市中販売済みの同型番のNASに搭載されたメモリカードの過去故障実績件数が富士通社内の指標値以内に収まっていることから、ロット障害ではないことを確認
なお、共有ディスク装置は「ETERNUS（エターナス） NR1000」富士通の製品である。*4
障害発生時に自動切替が発生しない要因
富士通の作成した共有ディスク装置の製品マニュアルにおける設定の記載に実際の仕様との齟齬があり、マニュアルに記載された誤った内容に基づいて共有ディスク装置の設定が行われていたことにある。
よって、3代目arrowheadを設計していた時点仕様が異なり、自動的に切り替わらない設定となった。
設定値が変更された経緯
2代目arrowheadまではどちらか一方にトラブル発生或いは停止した場合自動的に一方に切り替わる設定だった
2015年3台目以降のarrowheadに仕様が変更されたが、マニュアルは未更新のままだったであり、後日のテストにおいても気づくことができなかった。
変更された設定に対し気づけなった原因
富士通の製品担当を巻き込んだ設定値確認プロセスと本番稼働前に実施したテスト条件が十分でなかった
問題
問題①：切替え動作に関する設定誤りに気付けなかった
問題②：売買停止を確実に実行するための手段がなかった
問題③：システム障害発生後の売買停止及び再開に係る取扱いルールや業界合意が十分でなかった
影響
１９９９年以降で初めての事態で、３兆円規模の取引機会が失われた。
対処・解決
再発防止に向けたシステム対応
- 設定値の修正
- 設定値の総点検
- 確実に切替えを実施する手段の整備
- 継続的なテスト・訓練の実施
売買停止をするための手段の拡充
- 売買停止指示の経路と状態の整理
- 緊急用売買停止機能の変更
市場停止及び再開に係るルールの整備等
- システム障害が起きた場合に、終日の売買停止ではなく当日中に売買を再開できるように、既に発注された注文の取扱い等、必要となるルールの整備
- 通常ではない売買停止が行われた場合における売買の再開に向けた手順の整備
- 上記の手順に基づいた訓練の実施
- 売買再開の基準の明確化
- 売買再開の判断にあたっての取引参加者の意見聴取手続きの整備
- 売買停止・再開の予見可能性を高めるため、売買代金シェア、被災・障害発生状況及び社会的要請を総合的に勘案する場合における適用関係の明確化等
- システム障害等不測の事象が発生した場合における適時適切な情報発信の体制整備
脚注・引用・出典
システム障害に係る独立社外取締役による調査委員会,東京証券取引所（2020年11月30日閲覧）
