ブログ
/
/
August 6, 2020

Guarding Against Threats Beyond IT

We explore insights from a vast customer database, exposing the widespread adoption of ICS protocols within IT settings.
Inside the SOC
Darktrace cyber analysts are world-class experts in threat intelligence, threat hunting and incident response, and provide 24/7 SOC support to thousands of Darktrace customers around the globe. Inside the SOC is exclusively authored by these experts, providing analysis of cyber incidents and threat trends, based on real-world experience in the field.
Written by
David Masson
VP, Field CISO
Default blog image
06
Aug 2020

Key takeaways

  • Multiple well-known ICS attacks have been successful by gaining an initial foothold into the IT network, such as EKANS, Black Energy, and Havex
  • Stage One of the ICS Cyber Kill Chain is network reconnaissance, and so IT/OT network segregation is critical
  • Darktrace finds that many organizations’ networks have at least some level of IT/OT convergence
  • Visibility across ICS infrastructure, actions, and commands provides a better picture into potentially malicious internal activity

IT & OT Convergence Threats

Shipping, manufacturing, and other forms of heavy industry are seeing an ever-increasing convergence of IT and OT systems with the growth in Industrial Internet of Things (IIoT). At the same time, it remains critical to segment IT from OT networks, as the lack of segmentation could provide a malicious actor – either a hacker or rogue insider – easy access to pivot into the OT network.

High-profile attack campaigns such as Havex or Black Energy show traditional network security monitoring tools can be insufficient in preventing these intrusions. After the initial compromise, these ICS attacks progressed from IT to OT systems, showing that the convergence of IT and OT in cyber-physical ecosystems calls for technology that can understand how these two systems interact.

More recently, analysis of the EKANS ransomware revealed that attackers are attempting to use malware to actively disrupt OT as well as IT networks. The attack contained ICS processes on its ‘kill list,’ which allowed it to halt global manufacturing for large organizations like Honda.

More often than not, a lack of visibility is a major challenge in protecting critical ICS assets. Security specialists benefit when they have visibility over unusual or unexpected connections, or more crucially, when ICS commands are being sent by malicious actors attempting to perform industrial sabotage.

Investigation details

Darktrace analysts investigated the use of industrial protocols in the enterprise environments of various customers. The industries ranged from banking to government, retail to food manufacturing and beyond, and included companies with Industrial Control Systems that leverage Darktrace to defend their corporate networks.

In some cases, the security teams may not have been aware of IT/OT convergence within their enterprise environments. In other cases, the IT team may be aware of the ICS segments, but do not see them as a security priority because it does not fall directly within their remit.

The results revealed that hundreds of companies are using OT protocols in their enterprise environments, which suggests that IT/OT systems are not properly segmented. Specifically, Darktrace detected over 6,500 suspected instances of ICS protocol use across 1,000 environments. Note that this data was collected anonymously, only keeping track of the industry for analysis purposes.

Figure 1: A chart showing the percentage of ICS protocol use in enterprise environments

The ICS protocol which was detected the most was BacNet, seen in approximately 75% of instances. BacNet is used in Building Management Systems, so it is not surprising that it is widely used across multiple industries and within corporate networks. It is likely the security teams are aware that their BMS is part of the enterprise network, but may not appreciate how its use of the BacNet OT protocol increases the attack surface for the business and can be a blind spot for security teams.

Core ICS protocols

Darktrace also detected ‘core’ ICS protocols, Modbus and CIP (Common Industrial Protocol). These are normally associated with traditional ICS industries such as manufacturing, oil and gas, robotics, and utilities, and provides further evidence of IT/OT convergence.

This increased IT/OT convergence creates new blind spots on the network and sets up new pathways to disruption. This offers opportunities for attackers, and the public are now increasingly aware of attacks that have pivoted from IT into OT.

Improper segmentation between IT and OT systems can lead to highly unusual connections to ICS protocols. This can be seen in our recent analysis of industrial sabotage, with the timeline of the attack’s main events presented below.

Figure 2: A timeline showing the events of an incident of industrial sabotage

This is just one example of an attack that began in IT systems before affecting OT. More high-profile attacks that follow this pattern are presented below:

EKANS ransomware

The recent EKANS attack involved a strain of ransomware with close links to the MEGACORTEX variant, which gained infamy following an attack on Honda’s global operations in June 2020. Like many ransomware variants, EKANS encrypts files in IT systems and demands ransom in order to unlock the infected machines. However, the malware also has the ability to kill ICS processes on infected hosts. Notably, it is the first public example of ransomware that can target ICS operations.

Havex

Havex utilized multiple attack vectors, including spear phishing, trojans, and infected vendor websites, often known as a ‘watering hole attack’. It targeted IT systems, Internet-connected workstations, or a combination of the two. With Havex, attackers leveraged lateral movement techniques to pivot into Level 3 of ICS networks. The attack’s motive was data exfiltration to a C2 server, likely as part of a government-backed espionage campaign.

Black Energy 3

Black Energy 3 favored macro-embedded MS Office documents delivered via spear phishing emails as attack vectors. Older variants of Black Energy targeted vulnerabilities in ICS HMIs (Human Machine Interfaces) which were connected to the Internet. The attack’s motive was industrial sabotage and is what was used against the Ukrainian electric grid in 2015, leading to power outages for over 225,000 civilians and requiring a switch to manual operations as substations were taken offline.

Lessons learned

Each of the attack campaigns detailed above was in some way enabled by IT/OT convergence. Attackers still favor targeting IT networks with their initial attack vectors, as IT networks have significantly more interaction with the Internet through emails, and various other interconnected technologies. Poor network segmentation allows attackers easy access to OT systems once an IT network has been compromised.

In all of these ICS cyber-attacks, devices deviated from their normal patterns of life at one or more points in the cyber kill chain. Indicators of compromise can include anything from new external connections, to network reconnaissance using active scanning, to lateral movement using privileged credentials, ICS reprogram commands, or ICS discovery requests. With proper enterprise-wide visibility, across both IT and OT systems, and security tools that are able to detect these deviations, a security team would be alerted to these compromises before an attacker could carry out their objectives.

Ultimately, visibility is crucial for cyber defenders to protect industrial property and processes. Darktrace/OT enables many Industrial Model Detections, a selection of which are listed below:

  • Anomalous IT to ICS Connection
  • Multiple Failed Connections to OT Device
  • Multiple New Action Commands
  • Uncommon ICS Reprogram
  • Suspicious Network Scanning Activity
  • Unusual Broadcast from ICS PLC
  • Unusual Admin RDP Session

It is clear that attackers continue to exploit increasing IT/OT convergence to carry out industrial sabotage. Still, as revealed by our analysis of our customer base, many organizations continue to unknowingly use ICS protocols in their corporate environments, both increasing their attack surface and creating dangerous blind spots. A new, holistic approach to cyber defense is needed – one that can reveal this convergence of IT and OT, provide visibility, and detect deviations indicative of emerging cyber-attacks against critical systems.

Thanks to Darktrace analyst Oakley Cox for his insights on the above investigation.

Inside the SOC
Darktrace cyber analysts are world-class experts in threat intelligence, threat hunting and incident response, and provide 24/7 SOC support to thousands of Darktrace customers around the globe. Inside the SOC is exclusively authored by these experts, providing analysis of cyber incidents and threat trends, based on real-world experience in the field.
Written by
David Masson
VP, Field CISO

More in this series

No items found.

Blog

/

AI

/

July 20, 2026

スタジアム運営を任されるAI。セキュリティチームはこれをどう保護すべきか?

Default blog imageDefault blog image

スタジアム運営に使われるAIをどう保護するべきか

主なポイント

  • AIはアクセス管理、群衆管理、チケット発行、設備管理、監視カメラ等、スタジアムの運営に重要な機能に導入されつつある。  
  • シャドーAIやサードパーティAIの利用はスタジアムのセキュリティチームの目の届かないところでリスクを生み出している。
  • セキュリティチームはどのようなAIシステムが存在しているかだけでなく、それらが何にアクセスし、どのようなアクションを実行できるかを理解できなければならない。
  • イベントのレジリエンスにはAI、IT、OT、アイデンティティ、サードパーティ全体に渡る継続的監視と対応が必要。

現代のスタジアムは、他に類を見ないインフラです。以前にも書いたことがありますが、イベント開催日には、スタジアムに生命が吹き込まれ、グッズや食べ物の販売、交通のハブ、広大な通信インフラ、そしてフィールド上のさまざまな技術など、これらが連携した1つの巨大なエコシステムとして機能します。その規模と複雑性により、スタジアムはサイバーセキュリティにとって最も過酷な環境の1つとなっています。その運営に今、AIを導入することで私たちは新たな次元のリスクを負おうとしています。

スタジアム運営にAIを導入することの利点は明らかです。スタジアム運営者はAIを使うことにより、混雑したゲートからファンを安全に誘導し、売店の需要を予測し、生体認証システムを管理し、不審な動きを監視カメラで見つけ、また空調や換気を制御することができます。上手く使えば、イベントをより安全に、迅速に、より効率的にすることができます。

ただし、AIはセキュリティモデルも変化させます。

ダークトレースが最近発表したスポーツを取り巻く脅威状況についての調査では、プロスポーツ組織のサイバーセキュリティプロフェッショナルを対象に、自組織の運用範囲の中でサイバー侵害が最も重大な影響を及ぼすのはどこかという質問をしました。調査対象のプロフェッショナルの最も多い34%が指摘した分野は、スタジアムの運営でした。それと同時に、35%は自組織がすでにスタジアムの運営にAIを使用している、あるいは今後12か月間に導入の予定があると回答しています。

セキュリティチームはもはや、スタジアムを中心とした従来型のITシステムだけを保護しているのではありません。スタジアムの基盤となる重要機能を動かしている、AIシステムの保護も求められるようになっているのです。

承認済みAIとシャドーAIの違い

スタジアムのセキュリティチームが知っているAIと、そうでないAIの間には明確な違いがあります。

承認済みAIとは、審査およびテストされ、施設の運用環境に統合されたAIです。こうしたAIは、監視カメラのアナリティクス、アクセス管理、設備管理、チケット発行、ロジスティクス、放送オペレーション、海賊版対策などに使われているかもしれません。それらのAIには、明確なオーナーシップ、アクセス制御、ログ記録、ベンダーレビュー、データ保護規則などがあるはずです。それによってリスクがなくなるわけではありませんが、セキュリティチームは適切なガバナンスを整備できます。

シャドーAIはそれとは違います。シャドーAIとは、従業員、請負業者、サプライヤーによる承認されていないAIの利用です。多くの場合それは善良な意図で始まります。たとえば、作業をもっと早く進めたいと思う人がいるかもしれません。あるいは、ブリーフィングの原稿を作るためにスタッフが内部情報をパブリックAIにペーストする、開発者がチケット発行プログラムのデバッグのためにAIアシスタントを使用する、サプライヤーがAIスケジューリングツールを配送ルートに接続する、デザイナーがモックアップ作成のために未公開の会場設計図やスポンサーの資料をAIにアップロードするなどの事です。

これらの行動はいずれも、それを行っている人からすればセキュリティ上の判断のようには感じられません。しかし、これらの行為は機密性の高い運営データを、スタジアムが管理していない環境に送出し、隠れたリスクを生みます。

承認済みAIスタックは、セキュリティチームから見えています。シャドーAIスタックは多くの場合そうではありません。

試合開催日に増幅するリスクと影響

通常のエンタープライズ環境であれば、不審なログイン、普段とは異なるデータ転送、予期しないサードパーティサービスへの接続をセキュリティチームが調査するための時間は数時間あるでしょう。スタジアムでは、インシデントが起こる可能性の高い瞬間は、チームに最も余力がなくインシデントが最も大きな影響を及ぼし得るタイミング、つまり試合開催日です。

群衆管理に使われているAIシステムが予期せぬ振る舞いをしたとき、その問題は単に技術上の問題ではありません。それは会場内の物理的な動きに影響を及ぼすかもしれません。

サプライヤーツールが運営データを承認されていないAIプラットフォームに送信すれば、それはデータガバナンスだけの問題ではありません。配送ルートやアクセス制限のスケジュール、スタッフ配備計画などが漏洩するかもしれません。

最も危険なシナリオは必ずしも派手な、劇的な攻撃とは限らず、外部ベンダーがソフトウェア更新でAI機能を追加した、あるいはスタッフのワークフローで未承認のツールが使用されているなど、誰も想定していなかった隠れた依存関係から発生することがあります。

イベントが始まると、これらの隠れたつながりが運営上のリスクになる可能性があります。

サプライチェーンはスタジアムのアタックサーフェス(攻撃対象領域)の一部

すべての大規模スポーツイベントは、さまざまなサプライチェーンとパートナーシップで構築されています。ケータリングサービスや輸送、放送システム、施設管理チームなど、あらゆるピースが必須であり、それぞれがセキュリティチャネルを作り出しています。サプライチェーン侵害のリスクはすでによく知られており私たちが目にしてきたいくつかの有名な侵害事例の原因となっています。マジソン・スクエア・ガーデンを所有するMSG Entertainment社のデータ侵害事例は3月に大きく報道されましたが、これはMSG Entertainment社のバックオフィスシステムで使用されていたOracleのE-Business Suiteから発生していました。また、2018年の平昌冬季オリンピックを標的としたOlympic Destroyer攻撃はこの大会のメインITサービスプロバイダーに対する侵害から始まったと言われています。そして、AIの導入によりこのリスクは増大しつつあります。

スタジアム自体は自社のAIシステムに厳しいルールを設けているかもしれませんが、ベンダーは別のツールを使っている場合があります。スタッフの配備や、配送のタイミング、在庫、顧客とのやり取りの管理にAIを使っている業者もあるでしょう。また、既に使用しているソフトウェアにAI機能が追加されていることに気が付いていないケースもあります。

スタジアムの運営でAIを保護する際の最も難しい問題の1つはこの点です。リスクはスタジアムが選択したツールから来るとは限らないのです。サプライヤーが選択したツールや、有効に設定されていることをサプライヤーが知らなかった機能からリスクが発生する可能性があります。

セキュリティチームは、ベンダーのアクセスを管理するのと同じようにベンダーのAIを扱う必要があります。サプライヤーが何に接続できるか、どのようなデータを見ることができるか、どのようなツールを使っているか、そしてこれらのツールがデータ露出や水平移動(ラテラルムーブメント)の新たな経路を作り出さないかを知る必要があるのです。

サードパーティAIツールがリスクを作り出すのに深いアクセス権は必要ありません。特定の情報が不適切なタイミングで露出するだけでリスクを招きます。

スタジアム運営におけるAIについてセキュリティチームが確認すべき4つの質問

AIがスタジアム運営の一部となるなかで、セキュリティチームは基本的な承認リストの先へ進む必要があります。次の4つの点を問う必要があります:

1.  AIはどこで使われているか?

すぐに思いつくのは、コンピュータービジョン、アクセス管理、チケット発行、ロジスティクス、設備管理等のツールです。しかし、SaaSプラットフォーム、ベンダーツール、ブラウザ拡張、開発者ワークフロー、スマートビルディングシステム、コラボレーションツールにも見えにくい形でAIが含まれています。

2. AIは何にアクセスできるか?

そのAIはインシデントログ、スタジアム設計図、チケット発行データ、ビデオ映像、建物管理、ファン情報、認証情報、サプライヤーシステムを見ることができるでしょうか?それは情報を分析するだけでしょうか、それともアクションを実行することもできるでしょうか?

3. AIは何を実行できるか?

AIエージェントは単なる受動的ツールではありません。APIを呼び出す、記録を更新する、命令を生成する、ワークフローをトリガーする、あるいはユーザーやサービスアカウントの権限を持って行動できるものもあります。スタジアムにおいて、その違いはきわめて重要な意味を持ちます。アクションを提案するAIシステムと、アクションを実行できるAIの間には大きな違いがあります。

4. 何が正常な状態か?

セキュリティアーキテクチャとしては、静的なルールだけでは不十分となるでしょう。AIの使用状況は急激に変化します:既存のプラットフォーム内にAIツールが出現し、ベンダーがAIを使った新しいサービスを追加し、多忙をきわめたスタッフはAIを使った回避策を見つけるかもしれません。セキュリティチームは、何かが変化したときにそれを発見できるよう、人、アイデンティティ、デバイス、ネットワーク、クラウドサービス、サプライヤー、AIツールのすべてにわたって正常な振る舞いを理解している必要があります。

このことは、わずかな異常が重大な意味をもつかもしれない、イベント開催中の環境において特に重要です。未承認のAIサービスへの接続は、ある状況では無害かもしれませんが別の文脈では深刻なものとなる可能性があります。そしてAIエージェントによるアクションの実行は、午前3時にセットアップを行っている状況では予期されたものかもしれませんが、試合開催中にそのアクションが発生した場合、疑わしいものかもしれません。あるアクティビティを意味のあるセキュリティ情報にするのはコンテキストです。また、迅速な対応を可能にするのもコンテキストであると言えます。組織内のAIベースセキュリティシステムが、アクションを実行する必要があることを知るためのリアルタイムのコンテキストを構築できれば、マシンスピードで脅威に対応できます。

AIはスタジアムの安全に貢献できる、ただしAIが安全であることが条件

AIにはスタジアム運営に貢献できる役割があります。観客の混雑をより早期に検知し、ボトルネックを解消し、施設をより効率的に管理し、ファン体験を向上させ、プレッシャーのかかる状況下でイベント運営チームをサポートすることができます。

問題への答えはすべてのAIの導入のペースを落とすことではありません。それが解決策ではありません。答えは、AIを可視化し、管理し、試合日の運営の一部となる前に安全にすることです。

スタジアムの運営チームやイベント主催者にとって、これはAIの使用を会場とサプライヤーエコシステム全体にわたってマッピングすることを意味します。また、各AIシステムが何にアクセスでき、どのようなアクションを実行できるかを理解することです。スタッフの判断で回避策を探すのに任せるのではなく、彼らのニーズを満たす承認済みのツールを提供することも重要です。ベンダーとの契約や監査にAIの利用について明記することも必要です。さらに、わかりやすい主なシステムだけではなく、環境全体で動作を監視することも大事です。スタジアムから見えないものを安全にすることはできません。

AIが、スタジアム内の人の移動、アクセスの制御、設備の管理、サプライヤーのサポート、メディアの権利保護の一部となるとき、それはもはや追加機能ではなく、イベントインフラの一部となるのです。

イベントインフラは、スタジアムのゲートが開く前に入念に準備され、安全でシームレスかつ信頼性の高いイベント体験を実現するのに必要な、オペレーショナルレジリエンスによって維持されなければなりません。

Darktraceはスタジアム運営のためのAIをどう保護できるか

ダークトレースは、10年以上にわたり構築してきたビヘイビアAIの専門技術を、複雑で曖昧な環境で機能するように設計された、組織全体をカバーするプラットフォームで提供しています。2022 FIFAワールドカップカタール大会からF1グランプリまで、Darktraceは世界のさまざまな会場や米国中のスタジアムにおいて運営を支える統合された大規模なITおよびOT環境を保護しています。

他のサイバーセキュリティ技術は、過去の攻撃に基づいて新しい攻撃を予測しようとします。しかし問題は、AIが人間のように動作することです。あらゆるアクションが新たな情報をもたらし、それによってAIの動作は変化するため、予測不可能です。過去に見られた攻撃の戦術はもはや方程式の小さな部分に過ぎません。その結果多くのベンダーは実証されていない技術を買収し、改修することによりAIの保護を行おうとしています。  

ダークトレースのアプローチは他とは根本的に異なります。ダークトレースの適応型AIは、人とAIの振る舞いを学習し続けることにより組織についての理解を構築するため、動作の逸脱が起こった時にそれを検知し自律的に対応することが可能です。ダークトレースの提供するビヘイビアベースの防御プラットフォームは、新たなワークフロー、エージェント、アプリケーションの導入に対応して組織内のAI、人、インフラを保護することにより、大規模なAI変革を可能にします。

AIによって変化する組織の潜在力。Darktraceは組織が自信を持って前へ進むのに役立ちます。ダークトレースはスタジアムインフラ内の人とテクノロジーを保護するセキュリティチームに対し、新たなテクノロジーの導入を保護するのに必要な理解、可視性、自律的アクションを提供し、AI時代を構築するための変革を後押しします。

[related-resource]

Continue reading
About the author
Karim Benslimane
VP, Field CISO

Blog

/

AI

/

July 15, 2026

Security After Signatures: Operating in a World of Pre‑CVE Disclosure Exploitation, Collapsed Trust Boundaries, and Autonomous Systems

Default blog imageDefault blog image

Three shifts have reshaped what it means to defend an enterprise securely.  

First, exploitation often begins before defenders have a Common Vulnerabilities and Exposures (CVE) identifier, a security advisory, or an entry in the Cybersecurity and Infrastructure Security Agency's (CISA) Known Exploited Vulnerabilities (KEV) catalog.

Secondly, the trust boundary has moved beyond the network edge into identities, tokens, APIs, and Software-as-a-Service (SaaS) workflows.  

Third, an increasing share of business activity is executed through automation, integrations, and AI agent-like systems that can act faster than teams can verify intent.  

If your security model still relies on detecting known bad artefacts, triaging isolated alerts, and waiting for confirmation before acting, you are already behind the threat.  

This is not a failure of security teams; it’s a failure of the operating model to keep pace with how the environment has changed.

A SOC built around alerts and signatures assumes that malicious activity will eventually surface as an event. In real incidents, however, the decisive evidence is rarely a single event. Instead, it is a chain of individually explainable actions that only appears malicious once you connect the dots across identity, non-human identity, cloud, email, SaaS, operational technology (OT), and network telemetry.

The defenders succeeding today observe behaviors, link them into sequences, understand what those sequences mean, and contain impact before the full story unfolds. That is the operating model the current threat environment demands.  

Exploitation before disclosure

The first shift is the straightforward: the time to exploit has dropped to nearly zero.  

In one example, Darktrace observed a sequence of subtle but strategically significant anomalies within a customer environment that later aligned with exploitation of CVE‑2025‑0994 in Trimble Cityworks by likely Chinese-nexus threat actors. Behavioral indicators were visible at least 18 days before public disclosure, with related anomalies emerging 40 to 50 days earlier during the intrusion window.  

This case illustrates a familiar pattern: clusters of weak‑signal anomalies combing to form an actionable picture of intrusion long before a CVE is published. Such activity reflects long‑horizon, option‑preserving operator models often associated with mature state‑linked activity.  

Figure 1: Darktrace’s detection of malicious exploitation of CVE 2025-0994, later tied to Chinese-nexus threat actors targeting critical national infrastructure (CNI) in the US, weeks before public disclosure.

Throughout 2025 and 2026, Darktrace has continued to observe the value of anomaly-based detections across a range of incidents.

CVE CVE Public Disclosure Date Darktrace Detection Date Days Between Detection of Exploitation and CVE Public Disclosure
CVE 2025 0994
(Trimble City Works)
2025-02-06 2025-01-19 18 Days
CVE 2025-24183
(Apache)
2025-03-10 2025-02-18 20 days
CVE 2025-10035
(Fortra GoAnywhere)
2025-09-18 2025-09-11 7 days

Identity is the real control plane

The second shift is that identity has replaced perimeter as the primary control plane. As Darktrace’s Annual Threat Report 2026 illustrated, identity remains the main challenge in defending against modern intrusions. A clear example is the Adversary-in-the-Middle (AiTM) case published by Darktrace in December 2025. A phishing email led to the compromise of an Office 365 account. Session hijacking bypassed multi-factor authentication (MFA), and the compromised account was used for follow-on phishing and persistence activities including the creation of malicious email rules.  

Every step in that sequence mattered. A successful login alone does not prove legitimacy. An inbox rule, on its own, may not appear catastrophic. Mail activity, viewed in isolation, may seem operationally normal. But the behavioral chain tells a different story: credential theft, token abuse, persistence, and onward compromise through a trusted identity.  

This is why the question is no longer “Did the user authenticate successfully”. The more important question is, “Does this identity action make sense right now, in this context, given what came before it?” The AiTM case shows how identity can be compromised. In practice, however, attacks rarely remained confined to identity alone.  

In another Darktrace case, a compromised SaaS account triggered activity across the email, SaaS, and network layers, including inbox rule changes, phishing propagation, and connections to suspicious infrastructure. Viewed in isolation, none of these events were decisive. Together, however,  they formed a behavioral sequence that revealed the intrusion, with the full attack story automatically correlated and surfaced to defenders by Darktrace’s Cyber AI Analyst.  

Figure 2: Cyber AI Analyst correlated and appended additional events to the incident, including other users who connected to the suspicious redirect link after outbound phishing emails were sent.

AI accelerates the threat  

The third shift is the one many teams still underestimate: trusted tooling, integrations, and AI agent-like systems can create actions that appear legitimate but are strategically dangerous.  

The shift becomes clearer when examining how governments are now framing AI risk. In 2026, guidance published by CISA, UK’s National Cyber Security Centre (NCSC) and Five Eyes partners warned that agentic systems expand attack surfaces, accumulate privilege, and can behave in ways that are difficult to predict or explain [1]. The advice is simple: assume unexpected behavior and design controls around it.  

The real risk is not AI usage. It is unknown autonomy: systems with credentials, data access, and action paths that can execute workflow steps without sufficient behavioral validation, traceability, or human oversight. Darktrace’s Model Context Protocol (MCP) risk analysis provides a useful framework for understanding this challenge. Over-privileged agents, content injection, and tool abuse become high-consequence risks when connected systems can dynamically retrieve data, execute actions, and communicate externally.  

Whether security teams like it or not, AI is already in the enterprise. It will help drive innovation, but it will also be abused, whether accidentally or maliciously. In each of the cases below, AI either scaled the attacker, built the tooling, or existed within the environment as something to exploit or misuse.

1. AI as an Attack Multiplier

In one campaign targeting Mexican government entities, a single operator used commercial AI platforms to generate exploits, automate reconnaissance, and process large volumes of data, compressing work that would traditionally have required an entire team into a single workflow [2].  

Darktrace is also observing this trend further down the stack. In one case, Darktrace identified AI-generated malware exploiting React2Shell, where an attacker used a Large Language Model (LLM) to produce working exploit code and deploy it at scale.  

[darktrace.com], [darktrace.com]

2. AI as an Attack Surface

Attempted AI exploitation is now appearing within customer environments. In one case involving an automation technology manufacturer, a compromised LLM proxy was seemingly used as a stepping stone to access additional AI services. When that attempt failed, the attacker pivoted to cryptomining.

What is clear is that the AI layer has already become an asset worth probing, exploiting, and pivoting through. It is also clear that defenders benefit from rapidly understanding how these activities connect. In this case, Cyber AI Analyst automatically pieced together the intrusion, while Darktrace’s Managed Threat Detection service alerted to the customer, enabling the activity to be contained before it could progress further.

Figure 3: Cyber AI Analyst's investigation into a compromised LLM proxy that was abused for cryptomining activity.

AI as a trusted but dangerous actor

This does not require a cinematic vision of “rogue AI.” The Salesloft incident provides a more grounded example, where AI and automation operate with legitimate access but served malicious intent. In that case, attackers abused compromised OAuth tokens associated with the Drift AI chat agent to export significant volumes of data from Salesforce environments.  

The activity resembled legitimate API usage and relied on trusted SaaS integrations rather than malware or other obvious signs of intrusion. That is precisely the challenge. Traditional security controls are good at detecting forced entry, but far less effective when a trusted application integration behaves in a way that is technically permitted yet operationally harmful.  

In these scenarios, the security challenge shifts from validating access to validating behavior.

This is what that looks like in practice: AI-linked identities executing legitimate actions that require behavioral validation rather than access validation.

Figure 4: Darktrace / SECURE AI highlights anomalous activity across AI identities, surfacing critical behavior that requires validation and containment.

Early observations from Darktrace / SECURE AI deployments reinforce this reality. Across Darktrace's observed fleet, AI service connections per deployment increased 13% during the first half of 2026, reaching over 16 million connections overall. The typical organisation now interacts with seven different AI providers, evidence that AI is no longer operating at the edges of the enterprise. It is increasingly woven into day-to-day business activity.

The most common risks are not compromised models or advanced AI attacks. Instead, they stem from employees and business functions exposing sensitive information through entirely legitimate-looking interactions. Darktrace has observed repeated submission of personally identifiable information (PII), tax information, identification documents, and medical data into LLM prompts, alongside widespread use of unsanctioned (shadow) AI services and growing AI activity from mobile devices.  

For defenders, the challenge is increasingly one of context: understanding when legitimate business use crosses into material risk, while preserving privacy and user trust.

Conclusion

Across all three shifts, the pattern is the same: behavior precedes understanding. Security teams are not losing because adversaries have become invisible. An increasingly outdated security model assumes that malicious activity will reveal itself cleanly and early. It no longer does.  

In 2026 and beyond, defenders win by understanding behavioral sequences, continuously validating trust, and acting before certainty becomes hindsight. That is security after signatures. That is security in the AI era.

Credit to: Daniel Levy, Threat Hunting Data Scientist

Edited by: Ryan Traill, Content Manager

References

[1] https://www.cyber.gov.au/business-government/secure-design/artificial-intelligence/careful-adoption-of-agentic-ai-services  

[2]https://www.latimes.com/business/story/2026-02-26/hacker-used-anthropics-claude-ai-to-steal-mexican-government-data

Continue reading
About the author
Nathaniel Jones
VP, Security & AI Strategy, Field CISO
あなたのデータ × DarktraceのAI
唯一無二のDarktrace AIで、ネットワークセキュリティを次の次元へ