Why prompt analysis is emerging as a key AI security challenge

If securing AI has been one of the defining cybersecurity conversations of the past year, prompt analysis is quickly becoming one of its most interesting frontiers.

Security leaders are under pressure to understand how AI is being used across the business. In some organizations, that means governing employee use of chatbots. In others, it means overseeing copilots embedded into SaaS platforms, monitoring coding assistants, or assessing the growing footprint of autonomous agents. However different these use cases may appear on the surface, they share a common factor: humans and machines are usually interacting with enterprise systems through language.  

How prompt language differs from traditional security telemetry

For years, defenders have become used to working with familiar forms of telemetry: email traffic, network connections, API calls, endpoint processes, authentication events. Prompt language is different. It is not simply another log source. It is an expression of intent, instruction, curiosity, urgency, and sometimes manipulation. It reflects the end-goal of a user or agent, but not always with enough surrounding context to interpret the risk correctly.

Why existing security approaches only partially explain prompt risk

A growing number of vendors are approaching the task of securing AI from the angle they know best. Perimeter vendors are extending web or browser controls into AI usage. Identity vendors are emphasizing agent permissions and access governance. Data security and DLP providers are focusing on content inspection and exfiltration risk. All of these perspectives matter, but individually can’t fully explain the problem.

The challenge with securing AI is not just that a new application category has emerged. It is that language has become a new operating layer in the enterprise.

Employees now use prompts to summarize documents, generate code, analyze spreadsheets, query internal knowledge, and trigger multi-step actions through agents. In each case, prompt language acts as the interface between human intent and machine execution. That makes prompts incredibly valuable from a security perspective as they can hint at misuse, policy violations, data exposure, or attempts to circumvent controls. However, they can also be deeply ambiguous when viewed in isolation. That ambiguity is the heart of the issue.

Prompts as behavioral signals, not just text to classify

A prompt by itself tells you what was asked. It does not necessarily tell you whether the request is expected, risky, accidental, or entirely legitimate in context. Two nearly identical prompts can carry very different meanings depending on the role and function of who issued them, what systems they can access, and what actions followed. In other words, prompts are not just text to classify. They are behavioral signals to interpret.

Example: How context changes prompt risk entirely

Consider a common enterprise scenario. An employee is pulled into a new project with an aggressive deadline. Almost overnight, their use of AI tools spikes. They begin prompting more frequently, working across unfamiliar documents, querying new data sources, and interacting with more systems than usual to accelerate delivery. Viewed narrowly, this may look suspicious. Prompt volume increases, file access patterns change, API and SaaS activity rise. From some vantage points, it may resemble insider risk or unmanaged AI usage.

But now add context. Imagine that, earlier that day, the employee received instructions from a senior leader asking them to support a time-sensitive initiative. Their communication history shows that this leader is a legitimate reporting-line superior. Their recent collaboration patterns align with the new project team. Their subsequent activity, while unusual for that individual’s baseline, is consistent with the business task they were assigned.

What initially looked like a risk event may actually be a normal response to business pressure. Without the surrounding context of communication, organizational relationships, and broader behavioral patterns, prompt activity alone could generate more noise than insight.

The reverse is also true. A prompt may appear benign on the surface while the context around it suggests elevated risk. A request that seems routine could originate from a compromised user, a newly connected external agent, a shadow AI workflow, or a user acting outside their normal role. The language itself may not contain anything obviously malicious, but the surrounding conditions may tell a very different story.

What security teams need to analyze prompts effectively

The future of prompt analysis is not just about understanding language. It is about understanding language in context.

To do that well, security teams need more than prompt inspection. They need to understand:

• Who is issuing the prompt, whether human or agent

• How that identity normally behaves across the enterprise

• What systems, data, and workflows are connected to the interaction

• Which relationships and communications explain the surrounding activity

• Whether the downstream actions align with expected business behavior

When those layers are absent, prompt analysis can become another isolated control surface: useful in theory, but limited in practice. Security teams may detect unusual wording but miss the operational function behind it, overreact to benign changes in behavior, or miss subtle misuse because the prompt itself did not appear dangerous.

How organizations should think about prompt analysis going forward

Security teams have seen this pattern before. In the cloud, posture without runtime context left important gaps. In identity, access control without behavioral understanding missed misuse that looked legitimate on paper. In data security, content inspection without business context often created friction without resolving risk. AI is exposing the same lesson again: controls are strongest when they are coordinated, not isolated. As organizations work to secure AI and identify gaps across their security operations, prompt analysis will become an increasingly important source of insight, but only as part of a broader strategy.

Prompt analysis will undoubtedly become more common, as prompts are one of the clearest windows into how people and agents are using AI systems. However, what matters most is not simply collecting prompts or filtering dangerous phrases, but being able to place that language inside a wider behavioral and operational picture.

Organizations that already have a broader understanding of how work gets done across the enterprise will be better positioned to make sense of prompt language as this category matures. They will be better able to distinguish urgency from abuse, experimentation from exfiltration, and productive AI adoption from hidden risk.

At Darktrace, this is the key lesson emerging from the market: prompt language does matter, but it does not stand alone. It is most valuable when treated as a new behavioral input that can enrich understanding across the enterprise, not as a self-contained source of truth.

Why prompts become less useful when analyzed in isolation

The curious case of prompt language analysis, then, is this: the more important prompts become, the less useful they are in a vacuum.

The real opportunity is not just to see what was asked. It is to understand why it was asked, what it meant in that moment, and what happened next.

For a deeper look at how organizations are approaching this challenge from the strengths of prompt analysis to its limitations in isolation see Prompt Security in Enterprise AI: Strengths, Weaknesses, and Common Approaches, which expands on the role prompt-level controls play within a broader, context-driven security strategy.

ダークトレース、OpenAIのDaybreakサイバーパートナープログラムに参加

今日、ダークトレースがOpenAIのDaybreakサイバーパートナープログラムに参加したことが発表されました。私たちはOpenAIと協調して、OpenAIのサイバー機能をダークトレースの製品およびサービスにどう統合できるかを検証することで、ダークトレースの顧客に対して新たな機能を提供していきます。

このパートナーシップは、ダークトレースのビヘイビアAIモデリングをOpenAIの先進的コンテキスト機能と組み合わせることによりセキュリティチームに対して新たなレベルの理解を提供する、画期的な機会となります。この効果を理解していただくために、私たちがこの問題についてどう考えているかを説明することから始めたいと思います。

ダークトレースでは、サイバーセキュリティは防御対象のビジネスを理解する必要があるという基本的信念に基づいてAIを構築してきました。そのため、当社の自己学習型AIは、ユーザーやアイデンティティ、ネットワークやクラウド、Eメールやコラボレーションツール、そして現在はDarktrace / SECURE AI™の展開によりAIシステムやエージェントまでを含めて、各組織のデジタル環境全体における正常および異常な動作の理解を支援するよう設計されています。

私たちの目標は、これまでも単に既知の攻撃をより速く見つけることではありませんでした。自分たちの組織がどのように動作しているか、潜在的なリスクと影響、そして混乱がどこで起こり得るかを防御者が理解し、これまで見たことも想像したこともない未知の脅威に備えられるようにするためでした。

それはまさに今日の脅威ランドスケープで起こっていることです。攻撃は常に変化し続け、手法は移り変わり、インフラは進化し、攻撃者はより速く、正確に、そして状況に応じて動いています。そして今や彼らにはさらに多くの自動化とAIが味方についています。攻撃者は、アイデンティティ、信頼されたサービス、SaaSアプリケーション、およびビジネスワークフローを悪用しています。脅威は必ず外部から侵入しているわけではありません。脅威はしばしば組織内部から、内部関係者による脅威や悪意を持ったエージェントの形でやって来ることもあります。 

こうした現実のなかで、防御者は組織についての深いAIモデリングと、特定された脅威を具体的なビジネスコンテキストに結びつけ、この情報を現実の価値に変換し、リスクが障害に発展する前にアクションを取ることができるAIを必要としています。

私たちがOpenAIとの提携に見出しているチャンスはここにあります。

OpenAIのDaybreakサイバーパートナープログラムとは何か、そしてなぜダークトレースが参加するのか

OpenAI Daybreakサイバーパートナープログラムは、サイバーセキュリティへのAIの安全な利用を推進するためのプログラムです。プログラムの新たな段階として、OpenAIはダークトレースを含む選ばれた信頼できるパートナーと協調し、範囲を限定した製品インテグレーション、マネージド型サービス、パートナーを通じて提供される防御機能を検証します。私たちはOpenAIの高度なフロンティアAI機能が、日々利用しているツールやワークフローを通じてどのように防御者を支援できるかを模索します。

ダークトレースにとって、これは私たちの専門知識と過去10年間にわたって行ってきた取り組みの自然な延長線上にあります。それは、最も効果的なAI技術の組み合わせを安全かつ確実に適用することにより、組織を理解し、悪意あるアクティビティを最も早い兆候で検知し、サイバー防御者がより迅速に行動できるよう支援することです。

OpenAI Daybreakサイバーパートナープログラムで利用可能な高度なモデルとより精密なセーフガードを活用することで、ダークトレースとOpenAIは、組織のデジタルエステートについてのDarktraceのリアルタイムの動作理解と、広範なビジネスコンテキストを解釈するOpenAIの能力を組み合わせます。  

このユニークかつ強力な知見の組み合わせにより、技術的リスクについてより深いコンテキストを提供し、収益、業務、レジリエンスへの潜在的な影響に基づいて作業負荷や調査の優先順位を判断するのに役立てることができます。さらに、セキュリティチームや経営幹部に対して、どのイベントがビジネスにとって最も重要であるか、なぜ重要であるか、そしてどのような対応を取るべきかについての情報を提供することができます。たとえば、エージェントが侵害されていることを見つけるだけでなく、その侵害されたエージェントが今後3時間以内に注文の履行を停止させる可能性がある、ということを指摘することができます。

なぜダークトレースとOpenAIの提携が防御者にとって重要なのか

今日のセキュリティチームは、より多くのアタックサーフェスを管理し、より複雑な環境を保護しなければならず、脅威の量も増大しています。

迅速に行動する能力はきわめて重要ですが、それに加えて最もビジネスに影響を与えるリスクに集中できることも必要です。攻撃者がAIを使って大規模なフィッシングを行い、偵察を自動化し、弱点を見つけ、通常のビジネス活動に溶け込むことができる今、このことは特に重要です。同時に、組織とその従業員はAIを活用したイノベーションを進めており、そのことがアタックサーフェスをさらに広げ、新たなリスクをもたらしています。防御者は、こうした複雑な環境に対応し、安全で透明性があり、レジリエンスの強化に役立つAIを必要としています。また、組織全体でAIを安全に導入し、管理し、防御する方法が必要です。

OpenAI Daybreakサイバーパートナープログラムへの参加は、その方向へのさらなる一歩です。私たちはまだこの作業の初期段階にあり、慎重かつ規律あるアプローチで取り組んでいます。ただ、方向性は明確です。組織を守るには、攻撃だけでなくビジネスを理解するAIが必要です。

ダークトレースでは、まさにその点に重点をおいており、OpenAIとのこのパートナーシップに大きく期待しています。

‍

[related-resource]

‍