TOP > FAQ> アプリケーションについて
AV-Comparatives, AV-TESTなどの評価機関について
AV-Comparatives, AV-TESTによる検査は、「良い成績」であることを証明してもらうマーケティング手法でしかありません。毎回 500万円程の参加費を支払っています。
四半期毎に実施されるエンジン検知能力定期試験は、前回の検体データが95%以上再利用され、新たに追加されるマルウェア検体数(しかも既知の検体)は一桁です。このため検知にミスしても軽微な検知ミスとなるよう調整されています。したがって、昨今におけるセキュリティの脅威に対して、何の指標にもなっていません。街中の広告で「No.1 ※○○調べ」等と記されているものと同様です。
AV-Comparatives, AV-TEST
事業形態:株式会社
設立経緯:数社のセキュリティ会社がマーケティング的な側面から必要性を感じ、これら2社が相次いで設立された。
試験内容:
- 四半期毎に実施する昔からの「エンジン検知能力定期試験」と最新のサイバー攻撃をMITRE ATT&CKにてシミュレーションする「ATP Test」2種類
- 各試験費用は年500万円程度であり、セキュリティ企業が顧客
- 試験会社による市中購入製品試験ではなく、ソフトは各社より提供され、市販品と同一ではない事も可能
- 昔からの試験方式は、過去の試験で利用されたウイルス検体を9割以上再利用し、高い防御率となる手法を導入
- 昔からの試験方式は、20年以上試験方法を変えておらず、その頃主流であったブラックリスト方式を対象の基本とし、最新技術のセキュリティエンジン搭載製品の測定には対応できていない
- 試験結果が芳しくない場合は、非参加として非表示にすることが可能
- 情報機関の諜報ツールをウイルスでない善良と分類させることあり
- 深刻なセキュリティ上の欠陥(MITRE CVE)も、脅威と分類しない古い判断基準
みんな一等賞なのに、なぜサイバー攻撃による被害が拡大の一途なのか考えてみよう。
VirusBulletin試験は現在終了
事業形態:NPO
設立経緯:エンドポイントセキュリティ業界の国際的な横連携のために設立された団体
試験内容:(2018年迄実施)
【AV-Comparatives, AV-TEST, VirusBulletin】
3組織とも、ヒューリスティック方式により、既知のマルウェア検知率を試験する仕組みが基本となっています。
ATP試験が実態に近いスコアだが、参加ベンダーは少ない
AV-Comparatives, AV-TESTの両社は10数年前から行われているブラックリスト保護方式のための「エンジン検知能力定期試験」と、最新の攻撃手法(MITRE ATT&CKを利用)に対応したATP能力を測定する等の「高度なサイバー攻撃試験(ATP Test)」の2種類を定期的に行っています。ATP試験は、各ベンダーに対し、その評価試験内容の詳細を事前に提示し、その試験方法で良いスコアが獲得できる自信のある製品をもつベンダーが任意で参加する方式をとっています。ブラックリストエンジン性能試験は、実質的に参加者全員がNo.1を獲得できる方式を採用していますが、AV-TESTが実施するATP Testは、昨今の脅威を対象としMITRE ATT&CKを用いた実態に即した試験であるため、参加ベンダーは多くありません。
AV-TEST 標的型攻撃スコア履歴
不都合な試験結果は非掲載
AV-Comparatives, AV-TESTの両社はセキュリティベンダーに対して、試験結果が芳しくなかった際は、参加をしていなかった事にすることができます。試験実施から２～３ヶ月経過してから結果が公表されるのはこうした調整期間です。このためベンダーに依っては、試験結果が不定期に掲載されたり、掲載されなかったりします。特にATP Testは最新のマルウェア検体を利用し、MITRE ATT&CKをシミュレートして防御能力の実態に近いため、この非掲載に関する傾向が顕著になります。掲載されている過去の試験結果を参照することで、ボーダーラインにあるベンダー製品を誰でも推測することができますが、そもそも自信があった企業のみATP Testに参加しています。
深刻な脆弱性を抱えていても善良???
PC MaticはAV-TESTのエンジン検知能力定期試験に参加しています。PC Maticは個人版も法人版もアメリカ政府が定めたゼロトラスト・セキュリティモデルに準拠した悪質な実行ファイル認定を行っています。MITRE CVEに該当する等の深刻な脆弱性が含まれている実行ファイルが試験内に含まれる場合は、悪質と判定していますがAV-TESTでは善良としており、それが「誤検知」としてユーザビリティの評価指標にてペナルティとなっています。PC Matic社は、利用者に脅威をもたらす、これら誤検出とされた実行ファイルを善良に分類することなく、顧客視点での保護ポリシーを貫き通します。最近のサイバー攻撃は、アプリケーションが抱える脆弱性(セキュリティホール)を突くことで悪意のある活動の突破口とします。リスクウェアとも呼ばれます。
AV-Comparativesは、ゼロトラストのプロアクティブ型は対象とせず、リアクティブ型のみ
以下のチャートが実態に近い調査を以前実施していたVirus Bulletinでアプリケーション・ホワイトリスティング方式と従来のセキュリティソフトの差を決定づけてしまった2017年2月の試験結果です。両試験とも100%のスコアをvb100史上初めて獲得し、それがvb100参加企業の間で試験方法に関する議論の着火点となりました。これを最後にPC Maticのみならず全てのプロアクティブ型の製品は試験対象外となりました。いまは誰も使わないメールのSPAM処理性能の測定などを独自に開始するものの、セキュリティソフト業界全体の性能向上を目的として設立されたVirusBulletinは、事実上機能停止しました。AI型を含むブラックリスト方式のリアクティブ型セキュリティソフトの進化は、この時点で終了となりました。
※PC Pitstopは、PC Matic社の旧社名。同社は、プロアクティブ型のゼロトラスト製品を個人向けに提供した世界で最初の企業です。
VirusBulletinは実態に近い試験を行い、AV企業同士の技術発表会や交流会などを毎年主催し、業界全体のレベル底上げを担っていました。以下のリンクは、2018年4月にVirusBuletinによって実施された最後のVB100試験結果です。セキュリティソフトが新たな脅威へ対応するための定義ファイルを取得させないことで、「未知のマルウェア検知能力」を測定しています。 リンク先参照:VB100 Comparative Review - April 2018
「Reactive」が既知のマルウェア検知能力、「Proactive」が未知のマルウェア検知能力を示しています。
【マルウェア使い捨ての時代に、過去のマルウェア検体で試験しても無意味】
2022年は総数1,460億件のマルウェアが検出され、マルウェアの初犯率は99.99%であり、再犯率はたったの0.01%しかありません(※)。しかし、AV-Comparatives, AV-TESTは、この再犯プログラムの0.01%を利用してウイルス検知率を定期試験で測定しています。再犯であるため、逮捕(検知)は容易です。このため多くの参加セキュリティソフトが検査機関での調査で100%の防御率を記録していますが、世の中の感染実態とは大きく異なります。ブラックリスト方式は、利用者が感染することでその検体を得て、事後対処する仕組みだからです。よってこれら、検査機関が発表する防御率が、実態に即していないことを実感しているシステムインティグレータが多いのは、このためです。
※ 2017年1Q マイクロソフトによる公式発表。同社はどのセキュリティ企業よりも多くの検体を保有しています。
【ヒューリスティック方式(EPP,EDR,XDR)のセキュリティは限界に】
インターネット黎明期においては、ウイルス数も少なくモグラ叩きの要領でセキュリティを担保することができました。しかし昨今において、ウイルス感染は一般的であり、エンドポイント保護では守ることができないと言われてきました。
EMOTETは、2014年にロシアおよびウクライナから全世界にまき散らされたマルウェア感染プラットフォームとして有名です。多くのセキュリティベンダーは、最初に検知された翌日には、ワクチンとなるシグネチャーを亜種も含めて防御できるものを配信しています。LockBitも同じです。
しかし、AV-Comparatives, AV-TESTにて、「No.1」を謳っているセキュリティベンダーの製品は、感染を許してしまっています。これはシグネチャー運用を適切に行っていないことの証明ではないでしょうか。優れたセキュリティ製品は、EMOTETのような多く検出されるマルウェアには即座に対処を行い、一部の顧客には被害を出してしまうものの、多数の顧客を守ることができています。一部のセキュリティベンダーが、こうした対処を怠っていることをよそに、メディアに対して「最強であるため感染を完全に阻止することは難しい」と不思議な説明をしています。
【実態に則した評価機関は現在ないが、AV TEST社がATP Testにて実態に近いものへ移行中】
今現在、新たなエンドポイントセキュリティ製品を完全に正しく評価する仕組みや第三者評価機関は、残念ながらありません。
AV-TESTがMITRE ATT&CKをシミュレートするATP Testが実態に近いかもしれませんが、既出の再利用されないマルウェアを用いた試験であり、100%阻止できて当然の試験内容です。攻撃に使われなくなったものに対して試験をしてもあまり参考にはなりません。
防御力に自信のある企業のみ参加していますが、それでも100%防御できていない製品もあります。前回この試験でスコアが芳しくなかった製品や、そもそも自信がない製品は、実際に悪用されたMITRE ATT&CKテクニックの防御試験に参加していません。参加していても結果が芳しくなかった際は、そもそも除外申請が可能です。
リンク:AV-TEST: More Protection Against Encryption and Data Theft
【VirusTotalを用いた主要AVエンジン検出率スコア】
PC Matic 法人版は、他社AVエンジンと2層保護が可能です。
下記資料は、顧客企業から併用する際の参考資料が欲しいとの要請が多いことから、PC Matic PROと併用するエンジン選定の資料として作成している表です。主要なセキュリティコラムからマルウェア情報(IOC)を入手し、VirusTotalにて主要AVエンジンによるマルウェア検出率を調査している比較表になります。
PC Maticは、世界中の同社顧客が遭遇したことのない新しいハッシュ値をもつ実行可能ファイルの起動を保留し、マルウェア分析官が分類するまで最大24時間要することがあります。
その間に顧客企業がマルウェアをローカルホワイトリストへ追加し、起動許可をさせることができますが、万が一マルウェアへの指定をしても、マルウェアを活動させることが少ないAVエンジン選定のための比較表です。
このため、マルウェア検体がVirusTotalにアップロードされ、その検体が各社へ提出され、マルウェアとして識別されるまで、短い日数で迅速にマルウェア判定されるかを目的に調査しているものです。
※各製品の優劣を表しているものではありません。 VirusTotalによるマルウェア検出能力調査
VirusTotalは、ブラックリスト方式のエンドポイント方式を対象にした仕組みです。UndetectedとしたAVエンジンではファイルは実行され、赤色のマルウェアと判断された際には実行が拒否されます。
PC Maticは、ホワイトリスト方式であるためVirusTotalの対象外です。「マルウェア分析官が全件人手で確認し善良と確認されたファイルのみ実行可能」としたアプリケーション・ホワイトリスティング方式ですので、VirusTotalに参加した場合は、新しいファイルはすべて赤色(Unknown)となり、数日後に善良と確認後に緑色(Undetected)となります。ブラックリスト方式とは真逆のアプローチになります。
【ゼロトラスト・セキュリティモデルのアプリケーション・ホワイトリスティング方式しか100%防御できない】
AIとマルウェア分析官のコラボレーションにより、善良なアプリケーションのみ利用可能とし、脆弱性(セキュリティホール)が発見された際には起動を停止します。
アメリカ政府による新しいセキュリティモデルであるゼロトラスト・セキュリティモデル NIST SP 800-167に準拠したアプリケーション・ホワイトリスティング方式のみ脅威を完全排除することができます。
現在、アメリカ連邦政府は、政府機関内で使用するアプリケーションを部署単位での許可制とする方針です。PC Maticの政府・行政機関専用製品である「PC Matic federal」はNIST SP800-53に準拠した、連邦政府の方針に添ったプロアクティブ型製品であり、アメリカ連邦政府全体の連邦リスクおよび承認管理プログラム「FedRAMP」にて、米国政府機関におけるクラウドセキュリティ認証制度に適合しています。
PC Maticは、従来のセキュリティソフトと遜色のない使い勝手で、未知の脅威に怯えることのない仕組みを実現しました。PC Matic社が8つの国際特許を取得しています。
現在、アプリケーション・ホワイトリスティング方式(NIST SP 800-167)を採用するため、Microsoft社を始めとして、各社が開発を急ピッチで進めています。
アメリカ、オーストラリアなど、AUKUS、そしてNATO陣営はこの仕組みがサイバー防衛の基本となることが決まっています。
アメリカ・サイバーセキュリティ庁(CISA)、連邦捜査局(FBI)及びオーストラリア・サイバーセキュリティ・センター（ACSC)は、PC Maticが採用するプロアクティブ型のゼロトラスト製品である、アプリケーション・ホワイトリスティング方式の採用をランサムウェアを始めとしたランサムウェア対策として採用することを繰り返し呼び掛けています。
戻る