AV-Comparatives, AV-TESTなどの評価機関について

AV-Comparatives, AV-TESTによる検査は、毎回 500万円程の参加費にて「良い成績」であることを証明してもらうマーケティング指標でしかありません。四半期毎に実施されるエンジン検知能力定期試験は、前回の検体データが95%以上再利用され、新たに追加される検体数(しかも既知の検体)は一桁です。検知にミスしても軽微な検知ミスとなるよう調整されています。したがって、昨今におけるセキュリティの脅威に対して、何の指標にもなっていません。街中の広告で「No.1 ※○○調べ」等と記されているものと同様です。

【第一世代】AV-Comparatives, AV-TEST(もぐらたたき型の性能評価試験)
事業形態:株式会社
設立経緯:数社のセキュリティ会社がマーケティング的な側面から必要性を感じ、これら2社が相次いで設立された。
試験内容:

四半期毎に実施する「定期試験」とトピック的な試験の「随意試験」2種類
定期試験費用は年500万円程度であり、セキュリティ企業が顧客
試験用ソフトは各社より試験専用に提供され、市販品と同一ではない事も可能
エンジン検知能力定期試験では過去の試験で利用されたウイルス検体を9割以上再使用
結果が芳しくない場合は、再試験制度あり (別途有償)
再試験制度により、検知結果が100%検知となるよう調整し、なんらかの年間賞が授与される (全員一等賞)
エンジン検知能力定期試験は、20年以上試験方法を変えておらず、その頃主流であったブラックリスト方式を対象とし、最新技術のセキュリティエンジン搭載製品の測定には対応できていない
情報機関の諜報ツールをウイルスでない善良と分類されることあり
深刻なセキュリティ上の欠陥も、脅威と分類しない古い判断基準
随意試験のうち、ランサムウェア試験は四半期毎の定期試験化され、MITRE ATT&CKデータを基に実際に行われた攻撃手法などをシミュレートして実施され、実態に近い。所詮、既知の検体と感染手法であり、セキュリティソフトが対処できていなければ大問題

【第二世代】VirusBulletin (もぐらたたき型の性能評価試験):現在終了し第一世代へと後退
事業形態:NPO
設立経緯:エンドポイントセキュリティ業界の国際的な横連携のために設立された団体
試験内容:(2018年までの方式。現在は第一世代とほぼ同一)

【その他】PC Magazine (ロードテスト型):現在終了し、AV-TESTの試験結果を利用するように
事業形態:出版社
試験内容:PC Magazineは、歴史ある米国の雑誌社であり情報機器関連の大手サイト。

【その他】Gartner (製品の得意用途などをレポート)
事業形態:株式会社
試験内容:

レポートへの掲載費用として1回2,000万円程度
アナリストがどのポジションの商品であるかを調査レポートへ掲載
セキュリティ会社は顧客企業
性能評価ではなく、製品の特長などを総合評価

【AV-Comparatives, AV-TEST, VirusBulletin】

3組織とも、ヒューリスティック方式により、既知のマルウェア検知率を試験する仕組みが基本となっています。

AV-Comparatives, AV-TESTの両社は「エンジン検知能力定期試験」と、その時代に話題となっている脅威に対応した「随意試験」の2種類を行っています。随意試験は、各ベンダーに対し、その評価試験内容の詳細が提示され、その試験方法で良いスコアが獲得できる自信のある製品をもつベンダーが任意で参加する方式をとっています。定期試験は、実質的に参加者全員がNo.1を獲得できる方式を採用しています。随意試験はMITRE ATT&CKにて公開された実際に行われた攻撃をシミュレートして測定するなど、実態に則した検査結果が出やすい傾向になりますが、参加ベンダーは多くありません。

以下のチャートがプロアクティブ方式ともぐら叩き方式の差を決定づけてしまった2017年2月にVirusBulletinにて発表された試験結果です。これを最後にPC Maticのみならず全てのプロアクティブ製品は試験対象外となりました。※PC Pitstopは、PC Matic社の旧社名。同社は、プロアクティブ型の次世代製品を個人向けに提供した世界で最初の企業です。

実態に近い試験を行い、AV企業同士の交流会なども主催し、業界全体の底上げを担っていたVirusBulletin。2018年4月にVirusBuletinによって実施された最後のVB100試験結果が以下のリンクです。シグネチャー型セキュリティソフトをオフラインとし、その後に発見されたマルウェアをスキャンさせることで、「未知のマルウェア検知能力」を測定しています。
リンク先参照:VB100 Comparative Review - April 2018
「Reactive」が既知のマルウェア検知能力、「Proactive」が未知のマルウェア検知能力を示しています。

ご覧のとおり、結果は散々たるもので、この試験を最後に1989年から「AV性能を測定する」ことを目的に活動してきたvb100による 20年の歴史は事実上終了しました。
2017年にPC Maticが、両試験とも100%のスコアをvb100史上初めて獲得し、それがvb100参加企業の間で試験方法に関する議論の着火点となりました。

PC Matic社は、100%のスコア獲得以降、vb100への参加を拒否されるようにりました。それに続き、試験に参加しているセキュリティベンダーから「うちの製品の検知力が100%じゃないとマーケティング上困る」との理由からか、vb100への参加を見合わせるとの声が相次ぎ、結果としてVirusBulletinは AV-TEST, AV-Comparativesと同じ試験方法を採用。いまは誰も使わないメールのSPAM処理性能の測定などを独自に開始するものの、セキュリティソフトの性能向上を目的として設立されたVirusBulletinは、事実上機能停止しました。ヒューリスティック方式のセキュリティソフトの進化は、この時点で終了となりました。

VirusBulletinは、全世界のエンドポイント保護製品を手がけるセキュリティベンダーを集めた技術交流ミーティングの毎年開催が現在活動の中心となっています。

PC Maticは、他社製品と異なるゼロトラスト・セキュリティモデルのプロアクティブ型製品ですが、ヒューリスティック方式性能試験である、AV-TESTの定期試験も現在参加しています。この定期試験ではセキュリティソフトのファイルスキャン機能を利用し、マルウェアが検知されるかの試験となっています。PC Maticの場合、マルウェア分析官により悪質と事前に判定済であるファイルが検知数としてスコアされます。アプリケーションリストに追加されていない未監査のファイルはクラウドへ転送され、監査後に善悪に分類されます。未知のものは、AV-TESTのスコアにマルウェアであると反映されませんが後日分類がなされ、次回の定期試験時にマルウェアとして検知されます。

AV-TESTにて、「PC Maticがマルウェア検体を0～1件未検知とレポート」されることが多いことから、AV-TESTの毎月の定期検査時に追加したマルウェア検体数が約1つであることが逆にわかります。世界中で毎月1,350万個の新たなマルウェアが発見され、2022年は総数1,460億件のマルウェアが検出されている中、たった1つです。PC Maticは、『アプリケーション・リスティング方式であるにも関わらず、既にこれだけの検体がマルウェアとして登録済』を証明するため、モグラ叩き方式の試験に参加しています。

【マルウェア使い捨ての時代に、過去のマルウェア検体で試験しても無意味】

いま現在、マルウェアの初犯率は99.99%で、再犯率はたったの0.01%しかありません(※)。しかし、AV-Comparatives, AV-TESTは、この再犯プログラムの0.01%を利用してウイルス検知率を定期試験で測定しています。再犯であるため、逮捕(検知)は容易です。このため多くの参加セキュリティソフトが100%の防御率を記録していますが、感染実態とは大きく異なります。ブラックリスト方式は、利用者が感染することでその検体を得て、事後対処する仕組みだからです。よってこれら、2社が発表する防御率の100%は、実態に即していないことを実感しているシステムインティグレータが多いのは、このためです。
※ 2017年1Q マイクロソフトによる公式発表。同社はどのセキュリティ企業よりも多くの検体を保有しています。

また、調査会社への脅威サンプルには、国家情報機関による諜報ツールをスパイウェアと認定しない試験が一般的です。しかも、諜報ツールをマルウェア指定した際には、これを「誤検知」として判定されエンジン評価を下げる場合すらあります。セキュリティ製品を発売する国において、その国が関与した諜報ツールをマルウェア指定すると、その国での事業に影響を及ぼすことがあるためです。

【ヒューリスティック方式のセキュリティソフトは限界に】

インターネット黎明期においては、ウイルス数も少なくモグラ叩きの要領でセキュリティを担保することができました。パソコンがWANに直接接続され、ウイルスへの指令もあまり利用されていないポート番号を用いて応答する仕組みであったためパーソナルファイアーウオールは意味のあるものでした。

政府機関によりマルウェアが開発されているのにもかかわらず、研究開発費を抑制しセールストークとして使いやすい無駄な機能を続々とセキュリティソフトに追加し、新製品としているのではないでしょうか。

EMOTETは、2014年にロシアおよびウクライナから全世界にまき散らされたマルウェア感染プラットフォームとして有名です。多くのセキュリティベンダーは、最初に検知された翌日には、ワクチンとなるシグネチャーを亜種も含めて防御できるものを配信しています。

しかし、AV-Comparatives, AV-TESTにて、「No.1」を謳っているセキュリティベンダーの製品は、感染を許しています。これはシグネチャー運用を適切に行っていないことの証明ではないでしょうか。多くのセキュリティ製品は、EMOTETのような多く検出されるマルウェアには即座に対処を行い、感染は許していません。一部のセキュリティベンダーが、こうした対処を怠っていることをよそに、メディアに対して「最強であるため感染を完全に阻止することは難しい」と不思議な説明をしています。

【実態に則した評価機関は現在ない】

資金力のある悪質な組織が作成したマルウェアに対し、セキュリティ企業に数百人のマルウェアリサーチャーがいたとしても、感染前に止めることができないのは、犯罪者と捜査組織の人数比から推測しても明らかで、非常に困難です。しかも、昨今では機械学習を用いてマルウェアを大量生成しています。発電所や鉄道を長時間停止させたり、武器庫を爆破させる能力を持つ、サイバー兵器となった高度なマルウェアが作成され、戦争に利用されている時代です。

この新たな時代に向け、膨大なウイルスサンプルを分析したディープラーニング技術をベースに人工知能を活用したクラウトAI監査型次世代エンドポイントセキュリティ製品が現在主流となっています。Microsoft Defenderもこれに分類されます。PC Maticは、2014年からAIを用いたクラウド監査エンジンを提供してきました。(現在は、ブラックリスト保護モードでのみ利用されています。)

ディープラーニング手法を用いるため、検知ファイルをクラウド上に送信する必要があり、クライアントサーバ型で稼働するものが大半です。しかし、人工知能は「過去の検体、そして知見」に基づいて判断する仕組みであること、そして悪意ある組織も人工知能を用いて難読化など複数の技術を併用して、高度に兵器化されたマルウェアを開発するため、即座に結果を戻す必要のあるエンドポイント保護製品は、どうしても知見のない新種マルウェアを逃してしまうことになります。サンドボックスを利用しても、昨今のマルウェアは必ずしも即座に活動する訳ではないため尚更です。

これに応える形で「EDR/XDR」というエンドポイント保護(EPP)と併用する製品が登場しましたが、感染追跡やモニターを行うに過ぎず、感染を許してしまった際の緊急対処や犯人の証拠を得る製品になります。

この現代における新たなエンドポイントセキュリティ製品を完全に正しく評価する仕組みは、残念ながら現時点で第三者評価機関ありません。MITRE ATT&CKをシミュレートする試験が近いかもしれません。

【VirusTotalを用いた主要AVエンジン検出率スコア】

PC Matic 法人版は、他社AVエンジンと2層保護が可能です。以下は、PC Matic PROと併用するエンジン選定の資料として作成しました。主要なセキュリティコラムよりマルウェア情報を入手し、VirusTotalにて主要AVエンジンによるマルウェア検出率を調査している比較表になります。

PC Maticは、世界中の同社顧客が遭遇したことのない新しいハッシュ値をもつ実行可能ファイルの起動を保留し、マルウェア分析官による分類まで最大24時間要することがあるため、その間に顧客企業がマルウェアをローカルホワイトリストへ追加し、起動許可した際にマルウェアを活動させることがない、最新のマルウェアファイルを迅速に判定する能力を持つAVエンジン選定のための比較表です。このため、マルウェア検体がVirusTotalにアップロードされ、その検体が各社へ提出され、マルウェアとして識別されるまで短時間で判定されるかを目的に調査しているものです。

※上記表をクリックで最新のチャートを取得可能

【PC Maticの取り組み】

私たちは錯誤をもたらすマーケティング手法よりも、セキュリティソフト本来の使命である「感染させない」ことに注力しています。常に最新の脅威に対応するため、業界で標準的な、年に1度の新エンジンを搭載した新製品リリースではなく、随時セキュリティエンジンを自動更新し、お客様の手を煩わせることなく、安心安全を提供してまいります。防御方式も「プロアクティブ・セキュリティ」という善良と私たちが確認済のみを起動可能とする方式を採用。感染端末を長期間出さない実績を持ちます。この方式は、米国連邦政府、オーストラリア政府が政府取引を行う企業に対し義務化しているセキュリティ保護方式です。

現在、アメリカ連邦政府は、政府機関内で使用するアプリケーションを部署単位での許可制とする方針です。PC Maticの政府・行政機関専用製品である「PC Matic federal」はNIST SP800-53に準拠した、連邦政府の方針に添ったプロアクティブ型製品であり、アメリカ連邦政府全体の連邦リスクおよび承認管理プログラム「FedRAMP」にて、米国政府機関におけるクラウドセキュリティ認証制度に適合しています。

また、PC Maticはご利用いただいているパソコンが購入当初の快適さを維持し続け、トラブルもなくご利用いただけることを使命にしています。メールサポートのみならず、訪問サポートの有償手配などを通じて、お客様に末永くご満足いただけるよう、迅速な顧客サポートと、たゆまぬ機能追加を行ってまいります。

セキュリティソフトは、防御能力のみならず、万が一に感染した場合の原因追求、追跡調査(フォレンジック)が求められます。PC Maticは、法人版にクラウド型EDR機能を標準実装しています。こうした総合的なサポート力が求められていると私たちは考え、万全の体制を整えております。米国本社には、元FBIサイバー捜査官や、国際的に著名なマルウェアリサーチャー、最新暗号技術の解読に関する元政府機関のアドバイザーなど、各分野の専門家が多数在籍しております。

戻る