TOP > FAQ> アプリケーションについて

AV-Comparatives, AV-TESTなどの評価機関について

AV-Comparatives, AV-TESTによる検査は、毎回 500万円程の参加費にて「良い成績」であることを証明してもらうマーケティング指標でしかありません。毎四半期実施されるエンジン検知能力定期試験は、前回の検体データが95%以上再利用され、新たに追加される検体数(しかも既知の検体)は一桁です。検知にミスしても軽微な検知ミスとなるよう調整されています。従って、昨今におけるセキュリティの脅威に対して、何の指標にもなっていません。街中の広告で「No.1 ※○○調べ」等と記されているものと同様です。

【第一世代】AV-Comparatives, AV-TEST(もぐらたたき型の性能評価試験)
事業形態:株式会社
設立経緯:数社のセキュリティ会社がマーケティング的な側面から必要性を感じ、これら2社が相次いで設立された。
試験内容:

  • 毎四半期実施の「定期試験」とトピック的な試験の「随意試験」2種類
  • 定期試験費用は年500万円程度であり、セキュリティ企業が顧客
  • 試験用ソフトは各社より試験専用に提供され、市販品と同一ではない事も可能
  • エンジン検知能力定期試験では過去の試験で利用されたウイルス検体を9割以上再使用
  • 結果が芳しくない場合は、再試験制度あり (別途有償)
  • 再試験制度により、検知結果が100%検知となるよう調整し、なんらかの年間賞が授与される (全員一等賞)
  • エンジン検知能力定期試験は、20年以上試験方法を変えておらず、その頃主流であったブラックリスト方式を対象とし、最新技術のセキュリティエンジン搭載製品の測定には対応できていない
  • 情報機関の諜報ツールをウイルスでない善良と分類されることあり
  • 深刻な脆弱性(セキュリティホール)も、脅威と分類しない古い判断基準
  • 随意試験のうち、ランサムウェア試験は四半期毎の定期試験化され、MITRE ATT&CKデータを基に実際に行われた攻撃手法などをシミュレートして実施され、実態に近い。所詮、既知の検体と感染手法であり、セキュリティソフトが対処できていなければ大問題
みんな一等賞

【第二世代】VirusBulletin (もぐらたたき型の性能評価試験):現在終了し第一世代へと後退
事業形態:NPO
設立経緯:エンドポイントセキュリティ業界の国際的な横連携のために設立された団体
試験内容:(2018年迄の方式。現在は第一世代とほぼ同一)

【その他】PC Magazine (ロードテスト型):現在終了し、AV-TESTの試験結果を利用するように
事業形態:出版社
試験内容:PC Magazineは、歴史ある米国の雑誌社であり情報機器関連の大手サイト。

【その他】Gartner (製品の得意用途などをレポート)
事業形態:株式会社
試験内容:

  • レポートへの掲載費用として1回2000万円程度
  • アナリストがどのポジションの商品であるかを調査レポートへ掲載
  • セキュリティ会社は顧客企業
  • 性能評価ではなく、製品の特長などを総合評価


【AV-Comparatives, AV-TEST, VirusBulletin】

3組織とも、ヒューリスティック方式により、既知のマルウェア検知率を試験する仕組みが基本となっています。

AV-Comparatives, AV-TESTの両社は「エンジン検知能力定期試験」と、その時代に話題となっている脅威に対応した「随意試験」の2種類を行っています。随意試験は、各ベンダーに対し、その評価試験内容の詳細が提示され、その試験方法で良いスコアが獲得できる自信のある製品をもつベンダーが任意で参加する方式をとっています。定期試験は、実質的に参加者全員がNo.1を獲得できる方式を採用しています。随意試験はMITRE ATT&CKにて公開された実際に行われた攻撃をシミュレートして測定するなど、実態に則した検査結果が出やすい傾向になりますが、参加ベンダーは多くありません。

以下のチャートがプロアクティブ方式ともぐら叩き方式の差を決定づけてしまった2017年2月にVirusBulletinにて発表された試験結果です。これを最後にPC Maticのみならず全てのプロアクティブ製品は試験対象外となりました。※PC Pitstopは、PC Matic社の旧社名。同社は、プロアクティブ型の次世代製品を個人向けに提供した世界で最初の企業です。

2017年2月VirusBulletin

実態に近い試験を行い、AV企業同士の交流会なども主催し、業界全体の底上げを担っていたVirusBulletin。2018年4月にVirusBuletinによって実施された最後のVB100試験結果が以下のリンクです。シグネチャー型セキュリティソフトをオフラインとし、その後に発見されたマルウェアをスキャンさせることで、「未知のマルウェア検知能力」を測定しています。
リンク先参照:VB100 Comparative Review - April 2018
「Reactive」が既知のマルウェア検知能力、「Proactive」が未知のマルウェア検知能力を示しています。

ご覧いただければわかるとおり、その結果は散々たるもので、この試験を最後に1989年から「AV性能を測定する」ことを目的に活動してきたvb100による 20年の歴史は事実上終了しました。
2017年にPC Maticが、両試験とも100%のスコアをvb100史上初めて獲得し、それがvb100参加企業の間で試験方法に関する議論の着火点となりました。PC Matic社は、100%のスコア獲得以降、vb100への参加を拒否されるようにりました。それに続き、試験に参加しているセキュリティベンダーから「うちの製品の検知力が100%じゃないとマーケティング上困る」との理由からか、vb100への参加を見合わせるとの声が相次ぎ、結果としてVirusBulletinは AV-TEST, AV-Comparativesと同じ試験方法を採用。いまは誰も使わないメールのSPAM処理性能の測定などを独自に開始するものの、セキュリティソフトの性能向上を目的として設立されたVirusBulletinは、事実上機能停止です。ヒューリスティック方式のセキュリティソフトの進化は、この時点で終了となりました。

VirusBulletinは、全世界のエンドポイント保護製品を手がけるセキュリティベンダーを集めた技術交流ミーティングの毎年開催が現在活動の中心となっています。

PC Maticは、他社製品と異なるゼロトラスト・セキュリティモデルのプロアクティブ型製品ですが、ヒューリスティック方式性能試験である、AV-TESTの定期試験も現在参加しています。この定期試験ではセキュリティソフトのファイルスキャン機能を利用し、マルウェアが検知されるかの試験となっています。PC Maticの場合、マルウェア分析官により悪質と事前に判定済であるファイルが検知数としてスコアされます。アプリケーションリストに追加されていない未監査のファイルはクラウドへ転送され、監査後に善悪に分類されます。未知のものは、AV-TESTのスコアにマルウェアであると反映されませんが後日分類がなされ、次回の定期試験時にマルウェアとして検知されます。AV-TESTにて、「PC Maticがマルウェア検体を0~1件未検知とレポート」されることが多いことから、AV-TESTの毎月の定期検査時に追加したマルウェア検体数が約1つであることが逆にわかります。世界中で毎月3千万個の新たなマルウェアが発見されている中、たった1つです。PC Maticは、『アプリケーション・リスティング方式であるにも関わらず、既にこれだけの検体がマルウェアとして登録済』を証明するため、モグラ叩き方式の試験に参加しています。

※ AV-Comparatives, AV-TEST, VirusBulletinに参加している Trend Micro Internet Security は、欧米市場向け製品であり、日本などアジア圏で発売されている Virus Busterとは異なるセキュリティ・コアエンジン搭載の別製品です。

【信じるべきは評価ではなく開発国】

これらエンジン検知能力定期試験の評価手法は、マルウェア数が少なかった2000年頃に開発された仕組みで、パソコン内のエンジンでワクチン情報に基づき即座にマルウェアであるかを数秒以内に判断を行うセキュリティエンジンを対象としています。昨今のクラウド監査型製品や、プロアクティブ方式などは対象としておらず、またこうした新しい強固な製品仕様なども考慮していません。これはPHVや電気自動車へガソリン燃費測定を競っているようなもので、実態に則していません。このため調査会社は、実態に則した「随意試験」を別途実施しています。

また、調査会社への脅威サンプルには、国家情報機関による諜報ツールをスパイウェアと認定しない試験が一般的です。しかも、諜報ツールをマルウェア指定した際には、これを「誤検知」として判定されエンジン評価を下げる場合すらあります。セキュリティ製品を発売する国において、その国が関与した諜報ツールをマルウェア指定すると、その国での事業に影響を及ぼすことがあるためです。PC Maticは、諜報ツールを善良と分類することはせず、東側諸国への製品販売を致しません。

いま現在、マルウェアの初犯率は99.99%で、再犯率はたったの0.01%しかありません(※)。しかし、AV-Comparatives, AV-TESTは、この再犯プログラムの0.01%を利用してウイルス検知率を定期試験で測定しています。再犯であるため、逮捕(検知)は容易です。このため多くの参加セキュリティソフトが100%の防御率を記録していますが、感染実態とは大きく異なります。ブラックリスト方式は、利用者が感染することでその検体を得て、事後対処する仕組みだからです。よってこれら、2社が発表する防御率の100%は、実態に即していないことを実感しているシステムインティグレータが多いのは、このためです。
※ 2017年1Q マイクロソフトによる公式発表。同社はどのセキュリティ企業よりも多くの検体を保有しています。



【ウイルス検体の流れと第三者評価機関の関係図】

セキュリティベンダーが悪質と思われるファイルを検知した際、リアルタイムもしくは、バッチ処理でamtso(株式会社、本社:スペイン)に検体を提出します。amtsoは、マルウェア検査標準化のために裏方として活躍している著名企業で、世界中のセキュリティ企業からマルウェアサンプルの提供を受け、セキュリティベンダーへブラックリスト作成や研究のために再配信しています。

AV-Comparatives, AV-TESTは、インターネット黎明期にWANにパソコンを直接接続する利用体系が多かった時代に設立されました。評価機関と呼ばれていますが営利目的の法人です。社員はともに10人前後。定期検査を求めるセキュリティベンダーに対し、検査プログラムの提出を直接受け、定期検査を行います。この定期検査を行うプログラムは、市販されているものを評価に利用していないため、評価専用プログラムと専用シグネチャファイルを用いることが技術的には可能となっています。基本的に1993年~2002年頃まで主流であったブラックリスト型セキュリティソフトを対象とした検査方法で、私たちは「第一世代EPP検査方式」と呼んでいます。

AV-Comparatives, AV-TESTは、自社獲得検体及びamtsoから提供を受けたウイルスサンプルを用いてウイルス検知率調査を行います。セキュリティ各社からamtsoに検体提出が行われた既知のウイルス検体です。各セキュリティベンダーは事前にamtsoから常時提供を受けています。これを用いて第三者評価が行われます。このためamtsoへの検体提供企業は結果として定期試験、随意試験で良いスコアが記録されます。

第三者評価機関 VirusBulletinは、大学・ウイルス研究機関・個人からの提供など、自ら収集したマルウェア検体を用いていましたが、現在はAMTSOからも調達しています。



【ヒューリスティック方式のセキュリティソフトは限界に】

インターネット黎明期においては、ウイルス数も少なくモグラ叩きの要領でセキュリティを担保することができました。パソコンがWANに直接接続され、ウイルスへの指令もあまり利用されていないポート番号を用いて応答する仕組みであったためパーソナルファイアーウオールは意味のあるものでした。

政府機関によりマルウェアが開発されているのにもかかわらず、研究開発費を抑制しセールストークとして使いやすい無駄な機能を続々とセキュリティソフトに追加し、新製品としているのではないでしょうか。

ある一例ですがEMOTETは、2014年にロシアおよびウクライナから全世界にまき散らされたマルウェア感染プラットフォームとして有名です。多くのセキュリティベンダーは、最初に検知された翌日には、ワクチンとなるシグネチャー(ワクチン)を亜種も含めて防御できるものを配信しています。
しかし、AV-Comparatives, AV-TESTにて、「No.1」を謳っているセキュリティベンダーの感染は、2022年の現在でも感染を許しています。これはシグネチャー運用を適切に行っていないことの証明でもあるのではないでしょうか。多くのセキュリティ製品は、EMOTETのような多く検出されるマルウェアには即座に対処を行い、感染は許していません。一部のセキュリティベンダーが、こうした対処を怠っていることをよそに、メディアに対して「最強であるため感染を完全に阻止することは難しい」と不思議なことを表明していいます。

この結果、2014年5月上旬、米Symantec社の上級副社長のブライアン・ダイ氏は、「エンドポイントセキュリティは、ウイルスを7割しか防御することができていない。もうエンドポイント保護製品は死んだ」とWall Street Journal誌に告白し、世の中に大きな衝撃を与えましたが、これはVirusBulletin(2018年迄の試験結果)及びPC Mazagineの試験結果に以前から現れていました。端末内で結果を即座に出すブラックリスト+ヒューリスティック方式は、2014年頃から増加してきた、AIを用いて開発されたサイバー兵器には対処することができないからです。

【ゼロトラストであるプロアクティブ・セキュリティ型製品に対応する評価機関は現在ない】

悪質な資をもつ組織が作成した悪質なプログラムに対し、セキュリティ企業に数百人のマルウェアリサーチャーがいたとしても止めることができないのは、犯罪者と捜査組織の人数比から推測しても明らかで、非常に困難になっています。しかも、悪質な犯罪組織は機械学習を用いて大量生成しています。いまは、発電所や鉄道を長時間停止させたり、武器庫を爆破させる能力を持つ、サイバー兵器となった高度なマルウェアが作成され、戦争に利用されている時代なのです。

この新たな時代に向け、膨大なウイルスサンプルを分析したディープラーニング技術をベースに人工知能を活用したクラウトAI監査型次世代エンドポイントセキュリティ製品が現在主流となっています。Microsodr Defenderもこれに分類されます。PC Maticは、2014年からAIを用いたクラウド監査エンジンを提供してきました。(現在は、ブラックリスト保護モードでのみ利用されています。)

ディープラーニング手法を用いるため、検知ファイルをクラウド上に送信する必要があり、クライアントサーバ型で稼働するものが大半です。しかし、人工知能は「過去の検体、そして知見」に基づいて判断する仕組みであること、そして悪意ある組織も人工知能を用いて難読化など複数の技術を併用して、高度に兵器化されたマルウェアを開発するため、即座に結果を戻す必要のあるエンドポイント保護製品は、どうしても知見のない新種マルウェアを逃してしまうことになります。サンドボックスを利用しても、昨今のマルウェアは必ずしも即座に活動する訳ではないため尚更です。

これに応える形で「EDR/XDR」というエンドポイント保護(EPP)と併用する製品が登場しましたが、感染追跡やモニターを行うに過ぎず、感染を許してしまった際の緊急対処や犯人の証拠を得る製品になります。

このような昨今の事態に対処するため、アメリカ連邦政府は 2021年にバイデン大統領令にて「ゼロトラスト設計に基づくホワイトリスト方式」への対応を含む全国のセキュリティ強化策を表明し、プロアクティブ型製品を基本とした新しいセキュリティ・フレームワークの推進をNIST SP 800系として標準化しています。オーストラリア政府もこの仕組みへ準拠しています。

プロアクティブ型製品となる、アプリケーション・ホワイトリスティング方式(NIST SP 800-167)は未知の検査ファイル検知後に、企業側が検体の善悪判断を行うため、セキュリティ企業が後出しジャンケンとなり、悪意のあるものによる影響を最小限に留めることができるのです。ゼロトラスト設計とされる所以です。2022年にPC Maticは、連邦政府調達認証 FedRAMPをエンドポイント保護製品として認証を取得しています。

この現代における新たなエンドポイントセキュリティ製品を完全に正しく評価する仕組みは、残念ながら現時点で第三者評価機関ありません。自動車ロードテストのような長期実利用試験を行うPC Magazineが一番近いところにいますが、検体数が圧倒的に不足しています。第三者評価機関も新たな仕組みで評価する時期が訪れてきており、実態に則した検査方式が世の中から求められていますが、まためまぐるしく変化する昨今の脅威状況において、現実的な評価方法がありません。MITRE ATT&CKをシミュレートする試験が近いかもしれません。これは、電気自動車が「電費や実用走行可能距離」を市場が求めているのに似ていますが、良い指標となるものの策定は困難です。

米PC Magazine誌 試験結果

【PC Maticの取り組み】

私たちは錯誤をもたらすマーケティング手法よりも、セキュリティソフト本来の使命である「感染させない」ことに注力しています。常に最新の脅威に対応するため、業界で標準的な、年に1度の新エンジンを搭載した新製品リリースではなく、随時セキュリティエンジンを自動更新し、お客様の手を煩わせることなく、安心安全を提供してまいります。防御方式も「プロアクティブ・セキュリティ」という善良と私たちが確認済のみを起動可能とする方式を採用。感染端末を長期間出さない実績を持ちます。この方式は、米国連邦政府、オーストラリア政府が政府取引を行う企業に対し義務化しているセキュリティ保護方式です。

現在、アメリカ連邦政府は、政府機関内で使用するアプリケーションを部署単位での許可制とする方針です。PC Maticの政府・行政機関専用製品である「PC Matic federal」はNIST SP800-53に準拠した、連邦政府の方針に添ったプロアクティブ型製品であり、アメリカ連邦政府全体の連邦リスクおよび承認管理プログラム「FedRAMP」にて、米国政府機関におけるクラウドセキュリティ認証制度に適合しています。

また、PC Maticはご利用いただいているパソコンが購入当初の快適さを維持し続け、トラブルもなくご利用いただけることを使命にしています。メールサポートのみならず、訪問サポートの有償手配などを通じて、お客様に末永くご満足いただけるよう、迅速な顧客サポートと、たゆまぬ機能追加を行ってまいります。

セキュリティソフトは、防御能力のみならず、万が一に感染した場合の原因追求、追跡調査(フォレンジック)が求められます。PC Maticは、法人版にクラウド型EDR機能を標準実装しています。こうした総合的なサポート力が求められていると私たちは考え、万全の体制を整えております。米国本社には、元FBIサイバー捜査官や、国際的に著名なマルウェアリサーチャー、最新暗号技術の解読に関する元政府機関のアドバイザーなど、各分野の専門家が多数在籍しております。

戻る