TOP > FAQ> アプリケーションについて

AV-Comparatives, AV-TESTについて

AV-Comparatives, AV-TEST, Gartnerなどに株式会社による検査は、毎回 500万円~2000万円程の参加費にて「良い成績」であることを証明してもらうマーケティング指標でしかありません。悪い結果は事前にスポンサーへ報告され、改善の機会が与えられたり、場合により該当検査そのものが全体の試験内容から除外されます。従って昨今におけるセキュリティの脅威に対し、なんの指標にもなっていません。街中の広告で「No.1 ※○○調べ」等と記されているものと同様です。但し、米国PC Magazine誌のみ、編集部が市場購入し長期利用者テストを実施しています。

【第一世代】AV-Comparatives, AV-TEST(もぐらたたき型の性能評価試験)
事業形態:株式会社
設立経緯:数社のセキュリティ会社がマーケティング的な側面から必要性を感じ、これら2社が相次いで設立された。
試験内容:

  • 試験費用500万円であり、セキュリティ企業が顧客
  • 試験用ソフトは各社より試験専用に提供され、市販品と同一ではない事も可能
  • 過去に検知されたウイルス検体を試験で再度利用し、結果が100%検知となるよう調整
  • 結果が芳しくない場合は、再試験制度あり(別途有償)
  • ブラックリスト方式が主流だった際の試験方法を現在も踏襲し、昨今の脅威とは検査結果はまったく異なる
  • 各国情報機関の諜報ツールをウイルスでない善良と分類

【第二世代】VirusBulletin (もぐらたたき型の性能評価試験)
事業形態:NPO
設立経緯:エンドポイントセキュリティ業界の国際的な横連携のために設立された団体
試験内容:

  • 試験費用60万円であり、セキュリティ企業が顧客
  • 試験用ソフトは各社より試験専用に提供を受け、市販品と同一ではない事も可能
  • 過去に検知されたウイルス検体を試験で何度か利用
  • 未知のウイルス検査ではオフラインにすることでシグネチャー配信を受信できないことで検査している
  • 再試験制度なし
  • ブラックリスト方式が主流だった際の試験方法を現在も踏襲のため、クライアントサーバ型の次世代エンドポイント保護製品の試験は現在行っていない
  • 各国情報機関の諜報ツールをウイルスでない善良と分類

【その他】PC Magazine (ロードテスト型)
事業形態:出版社
試験内容:PC Magazineは、歴史ある米国の雑誌社であり情報機器関連の大手サイト。

  • 同誌による推奨商品としての年間契約が可能(現在4社)
  • 試験は、セキュリティ専門のライターが実使用試験を通年で行い、その結果を不定期に発表
  • 参加エントリーは必要なく、米国市場シェアをみて追加・削除される
  • 製品は同社が自ら市場で購入したものを使用
  • 調査結果に作為的な意図はあまり入っていない

【その他】Gartner (製品の得意用途などをレポート)
事業形態:株式会社
試験内容:

  • レポートへの掲載費用として1回2000万円程を請求
  • アナリストがどのポジションの商品であるかを調査レポートへ掲載
  • セキュリティ会社は顧客企業
  • 性能評価ではなく、製品の特長などを総合評価


【AV-Comparatives, AV-TEST, VirusBulletin】

旧来のブラックリスト方式セキュリティソフトのもぐらたたき型部分の性能評価試験であり、クライアントサーバ型で稼働する次世代製品やグローバルホワイトリスト方式などを現在は試験対象としていません。次世代製品は、もぐらたたき型より性能が優れており、競争とならないためです。

以下のチャートがそれらの方式を決定づけてしまった2017年2月にVirusBulletinにて発表された試験結果です。これを最後にPC Maticのみならず全ての次世代製品は試験対象外となりました。※PC Pitstopは、PC Matic社の旧社名です。同社は、次世代製品を個人向けに提供した世界で最初の企業です。

PC Maticは、AV-TESTに参加しています。同試験ではフルスキャンにより、グローバルブラックリストへ追加済のものがウイルス検知率としてスコアされます。グローバルリストに追加されていない未監査のファイルはクラウドへ転送され、監査後に善悪に分類されますが、後出しジャンケンであるため、公平性のため判定結果はAV-TESTのスコアには反映しておりません。AV-TESTにて、「PC Maticがウイルス検体を0~1件未検知とレポート」されることが多いことから、AV-TESTの新たな検査時に追加されたウイルス検体数が約1つであることがわかります。毎月8千万個の新たなウイルスが発見されている中、たった1つです。

※ AV-Comparatives, AV-TEST, VirusBulletinに参加している Trend Micro Internet Security は、欧米市場向け製品であり、日中台などで発売されている Virus Buster等のエンドポイント保護とは異なるセキュリティエンジンの別製品です。

【信じるべきは評価ではなく開発国】

多くの評価手法は時代に則していなく、各社にて異なる製品使用なども考慮していません。これはPHVや電気自動車へ燃費測定を競っているようなもので、実態に則していないのです。また、調査会社への脅威サンプルには、国家情報機関による諜報ツールをスパイウェア指定としない試験が一般的です。しかも、諜報ツールをウイルス指定した際には、これを「誤検知」として判定されエンジン評価を下げる場合すらあります。私たちは政治的な配慮をせず、顧客重視の姿勢を保ちます。PC Maticは、諜報ツールを善良と分類することはせず、東側諸国への販売を致しません。(東側諸国では、発売の際に国家情報部門よりウイルス指定解除要請があるため)

いま現在、ウイルスの初犯率は99.99%で、再犯率はたったの0.01%しかありません(※)。しかし、AV-Comparatives, AV-TESTは、この再犯プログラムの0.01%を利用してウイルス検知率を測定しています。再犯であるため、逮捕は容易です。このため多くの参加セキュリティソフトが100%の防御率を記録していますが、感染の実態とは大きく異なります。ブラックリスト方式は、利用者が感染することでその検体を得て、事後対処する仕組みだからです。よってこれら、2社が発表する防御率の100%は、実態に即していないことを実感しているシステムインティグレータが多いのは、このためです。
※ 2017年1Q マイクロソフトによる公式発表。同社はどのセキュリティ企業よりも多くの検体を保有しています。



【ウイルス検体の流れと第三者評価機関の関係図】

セキュリティベンダーが悪質と思われるファイルを検知した際、リアルタイムもしくは、バッチ処理でamtso(株式会社、本社:スペイン)に検体を提出します。AMTSOは、ウイルス検査標準化のために裏方として活躍している著名企業で、世界中のウイルスサンプルを収集し、セキュリティベンダーへブラックリスト作成や研究のために再配信しています。

AV-Comparatives, AV-TESTは、インターネット黎明期にWANにパソコンを直接接続する利用体系が多かった時代に設立されました。評価機関と呼ばれていますが営利目的の法人です。社員はともに10人前後。定期検査を求めるセキュリティベンダーに対し、検査プログラムの提出を直接受け、定期検査を行います。この定期検査を行うプログラムは、市販されているものを評価に利用していないため、評価専用プログラムと専用シグネチャファイルを用いることが技術的には可能となっています。基本的に1993年~2002年頃まで主流であったブラックリスト型セキュリティソフトを対象とした検査方法で、私たちは「第一世代EPP検査方式」と呼んでいます。

AV-Comparatives, AV-TESTは、amtsoから提供を受けたウイルスサンプルから100個程度、用いてウイルス検知率調査を行います。既知のウイルス検体であるため、各セキュリティベンダーは事前にamtsoから提供を受けています。これを用いて第三者評価が行われます。PC Maticは、AV-TESTに参加しており、結果に「ゼロデイ防御」において件数が表記されています。AV-TESTはIPSによる防御方式での試験を採用していますが、PC Maticはパソコン性能に影響を与えない別の仕組で完全防御をしています。

第三者評価機関 VirusBulletinは、大学・ウイルス研究機関・個人からの提供など、自ら収集したウイルスサンプルを用いて「既知ウイルス」「未知ウイルス」をRAP TESTにて実施しています。セキュリティベンダーが入手していない検体であるため、最も正確な試験が行われていると長らく評価されていました。ブラックリストに加え、2003年~2014年頃まで主流であったパソコン内で未知のウイルスを監査するヒューリスティック型の2つの方式を持つセキュリティソフトを対象とした検査方法で、私たちは「第二世代EPP検査方式」と呼んでいます。

VirusBulletinの「未知ウイルス」検査はインターネット回線に接続させず、シグネチャ更新をさせないことで、セキュリティソフトが有するパソコン内で稼働するヒューリスティックエンジンの検知能力に主眼を置いた調査方法です。しかし、昨今においてはPC Maticを始めとしたクライアントサーバ型で稼働する人工知能型のセキュリティソフトが増加し、この評価手法の利用が困難になりつつあり、クライアントサーバ型については現在試験を休止しています。

米国パソコン雑誌の老舗 PC Magazine は、自動車の長期利用評価のような形で実運用しながら評価を行っている専門ライターを抱えています。その時点で発生しているランサムウェアやウイルス、危険なURLをクリックしてどのようになったかを長期に渡り、テストし続けています。利用者の利用状況に近い評価手法となっていますが、このような方法であるため、実施サンプル数はあまり多くありませんし、米国で出現しているものが主になります。



【既存セキュリティソフトは限界に】

インターネット黎明期においては、ウイルス数も少なくモグラ叩きの要領でセキュリティを担保することができました。パソコンがWANに直接接続され、ウイルスへの指令もあまり利用されていないポート番号を用いて応答する仕組みであったためパーソナルファイアーウオールは意味のあるものでした。

しかし現在は、ウイルスやスパイウェアなどを資金力のある悪質な組織が、人工知能技術を用いて1日100万個の新種を作成。再出現率は低く9割以上が新種で使い捨てです。パソコンはルータによりLANに接続され80,443番ポートを用いてC&CサーバへKeep alive手法で指令を受ける形に変化しています。人手によるもぐら叩きは限界であることが数年前から明白となっています。

この結果、2014年5月上旬、米Symantec社の上級副社長のブライアン・ダイ氏は、「エンドポイントセキュリティはウイルスを7割しか防御することができていない。もうエンドポイント保護製品は死んだ」とWall Street Journal誌に告白し、世の中に大きな衝撃を与えましたが、これはVirusBulletinの試験結果に以前から現れていました。



【新時代に対応する評価機関はなく単純比較は困難】

悪質な資金力豊富な組織が作成する悪質なプログラムに対し、セキュリティ企業に100人のマルウェアリサーチャーがいたとしても止めることができないのは、犯罪者と捜査組織の人数比から推測しても明らかで、非常に困難になっています。しかも、悪質な犯罪組織は機会学習を用いて大量生成しています。いまは、発電所を長時間停止したり、武器庫を爆破させる能力を持つ、サイバー兵器となったウイルスが兵器として作成し利用されている時代なのです。

この新たな時代に向け、防御側も従来方式ではない、様々なアプローチで新たな企業参入がなされています。その多くが、膨大なウイルスサンプルを分析したディープラーニング技術をベースに人工知能を活用した次世代エンドポイントセキュリティ製品です。クラウド上の資源が膨大に必要となるため高額になりがちで、主に法人向けに提供されています。

ディープラーニング手法を用いるため、検知ファイルをクラウド上に送信する必要があり、クライアントサーバ型で稼働するものが大半です。オフライン時には、未知のものを起動を許可させないというホワイトリスト型のアプローチを採用した仕組みが、米国NIST(日本のJISに相当)にて策定され、欧米およびオーストラリアで標準化されつつあります。

ホワイトリスト方式は未知の検査ファイル検知後に、企業側が検体の善悪判断を行うため、セキュリティ企業が後出しジャンケンとなり、評価のしようがなくなるのです。

この現代における新たなエンドポイントセキュリティ製品を完全に正しく評価する仕組みは、残念ながら現時点で第三者評価機関ありません。自動車ロードテストのような長期実利用試験を行うPC Magazineが一番近いところにいますが、検体数が圧倒的に不足しています。第三者評価機関も新たな仕組みで評価する時期が訪れてきており、ニューラルネットワーク型人工知能をクラウドで行うための第三世代EPP検査方式が世の中から求められていますが、まためまぐるしく変化する昨今の脅威状況において、現実的な評価方法がありません。これは、電気自動車が「電費や実用走行可能距離」を市場が求めているのに似ていますが、良い指標となるものの策定は困難です。

米PC Magazine誌 試験結果

【PC Maticの取り組み】

私たちは錯誤をもたらすマーケティング手法よりも、セキュリティソフト本来の使命である「感染させない」ことに注力しています。常に最新の脅威に対応するため、業界で標準的な、年に1度の新エンジンを搭載した新製品リリースではなく、随時セキュリティエンジンを自動更新し、お客様の手を煩わせることなく、安心安全を提供してまいります。

またご利用いただいているパソコンが購入当初の快適さを維持し続け、トラブルもなくご利用いただけることを使命にしています。メールサポートのみならず、訪問サポートの有償手配などを通じて、お客様に末永くご満足いただけるよう、迅速な顧客サポートと、たゆまぬ機能追加を行ってまいります。

セキュリティソフトは、防御能力のみならず、万が一に感染した場合の原因追求、追跡調査(フォレンジック)が求められます。PC Maticは、法人版のみならず個人版にもクラウド型EDR機能を標準実装しています。こうした総合的なサポート力が法人のみならず、個人の方にも迅速に対応することが求められていると私たちは考え、万全の体制を整えております。米国本社には、国際的に著名なマルウェアリサーチャーが多数在籍しております。

戻る