最近、社内で実施する独自の検出テストによって自社製品の優秀さをアピールしようとするアンチウイルスベンダーが増えていますが、この問題について、ESETブラティスラバのセキュリティテクノロジーアナリストであるJan Vrabecがブログでコメントしています。以下はその要約版です。

ほとんどのベンダーは、自社製品の機能の検証や改善を目的として社内テストを実施しています。これは当然であり、むしろ実施すべきテストです。しかしこの種のテストは、大げさな宣伝文句や巧妙に作られた画像、動画とともに、自社製品に都合を合わせた利用が少なくありません。中には、製品の検出性能を示すのに社内テストの結果しか提示しないベンダーさえ存在します。

一部のベンダーがこのような行為に走るのはなぜなのでしょうか。わたしには、製品に自信がないからとしか思えません。独立機関が実施するテストで、自社製品がよい成績を残せるかどうか不安に感じているのでしょうか。または、独立テストによって、自社製品が採用する手法の欠陥が明らかになることを恐れているのでしょうか。それとも、テストセットを作為的に選別できるといった「地の利」を活かし、自社製品に有利なように結果を操作できるというメリットに抗い難いものを感じているのでしょうか。新参のベンダーは、すでに確固たる地位を確立しているベンダーの実績におじけづき、それに匹敵するような成績を残すのは簡単ではないと考えているのかもしれません。しかし、テストを実施する側と受ける側が同じ組織であれば、当然、その組織の製品だけが特に高く評価されるという事態も起きてきます。

ベンダー社内と専門知識を持つ独立テスト機関によるテストの実施方法を比べてみると、当事者によるテストはこのほかにもいくつか大きな問題を抱えていることがわかります。

通常、専門のテスト機関は手法を公開していますし、対象ベンダーにサンプルを提供してテスト結果を検証できるようにしている場合もあります。一方、結果のマーケティング利用を目的とする社内テストの場合、テスト手法は公開されずサンプルも提供されないケースがほとんどです。詳細を明らかにせず、ただ「方法は適切だから信用しろ」といっているかのようなこのアプローチでは、いかにユーザーが賢明であっても、テストの客観性や有効性について意味のある結論を導き出せず、テスト対象製品の検出性能を別の製品と正しく比較することもできません。

では、アンチウイルス製品のテストについてはどのような情報が提供されるべきなのでしょうか。まず挙げられるのは、テストの実施方法と実施者についてです。この情報によって、テストが業界標準に準拠しているかどうかを確認することができます。業界標準の例としては、AMTSO（Anti-Malware Testing Standards Organization）が策定したガイドラインなどがあります。

テスト結果の詳細な検証の結果、サンプルの選択や分類、検証が不適切であると明らかとなる場合もあります。

一見信頼できそうなテスト結果であっても、テストで使用されたサンプルの分類を間違えていたために、実際とはまったく異なる結果になっている事例も少なくありません。

例えば、大量の誤検知が発生した場合でも、それはマルウェアのサンプルが誤ってクリーンな（AMTSOの用語では「innocent/無害な」）ファイルと分類されていることが原因かもしれません。また、サンプルの検証が不十分で（あるいは検証が行われなかったために）無害なファイルがマルウェアと分類されている場合には、製品の検出性能が低いと評価されてしまう可能性があります。ありがちながら発覚しにくい問題としては、PUA（Potentially Unwanted Application：ユーザーにとって好ましくない動作をする可能性のあるアプリケーション）などのグレーなサンプルが完全なマルウェアとして分類されているケースが挙げられます。このケースでは、PUAを検出しないよう初期設定されている製品は、設定次第で検出できるはずのサンプルを見逃してしまい低く評価されてしまうのです。この場合、テスト結果は、実際の検出性能ではなくテストの設計ポリシーによって決まってしまいます。

同様の問題は、破損していて実行できないサンプルや、極めて限定された状況下（どう考えても非現実な状況など）でのみ不正な活動を行うサンプルなどによっても起きます。このため、アンチマルウェア製品の性能を正確に比較するためには、テストで使用するマルウェアサンプルを正しく分類、検証することが非常に重要なのです。

AMTSOが公開している『Fundamental Principles of Testing』の第5原則では、テスターに対し、検出漏れや誤検知を引き起こしたと見られるテストサンプルを改めて確認するよう推奨しています。

購入するセキュリティ製品を選ぶ際には、ベンダーが主張する性能の根拠（独立テストの結果やレビューなど）を確認するようにしてください。業界で認められている独立テスト機関には次のような組織があります。

• AV-Comparatives
• Virus Bulletin
• AV-Test.org

次に購入するアンチマルウェア製品を選ぶ際には、これほど複雑で高度なアプリケーションを生み出すために、どれだけ開発および保守コストが費やされているかを考えてみるのもいいかもしれません。1つの判断材料となるのが、製品の実績やベンダーの業績といったこれまでの経歴です。独立テスト機関から受賞したアワードは、そのベンダーのテクノロジーの優秀さ、ユーザーを脅威から保護するために掛けられた時間と労力の目安となります。

この5月は、ESETの各リサーチチームにとって多忙な1ヵ月となりました。パリで開催されたEICARカンファレンスでは、Jan VrabecとDavid Harleyがパフォーマンステストについての論文を、David Harley、Pierre-Marc Bureau、Andrew LeeがApple製品のセキュリティ問題についての論文を発表しました。どちらの論文も、ESET Webサイトのホワイトペーパーページの「ESET Conference Papers」セクションからダウンロードすることができます。前者の『Real Performance?』は、AMTSO Webサイトのリソースページからもダウンロードできます。このページには、特定の製品に限定されないテスト関連資料へのリンクが多数掲載されています。フィンランドのヘルシンキで開催されたAMTSOワークショップでは、新しいガイドライン『AMTSO Performance testing guidelines』と『Whole Product Protection Testing Guidelines』が承認されました。こちらは、まもなくAMTSO Webサイトのドキュメントページで公開される予定となっています。

AMTSOのホワイトペーパー『Issues involved in the “creation” of samples for testing』に関しては、興味深い（そしていささか混乱気味の）記事がOffensive Computingに掲載されています。筆者のDanny Quist氏はこの記事の中で、同ホワイトペーパーはAMTSOの考えが的外れであることを示していると指摘し、その理由を次のように述べています。

「マルウェア作者はここで挙げられているすべての手法を用いており、大きな成功を収めている」

一方、David HarleyはAMTSOのブログで次のように述べています。

「この点に関しては、もちろんQuist氏のいうとおりです。テスト目的で新たにマルウェアを作成する行為が、控えめにいって『余計』であるのはそのためです。また、マルウェアのサンプルが手に入らないからといって独自に作成しようとする人は、おそらく実際の脅威と同等レベルのサンプルを作る知識を持ち合わせていないでしょう。マルウェア作者には倫理観がないという意見も、この問題とは関係がありません。すぐれたテスターは正しい倫理観を持っており、『自分たちはユーザーに対し、可能なかぎり正確にテストを行う責任を負っている』と考えています。また、テスト目的で作られたサンプルは本物のマルウェアとは違うと認識しています」

「…業界関係者以外の人々に、マルウェアサンプルを無制限に提供することが倫理的に問題なのは、誠実さや道徳性という点で疑問が残る人々、あるいはサンプルを適切に扱うスキルが未知数である人々もサンプルを入手できるようになってしまう、という理由だけではありません。…ある製品をことさら良く見せかけるバイアスはいくらでも存在し、実際、これまでもそのようなバイアスが利用されてきました。…仮に、すべての製品が検出すべきサンプルを適切にまとめたものを公開したとしても、非専門家が公正かつ正確にアンチウイルス製品をテストするのは容易ではありません。『どのくらい難しいのか』という問いに対しては、差し当たり『そのために学ぶべきことは山ほどある』とお答えしておきましょう」