Imaginez que l'un de vos enfants est aux études et s’apprête à passer des examens d'entrée à l'université ou au collège. Vous connaissez la période à laquelle les examens se tiendront et les contenus qui pourraient être abordés; vous attendez maintenant de recevoir plus de détails de la part des institutions académiques. Même si vous ne disposez pas de tous les détails, votre jeune reste à la maison et étudie dur en préparation.
Au tout dernier moment, votre étudiant apprend, de façon officieuse, que l'examen est programmé. Cependant, aucun détail n'est offert par l’établissement. C’est stressé et frustré que votre élève passe l'examen.
Après l'examen, vous découvrez que certains étudiants ont obtenu des informations et des détails sur le contenu de l'examen. Pis encore, ils ont également été autorisés à emporter certains équipements pour les aider à passer l’évaluation. Après l'examen, ces mêmes étudiants ont de plus eu la chance de consulter leurs résultats et de négocier la notation des questions qu'ils n’ont pas réussies, afin d'améliorer leur note finale.
Je me doute que vous seriez contrarié, voire en colère, et que vous vous opposeriez probablement au processus injuste que votre enfant a subi. Dans ces circonstances, serait-il juste qu'une université ou un collège utilise les résultats de l'examen pour prendre la décision d'offrir ou non une place à votre enfant?
L'industrie de la lutte contre les logiciels malveillants et sa capacité à détecter les tentatives des cybercriminels de nuire aux systèmes ou de les rendre inutilisables peut paraître mystérieuse aux personnes à l'extérieur de l'industrie. C'est la raison pour laquelle il est important de tester l'efficacité des produits, pour qu’il ne soit pas essentiel d’être un expert pour savoir si un produit fonctionne bien ou non.
Cependant, la valeur de ces tests correspond à la compétence et l'éthique du testeur. Et bien que la plupart d’entre eux utilisent de bonnes pratiques éthiques, ce n’est pas forcément le cas de tous. Par exemple, un test pourrait avoir une méthodologie douteuse, ou inclure des participants vendeurs ayant une relation spéciale avec le testeur, ou permettre à certains vendeurs d'optimiser leurs produits, ou peuvent plus simplement mal s’exécuter. Chacune de ces situations peut remettre les résultats en question.
L'industrie de la sécurité se penche sur cette question depuis un certain temps déjà. La formation de l'Anti-Malware Testing Standards Organization (AMTSO), en 2008, avait d’ailleurs pour but de réunir les deux parties, les testeurs et les fournisseurs, et de créer un forum de dialogue. L'objectif et la charte de l'AMTSO, en résumé, est de fournir une telle tribune, de créer des normes et des pratiques exemplaires, d'offrir de l'éducation sur les tests et de créer des outils et des ressources pour faciliter les tests fondés sur des normes.
L’AMTSO est en train de créer des normes. L’organisation a d’ailleurs publié en décembre une ébauche approuvée par les membres, composés de testeurs, de fournisseurs et d'universitaires. On pourrait raisonnablement à ce que les testeurs membres de l'AMTSO conduisent des tests conformes à ce projet de normes. Après tout, ils font partie de l'organisation qui les a créés. Qui plus est, certains testeurs ont conduit des tests basés sur le projet, avec succès.
Toute évaluation, même si elle ne suit pas formellement les normes, devrait être effectuée dans des conditions équitables et impartiales. Par exemple, si certains fournisseurs ont la possibilité de configurer leur produit pour optimiser le résultat final ou se voient accorder un accès privilégié pendant le test, alors tous les fournisseurs devraient bénéficier des mêmes avantages. Si les règles du jeu ne sont pas équitables, il faudrait que soit indiqué clairement qui a bénéficié d’avantages et, plus important encore, qui ne l'a pas fait.
Il y a d'autres pratiques questionnables. Ainsi, que se passe-t-il si un fournisseur paie pour être testé juste avant un test de groupe? Doit-on l’inclure dans les résultats de ce test de groupe? Imaginez le scénario où, après qu’une méthodologie de test soit publiée, un fournisseur paie pour être testé par rapport à cette méthodologie, dans le but de connaître au préalable le résultat qu’il pourrait obtenir. Lorsque l'essai réel est effectué, ce fournisseur peut avoir entre temps optimisé la détection pour convenir à l'essai. Dans ce cas, est-ce que cela reflète le résultat qu'un acheteur du produit pourrait s'attendre à obtenir dans des conditions normales d'utilisation? Probablement pas.
Après qu'un test ait été effectué, une période de temps est à la disposition des fournisseurs, afin de leur permettre de valider les résultats. Cela leur permet de décider s'ils acceptent les résultats en termes de menaces loupées ou d’éléments légitimes détectés par erreur (ce qu'on appelle un faux positif). D'après mon expérience, certains testeurs utilisent cette étape ultérieure pour monétiser leurs tests - si vous voulez que les résultats soient validés, vous devez payer - alors que d'autres testeurs ne permettent qu'à certains fournisseurs de valider les résultats de leurs tests. La segmentation des fournisseurs, permettant à seulement certains d'entre eux de valider les résultats, rend les résultats de tests non-utilisables, puisqu’elle ne permet pas de comparer les produits de manière équitable ou précise.
Lorsque le chef de la sécurité (CSO) d’une organisation utilise un rapport comparant l'efficacité des produits anti-logiciels malveillants, il sera tout naturellement tenté de consulter directement le graphique qui affiche le pourcentage de logiciels malveillants détectés. Et lorsque les membres de l'équipe marketing d'un fournisseur utilisent les résultats de ces tests, ils n'incluent que ce graphique. Si le testeur a caché certaines incohérences dans la participation des différents fournisseurs, dans un paragraphe en plein milieu du rapport, il est peu probable que celles-ci soient lues et prises en compte dans l’évaluation des résultats finaux.
Si le rapport d'évaluation peut faciliter la décision cruciale du choix de protection à adopter sur la protection à choisir, il est essentiel que la méthodologie, les relations commerciales et l'éthique qui sous-tendent le test soient prises en compte. Si ces informations ne peuvent pas être obtenues à la lecture du rapport, il est indispensable de contacter le testeur pour obtenir plus d’éclaircissements.
Il est important qu'un test se déroule sur un pied d'égalité et que toutes les équipes participantes bénéficient des mêmes conditions, opportunités et options de validation. Si ce n'est pas le cas, alors les résultats sont biaisés en faveur des fournisseurs qui ont bénéficié de conditions privilégiées, et les résultats devraient figurer dans le bac de récupération sous mon bureau.
