AMTSO es la Organización para los Estándares de Evaluación Anti-Malware (en inglés, Anti Malware Testing Standards Organization) de la cual ESET es miembro junto a otros fabricantes de antivirus, proveedores de soluciones, organismos independientes, e instituciones académicas. Fue fundada en 2008 con el objetivo de mejorar la calidad, relevancia y objetividad de las metodologías utilizadas para la evaluación de soluciones de seguridad informática contra malware y otras amenazas informáticas. AMTSO trabaja en conjunto con otras organizaciones de evaluación y publica lineamientos y documentación que ha sido consensuada por todos sus miembros, algunos de ellos ya han sido traducidos al español por el equipo de ESET Latinoamérica.

La temática de la Certificaciones Antivirus es tratada en todos los seminarios educativos que dictamos en la Gira Antivirus, y una de las temáticas que surgen con frecuencia en los mismos es cómo hacen las entidades certificadoras para conseguir las muestras al momento de hacer las evaluaciones. Y una de las hipótesis que suele surgir entre los estudiantes es la posibilidad de crear muestras para poder hacer las comparativas. Aunque este es un debate frecuente, y algunas organizaciones han intentado utilizar estos métodos; la realidad es que estos no son efectivos y tienen una serie de inconvenientes que son el motivo por el cual AMTSO no acepta que sean realizadas de esta forma las evaluaciones.

Por tal motivo, la organización promovió un documento titulado Problemas relacionados a la creación de muestras para evaluaciones (en inglés, "Issues involved in the creation of samples for testing") donde analiza extensamente cuáles son los inconvenientes en utilizar esta práctica para hacer comparativas antivirus.

Los principales puntos del documento (que para aquellos que entiendan el inglés recomiendo leer en su totalidad), son los siguientes:

La compresión de archivos no puede ser considerada "creación de malware" porque no agrega funcionalidades realmente al malware ya existente, y sólo antivirus muy rudimentarios fallarán en su detección.
El empaquetamiento de archivos posee el mismo inconveniente: no agrega funcionalidades, se trata del mismo malware, no hay creación real.
La utilización de Kits de creación de malware tampoco agrega funcionalidades que no hayan sido vistas anteriormente. Lo mismo aplica a los sistemas de polimorfismo.

La única forma de creación real es efectivamente desarrollar software malicioso con técnicas ya existentes o nuevas, pero se encuentran los siguientes problemas:

Si se crean nuevas muestras, estas podrían servir como guías para los verdaderos creadores de malware, por lo que no es posible su publicación.
La creación artificial de malware no puede garantizar que refleja lo que realmente ocurrirá en el mundo real.
Existen formas de evaluaciones retrospectivas ("congelamiento" de bases de firmas) que no requieren la creación de malware y son efectivas, ¿para qué crear malware?
Si los creadores de malware van a crear una muestra como la creada, sólo es cuestión de esperarlos. Si no lo harán, esa muestra no tiene utilidad.

Para resumir todo el documento, y la idea esencial del post, prefiero tomar prestadas las palabras de David Harley, Director de Inteligencia de Malware de ESET, en el blog de ESET en inglés:

… si estás creando tu propio malware porque no puedes obtener muestras de otras fuentes, existen muchas posibilidades de que no tengas el conocimiento suficiente para crear muestras que representen las amenazas del mundo real.

Sebastián Bortnik
Analista de Seguridad