Antivirus Products Performance Testing-PassMark

PassMark ^TM Software adalah perusahaan pembangun software swasta yang didirikan pada tahun 1998 di Sydney, Australia. Passmark memproduksi hardware dan software komputer yang digunakanuntuk pengujian komputer dalam lingkungan Windows. PassMark telah berkembang dan memiliki puluhan ribu pelanggan, termasuk HP, Intel, Symantec, IBM dan Dell.
Selama bulan September dan Oktober 2008, PassMark melakukan pengujian kinerja Antivirus. Pengujian dilakukan pada semua produk baru Antivirus dengan memakai sistem IBM/Lenovo A55 ThinkCentre Desktop, Core2 6300, 1GB of RAM, 220GB Hard Disk Drive serta Sistem Operasi yang digunakan adalah Windows Vista Ultimate (32-bit). Pengujian beberapa Antivirus ini meliputi beberapa Benchmark yaitu sebagai berikut :

Benchmark 1 - Boot Time
Waktu windows booting setelah AV di install, dengan masing-masing produk diulang rata-rata 15 kali.

Benchmark 2 - Kecepatan Scan
Waktu scan, dengan jumlah 6159 file, total 982 MB. Sebagian dari file sistem windows dan lainnya dari file-file office, image, dan lainnya.

Benchmark 3 - Kecepatan Tampilnya Antarmuka
Waktu diukur baik dengan software maupun dengan manual (dengan stop watch)

Benchmark 4 - Penggunaan Memory
Setelah komputer booting maka penggunaan memory di ukur, setiap 5 menit sampai 15 kali pengukuran. Software yang digunakan adalah Sysinternals Process Explorer.

Benchmark 5 - Kecepatan Loading Internet Explorer (IE)
Mengukur seberapa besar efek antivirus/produk dengan kecepatan loading IE.

Benchmark 6 - Waktu Instalasi
Mulai dari awal proses sampai produk siap digunakan. Sehingga mencakup Extraction dan Setup, Copy File dan Post Installasi.

Benchmark 7 - Ukuran File Installasi
Mengukur penggunaan space di hardisk.

Benchmark 8 - Jumlah Key di Registry
Tiap antivirus yang sudah di install, biasanya akan menambahkan key di registry, dan tahap ini akan menghitung jumlah total key yang di buat setelah antivirus di install.

Benchmark 9 - Performa Real Time
Test ini meliputi seberapa cepat proses Copy, Move dan Delete file ketika antivirus sudah terinstall di komputer. Dengan jumlah sample 812, total 760,867,636 bytes.

Benchmark 10 - Installasi program lain (pihak ketiga)
Test ini mengukur seberapa lama ketika antivirus sudah terinstall dan digunakan untuk menginstall dan uninstall program lainnya. Digunakan sample Microsoft .NET Framework 2.0 (*.msi).

Benchmark 11 - Download file Binary
Waktu yang diperlukan untuk download file binary dari internet ( media dan dokumen), total sekitar 550 MB.

Benchmark 12 - Konversi format File
Waktu untuk mengkonversi audio dari MP3 > WAV dan MP3 > WMA.

Benchmark 13 - Kompresi dan Dekompresi File
Waktu yang diperlukan program 7Zip untuk membuat arsip file zip dan dekompresi zip tersebut. Total 404 file dengan ukuran 277 MB meliputi dokumen dan media.

Benchmark 14 - Menulis file, membuka dan Close
Proses ini melakukan test Input/Output (I/O), dengan software OpenClose.exe yang melakukan proses baca tulis file di hardisk.

Adapun hasil Antivirus yang sudah diuji :

Semakin kecil nilai semakin lebih baik.

Kecepatan Scan

Penggunaan Memory (RAM)

Waktu membuka IE (Internet Explorer)

Jumlah Key di Registry

Proses Write, Open Dan Close File

Hasil keseluruhan test :

Nama : Kadek Agus Wirawan
Nim : 060010099
Sumber : http://testingimplementasi.wordpress.com/2008/11/22/antivirus-testing/

Testing pada AntPilot – Game Client for “War of the Ants II”

War of the Ants II (WOTAII) adalah multiplayer strategy game yang dibangun berdasarkan arsitektur client server. Game ini dikembangkan oleh 3×20 Marching Ants Corporation untuk pasar game Linux. AntPilot sendiri merupakan software client untuk WOTAII yang dikembangkan oleh FireAnts Team dari AntFarm Division. AntPilot menyediakan graphical user interface di sisi client, bertanggungjawab mengadakan koneksi ke server, mengirimkan perintah-perintah, mengilustrasikan game dalam grafik 3D, dll.

Testing pada AntPilot

Proses testing dilakukan menggunakan komputer yang berada di laboratorium University of Guelph, yang mana telah memenuhi spesifikasi yang sudah ditetapkan pada Software Requirements Specification dan System Design Document. Testing dilakukan dengan seluruh game server yang ada, yaitu FlyingAnts dan ArmyAnts. Total dibutuhkan empat komputer untuk melakukan testing. Dua komputer digunakan untuk masing-masing server. Satu komputer digunakan untuk AntPilot berhubungan dengan server dan membuat game, sedang satu komputer lainnya digunakan untuk bergabung dengan game yang telah dibuat dan kemudian memulai game.

Cakupan dari proses testing ini dibagi menjadi tiga, yaitu black-box testing, white-box testing, dan direct-user testing. Tujuan yang ingin dicapai dalam proses ini adalah untuk mengetahui sebaik apa performa dari AntPilot, dan menemukan bagian yang perlu diperbaiki, termasuk software’s requirement.

- Black-box testing

Pada tahap ini, fokus dari testing dibagi menjadi tiga, yaitu :

• General Tests

Fokusnya adalah pengoperasian umum oleh pengguna. Beberapa hal yang diuji antara lain transisi menu, catching and handling errors, dll.

Contoh General Tests

• Game Play Tests

Fokusnya adalah interaksi antara pengguna dengan software ketika game berlangsung. Beberapa hal yang diuji antara lain apakah karakter dapat muncul di layar, apakah karakter dapat menjalankan perintah-perintah, dll.

Contoh Game Play Tests

• Quantitative Tests

Fokusnya adalah mengukur kecepatan performa secara umum. Beberapa hal yang diukur adalah seberapa cepat koneksi dengan server dapat terjadi, seberapa cepat respon perintah dijalankan, dll.

Contoh Quantitative Tests

- White-box testing

Pada tahap ini, fokus pengujian adalah kecocokan antara AntPilot dengan network protocol yang dikembangkan oleh Open Ants Standards Working Group (OASWG). Hal yang diuji adalah berjalannya komunikasi ke server, baik untuk mengadakan koneksi, membuat game, dll .

- Direct-user testing

Testing juga dilakukan pada sebuah grup yang dibentuk dengan variasi yang luas. Mereka diminta untuk menyelesaikan sejumlah perintah, dan mengisi kuisioner yang diberikan. Secara garis besar, pertanyaan yang diberikan adalah mencakup game screen, koneksi dengan server, dan sebaik apa game dapat berjalan. Melalui uji ini, dapat diketahui kepuasan pengguna terhadap penggunaan AntPilot.

Contoh Direct-user testing

Dalam proses testing ditemukan ada beberapa hal yang perlu diperbaiki, seperti penampilan error message yang belum lengkap, penerapan fitur dari protokol OASWG yang belum diimplementasi, dan beberapa perintah untuk karakter yang belum berjalan baik. Namun, secara umum AntPilot telah memenuhi banyak tujuannya, dan juga memberikan kepuasan yang cukup bagi pengguna. Pengembangan dan perbaikan perlu dilakukan untuk hasil yang lebih baik.

sumber : http://fortisi.wordpress.com/

Nama : Kadek Agus Wirawan

Nim : 060010099