Teknik Evaluasi

PENGERTIAN
Evaluasi adalah sebuah proses yang secara sistematis  mengumpulkan data yang menginformasikan kepada kita tentang pendapat seseorang atau sekelompok user mengenai pengalamannnya menggunakan sebuah produk untuk sebuah tugas tertentu dalam sebuah lingkungan tertentu.
Evaluasi adalah suatu tes atas tingkat penggunaan dan fungsionalitas system yang dilakukan di dalam laboratorium, di lapangan, atau di dalam kolaborasi dengan pengguna. Yang dievaluasi pada interaksi manusia dan komputer adalah desain dan implementasinya. Evaluasi sebaiknya dilakukan dengan mempertimbangkan semua tahapan siklus hidup desain.
Seorang user berkeinginan untuk menggunakan sebuah sistem yang mudah dipelajari, dan penggunaannya sedapat mungkin efektif, efisien, aman, dan memuaskan. Selain itu, sedapat mungkin menyenangkan, atraktif, menantang, dll.
B.     TUJUAN EVALUASI
a)      Melihat seberapa jauh system berfungsi. Mencakup kesesuaian penggunaan system terhadap harapan user pada tugas tersebut. Evaluasi pada tahap ini meliputi pengukuran unjuk kerja dari user pada system, untuk melihat keefektifan system dalam mendukung tugas.
b)     Melihat efek interface bagi pengguna Mencakup aspek dari kemudahan system dipelajari, daya guna dan perilaku user.
c)      Mengidentifikasi problem khusus yang terjadi pada system Ketika penggunaan suatu konteks memberikan hasil yang tidak diinginkan, atau terjadi kekacauan di antara user. Tujuan ini merupakan aspek negatif dari desain.
C.    JENIS EVALUASI
1.      Dalam kondisi percobaan (Laboratory) : Pengujian system ini dilakukan pada ruang percobaan dengan beberapa kondisi diantaranya :
a.     Laboratorium yang bagus biasanya memiliki fasilitas perekaman audio/visual yang baik, cermin dua arah, komputer beserta perlengkapannya yang mungkin tidak ada pada lokasi kerja yang sebenarnya.
b.      Operator terbebas dari gangguan yang menghambat pekerjaan.
c.   Beberapa situasi hanya dapat dilakukan di laboratorium, misalnya system yang akan digunakan ditempatkan pada lokasi yang berbahaya atau terpencil.
d.      Dapat memanipulasi situasi untik memecahkan masalah dan melihat penggunaan presedur atau membandingkan beberapa alternatif perancangan dengan situasi yang sebenarnya.
e.  Situasi pada laboratorium tidak dapat menggambarkan situasi ruang kerja yang sebenarnya dan terdapat orang-orang yang tidak bisa bekerja pada kondisi seperti di laboratorium.
2.      Dalam kondisi lokasi kerja yang sebenarnya : Pengguna pengujian system ini pada lokasi kerja sebenarnya mempunyai beberapa kondisi, di antaranya :        
a.  Tingkat gangguan yang melebihi ambang batas, tingkat pergerakan yang tinggi dan interupsi yang tetap, seperti panggilan telepon yang menyebabkan observasi ini sulit dilakukan.
b.      Situasi yang lebih “terbuka” antar system dan pengguna.
c.       Aneka gangguan yang terjadi pada lokasi ini digunakan sebagai situasi yang mewakili situasi sebenarnya.
3.      Participatory design
Adalah suatu pemikiran yang melibatkan keseluruhan alur perancangan dan tidak hanya proses evaluasi saja. Perancangan ini dilakukan pada ruang kerja yang melibatkan pengguna yang tidak hanya digunakan sebaagai subyek percobaan tetapi juga sebagai anggota yang aktif dalam team perancangan. Argumennya adalah user dianggap ahli dalam konteks dan perancangan hanya dapat efektif pada konteks tersebut jika para ahli ini memberikan kontribusi yang aktif keperancangan.
ü  Memiliki beberapa karakteristik :
-          Meningkatkan lingkungan kerja dan tugas. Ini membuat perancangan dan evaluasi berorientasi kerja atau konteks dibanding berorientasi sistem.
-          Mempunyai sifat kerja sama (kolaborasi), yaitu pengguna dilibatkan sebagai anggota team dan mempunyai kontribusi pada setiap tingkat perancangan.
-          Mempunyai pendekatan iterative, perancangan adalah suatu subyek untuk evaluasi dan revisi pada setiap tingkatan.
D.    PARADIGMA EVALUASI
1)      ‘Quick and dirty’ evaluation
Adalah umpan balik berupa keinginan dan yang disukai dari user atau konsultan yang disampaikan secara infomal kepada desainer tentang produk yang dibuatnya. Evaluasi ini dapat dilakukan pada semua tahapan pembuatan produk dan penekanannya pada masukan yang cepat/sesingkat mungkin daripada temuan yang didokumentasikan secara hati-hati.
2)       Usability testing
Evaluasi ini cukup dominan digunakan  pada tahun 1980- an. Melibatkan pengukuran kinerja user dalam mempersiapkan tugasnya secara hati-hati , dari proses inilah maka dibuatkan design sistemnya. Kinerja umumnya diukur dalam jumlah kesalahan yang dilakukan dan waktu yang dibutuhkan untuk menyelesaikan tugas. Cara yang umumnya digunakan untuk membuat sistem ini yaitu dengan cara :
·         melihat secara langsung
·         merekamnya dalam video
Evaluasi ini menggunakan kuesioner dan wawancara kepada user tentang kepuasannya menggunakan sistem tersebut, Penelitian biasanya dilakuan di dalam laboratorium, diman user diberi suatu treatment tertentu (misal, cahaya, suara, warna, dll) atau biisa juga tanpa treatment.
3)       Field studies
Dilakukan dilingkungan asli user bekerja. Bertujuan untuk meningkatkan pemahaman tentang kerja user secara alami dan bagaimana dampak teknologi tersebut padanya. Dapat juga membantu mengientifikasi kesempatan sebuah teknologi baru, menentukan kebutuhan-kebutuhan untuk melakukan desain, memfasilitasi sebuah pengenalan teknologi. Teknik inni digunakan untuk interview, observasi, partisipatori. Dari data yang didapatkan tersebut, maka desiner dapat melakukan evaluasi.
4)       Predictive evaluation
Didasarkan pada pengalaman erang ahli dalam menghadapi user,dan biasanya hal ini dijadikan patokan untuk memprdiksi masalah-masalah penggunaan produk. Keuntungan dari teknik ini user yang di inginkan tidak perlu dihadirkan,proses pembuatannya relatif murah, cepat, dan cukup disukai oleh perusahaan. Tahun-tahun terakhir evaluasi ini cukup populer.
E.     MEMILIH METODE EVALUASI
Faktor yang membedakan teknik evaluasi. Ada 8 faktor yang membedakan teknik evaluasi yang berbeda yang membantu kita dalam memilih teknik yang sesuai, yaitu :
1. Tingkat siklus
2. Jenis evaluasi
3. Tingkat objektivitas dan subyektivitas
4. Jenis ukuran yang tersedia
5. Informasi yang tersedia
6. Kesiapan dari suatu respon
7. Tingkat gangguan yang tidak secara langsung
8. Sumber yang tersedia
F.     MENGEVALUASI PERANCANGAN
Evaluasi terjadi setelah proses perancangan. Evaluasi pertama system idealnya dilakukan sebelum implementasi dimulai. Jika perancangan dievaluasi, kesalahan dapat dihindari karena perancangan diubah/ diperbaiki sebelumnya. Sejumlah metode dibuat untuk mengevaluasi perancangan sebelum implementasi, yaitu :
1. Cognitive Walkthrough
2. Heuristic Evaluation
3. Review based
4. Model based
G.    MENGEVALUASI IMPLEMENTASI
Perbedaan yang besar dengan evaluasi perancangan adalah keberadaan implementasi system yang ada dalam berbagai bentuk. Hal ini dapat dimulai dari simulasi kemampuan interaktif system, sebagai contoh Wizard of Oz,  melalui  fungsi prototype dasar sampai dengan system yang telah diimplementasi secara keseluruhan.
a)      Metode Empirik : Evaluasi Eksperimen
Satu metode yang sangat kuat dalam mengevaluasi perancangan atau aspek dari perancangan adalah menggunakan eksperimen yang terkontrol. Ini menyediakan kenyataan empiris untuk mendukung klaim umum atau hipotesis. Setiap eksperimen memiliki dasar yang sama. Dalam bentuk dasar ada sejumlah factor penting terhadap keseluruhan kehandalan eksperimen, yang harus dipertimbangkan dalam perancangan eksperimen.
Faktor-faktor tersebut adalah :
1.      Subyek
2.      Variabel
3.      hypothesis
b)      Perancangan Eksperiment
Between-Groups (Randomized)
-          Masing-masing subyek diberikan kondisi yang berbeda yakni kondisi eksperimen (variable sudah dimanipulasi) dan control, yang identik dengan kondisi eksperimen kecuali untuk manipulasi ini. Control ini memastikan bahwa manipulasi bertanggungjawab untuk setiap perbedaan yang diukur.
-          Keuntungan perancangan ini adalah setiap user menghasilkan satu kondisi
-          Kerugiannya adalah dengan semakin banyak jumlah subyek yang tersedia akan menyebabkan hasilnya akan berkurang dan perbedaan antar setiap individu akan membuat bias hasil. Hal ini dapat diatasi dengan memilih dengan hati-hati subyek yang dipilih dan menjamin setiap kelompok terwakili.
Within-Groups
-          Setiap user akan menampilkan kondisi yang berbeda
-           Jumlah user yang tersedia lebih sedikit
-           Pengaruh dari subyek lebih sedikit
c)      Pengukuran Statistik
Dua aturan dalam analisa dengan statistik yakni : melihat data dan menyimpan data. Menyimpan data penting jika kita akan melakukan metode analisis yang berbeda. Pemilihan analisis statistika bergantung pada tipe data dan pertanyaan yang perlu dijawab.

Tidak ada komentar:

Posting Komentar

Langganan: Postingan (Atom)

Teknik Evaluasi

PENGERTIAN
Evaluasi adalah sebuah proses yang secara sistematis  mengumpulkan data yang menginformasikan kepada kita tentang pendapat seseorang atau sekelompok user mengenai pengalamannnya menggunakan sebuah produk untuk sebuah tugas tertentu dalam sebuah lingkungan tertentu.
Evaluasi adalah suatu tes atas tingkat penggunaan dan fungsionalitas system yang dilakukan di dalam laboratorium, di lapangan, atau di dalam kolaborasi dengan pengguna. Yang dievaluasi pada interaksi manusia dan komputer adalah desain dan implementasinya. Evaluasi sebaiknya dilakukan dengan mempertimbangkan semua tahapan siklus hidup desain.
Seorang user berkeinginan untuk menggunakan sebuah sistem yang mudah dipelajari, dan penggunaannya sedapat mungkin efektif, efisien, aman, dan memuaskan. Selain itu, sedapat mungkin menyenangkan, atraktif, menantang, dll.
B.     TUJUAN EVALUASI
a)      Melihat seberapa jauh system berfungsi. Mencakup kesesuaian penggunaan system terhadap harapan user pada tugas tersebut. Evaluasi pada tahap ini meliputi pengukuran unjuk kerja dari user pada system, untuk melihat keefektifan system dalam mendukung tugas.
b)     Melihat efek interface bagi pengguna Mencakup aspek dari kemudahan system dipelajari, daya guna dan perilaku user.
c)      Mengidentifikasi problem khusus yang terjadi pada system Ketika penggunaan suatu konteks memberikan hasil yang tidak diinginkan, atau terjadi kekacauan di antara user. Tujuan ini merupakan aspek negatif dari desain.
C.    JENIS EVALUASI
1.      Dalam kondisi percobaan (Laboratory) : Pengujian system ini dilakukan pada ruang percobaan dengan beberapa kondisi diantaranya :
a.     Laboratorium yang bagus biasanya memiliki fasilitas perekaman audio/visual yang baik, cermin dua arah, komputer beserta perlengkapannya yang mungkin tidak ada pada lokasi kerja yang sebenarnya.
b.      Operator terbebas dari gangguan yang menghambat pekerjaan.
c.   Beberapa situasi hanya dapat dilakukan di laboratorium, misalnya system yang akan digunakan ditempatkan pada lokasi yang berbahaya atau terpencil.
d.      Dapat memanipulasi situasi untik memecahkan masalah dan melihat penggunaan presedur atau membandingkan beberapa alternatif perancangan dengan situasi yang sebenarnya.
e.  Situasi pada laboratorium tidak dapat menggambarkan situasi ruang kerja yang sebenarnya dan terdapat orang-orang yang tidak bisa bekerja pada kondisi seperti di laboratorium.
2.      Dalam kondisi lokasi kerja yang sebenarnya : Pengguna pengujian system ini pada lokasi kerja sebenarnya mempunyai beberapa kondisi, di antaranya :        
a.  Tingkat gangguan yang melebihi ambang batas, tingkat pergerakan yang tinggi dan interupsi yang tetap, seperti panggilan telepon yang menyebabkan observasi ini sulit dilakukan.
b.      Situasi yang lebih “terbuka” antar system dan pengguna.
c.       Aneka gangguan yang terjadi pada lokasi ini digunakan sebagai situasi yang mewakili situasi sebenarnya.
3.      Participatory design
Adalah suatu pemikiran yang melibatkan keseluruhan alur perancangan dan tidak hanya proses evaluasi saja. Perancangan ini dilakukan pada ruang kerja yang melibatkan pengguna yang tidak hanya digunakan sebaagai subyek percobaan tetapi juga sebagai anggota yang aktif dalam team perancangan. Argumennya adalah user dianggap ahli dalam konteks dan perancangan hanya dapat efektif pada konteks tersebut jika para ahli ini memberikan kontribusi yang aktif keperancangan.
ü  Memiliki beberapa karakteristik :
-          Meningkatkan lingkungan kerja dan tugas. Ini membuat perancangan dan evaluasi berorientasi kerja atau konteks dibanding berorientasi sistem.
-          Mempunyai sifat kerja sama (kolaborasi), yaitu pengguna dilibatkan sebagai anggota team dan mempunyai kontribusi pada setiap tingkat perancangan.
-          Mempunyai pendekatan iterative, perancangan adalah suatu subyek untuk evaluasi dan revisi pada setiap tingkatan.
D.    PARADIGMA EVALUASI
1)      ‘Quick and dirty’ evaluation
Adalah umpan balik berupa keinginan dan yang disukai dari user atau konsultan yang disampaikan secara infomal kepada desainer tentang produk yang dibuatnya. Evaluasi ini dapat dilakukan pada semua tahapan pembuatan produk dan penekanannya pada masukan yang cepat/sesingkat mungkin daripada temuan yang didokumentasikan secara hati-hati.
2)       Usability testing
Evaluasi ini cukup dominan digunakan  pada tahun 1980- an. Melibatkan pengukuran kinerja user dalam mempersiapkan tugasnya secara hati-hati , dari proses inilah maka dibuatkan design sistemnya. Kinerja umumnya diukur dalam jumlah kesalahan yang dilakukan dan waktu yang dibutuhkan untuk menyelesaikan tugas. Cara yang umumnya digunakan untuk membuat sistem ini yaitu dengan cara :
·         melihat secara langsung
·         merekamnya dalam video
Evaluasi ini menggunakan kuesioner dan wawancara kepada user tentang kepuasannya menggunakan sistem tersebut, Penelitian biasanya dilakuan di dalam laboratorium, diman user diberi suatu treatment tertentu (misal, cahaya, suara, warna, dll) atau biisa juga tanpa treatment.
3)       Field studies
Dilakukan dilingkungan asli user bekerja. Bertujuan untuk meningkatkan pemahaman tentang kerja user secara alami dan bagaimana dampak teknologi tersebut padanya. Dapat juga membantu mengientifikasi kesempatan sebuah teknologi baru, menentukan kebutuhan-kebutuhan untuk melakukan desain, memfasilitasi sebuah pengenalan teknologi. Teknik inni digunakan untuk interview, observasi, partisipatori. Dari data yang didapatkan tersebut, maka desiner dapat melakukan evaluasi.
4)       Predictive evaluation
Didasarkan pada pengalaman erang ahli dalam menghadapi user,dan biasanya hal ini dijadikan patokan untuk memprdiksi masalah-masalah penggunaan produk. Keuntungan dari teknik ini user yang di inginkan tidak perlu dihadirkan,proses pembuatannya relatif murah, cepat, dan cukup disukai oleh perusahaan. Tahun-tahun terakhir evaluasi ini cukup populer.
E.     MEMILIH METODE EVALUASI
Faktor yang membedakan teknik evaluasi. Ada 8 faktor yang membedakan teknik evaluasi yang berbeda yang membantu kita dalam memilih teknik yang sesuai, yaitu :
1. Tingkat siklus
2. Jenis evaluasi
3. Tingkat objektivitas dan subyektivitas
4. Jenis ukuran yang tersedia
5. Informasi yang tersedia
6. Kesiapan dari suatu respon
7. Tingkat gangguan yang tidak secara langsung
8. Sumber yang tersedia
F.     MENGEVALUASI PERANCANGAN
Evaluasi terjadi setelah proses perancangan. Evaluasi pertama system idealnya dilakukan sebelum implementasi dimulai. Jika perancangan dievaluasi, kesalahan dapat dihindari karena perancangan diubah/ diperbaiki sebelumnya. Sejumlah metode dibuat untuk mengevaluasi perancangan sebelum implementasi, yaitu :
1. Cognitive Walkthrough
2. Heuristic Evaluation
3. Review based
4. Model based
G.    MENGEVALUASI IMPLEMENTASI
Perbedaan yang besar dengan evaluasi perancangan adalah keberadaan implementasi system yang ada dalam berbagai bentuk. Hal ini dapat dimulai dari simulasi kemampuan interaktif system, sebagai contoh Wizard of Oz,  melalui  fungsi prototype dasar sampai dengan system yang telah diimplementasi secara keseluruhan.
a)      Metode Empirik : Evaluasi Eksperimen
Satu metode yang sangat kuat dalam mengevaluasi perancangan atau aspek dari perancangan adalah menggunakan eksperimen yang terkontrol. Ini menyediakan kenyataan empiris untuk mendukung klaim umum atau hipotesis. Setiap eksperimen memiliki dasar yang sama. Dalam bentuk dasar ada sejumlah factor penting terhadap keseluruhan kehandalan eksperimen, yang harus dipertimbangkan dalam perancangan eksperimen.
Faktor-faktor tersebut adalah :
1.      Subyek
2.      Variabel
3.      hypothesis
b)      Perancangan Eksperiment
Between-Groups (Randomized)
-          Masing-masing subyek diberikan kondisi yang berbeda yakni kondisi eksperimen (variable sudah dimanipulasi) dan control, yang identik dengan kondisi eksperimen kecuali untuk manipulasi ini. Control ini memastikan bahwa manipulasi bertanggungjawab untuk setiap perbedaan yang diukur.
-          Keuntungan perancangan ini adalah setiap user menghasilkan satu kondisi
-          Kerugiannya adalah dengan semakin banyak jumlah subyek yang tersedia akan menyebabkan hasilnya akan berkurang dan perbedaan antar setiap individu akan membuat bias hasil. Hal ini dapat diatasi dengan memilih dengan hati-hati subyek yang dipilih dan menjamin setiap kelompok terwakili.
Within-Groups
-          Setiap user akan menampilkan kondisi yang berbeda
-           Jumlah user yang tersedia lebih sedikit
-           Pengaruh dari subyek lebih sedikit
c)      Pengukuran Statistik
Dua aturan dalam analisa dengan statistik yakni : melihat data dan menyimpan data. Menyimpan data penting jika kita akan melakukan metode analisis yang berbeda. Pemilihan analisis statistika bergantung pada tipe data dan pertanyaan yang perlu dijawab.

Tidak ada komentar:

Posting Komentar

Langganan: Postingan (Atom)