AI dapat menghasilkan draf dokumentasi dalam hitungan detik. Apakah draf tersebut benar adalah pertanyaan yang berbeda, dan keakuratan dokumentasi AI adalah hal yang menentukan apakah pada akhirnya ada orang yang memercayai dokumentasi Anda.

Ini mencakup apa arti sebenarnya dari keakuratan dokumentasi AI, kesalahan spesifik yang cenderung dilakukan AI, cara meninjau dokumentasi yang dihasilkan AI agar Anda dapat menemukannya, dan cara mengurangi kesalahan pada sumbernya sehingga proses peninjauan menjadi lebih singkat seiring berjalannya waktu.

Apa Arti Keakuratan bagi Dokumentasi yang Dihasilkan AI?

Keakuratan dokumentasi yang dihasilkan AI bukanlah satu properti tunggal. Prosedur yang dihasilkan bisa salah dalam empat cara yang berbeda, dan mereka membutuhkan pemeriksaan yang berbeda.

• Keakuratan faktual: langkah-langkah menggambarkan apa yang sebenarnya terjadi. Nama tombol, label kolom, dan urutannya cocok dengan antarmuka yang sebenarnya

• Kelengkapan: tidak ada hal wajib yang terlewatkan. Di sinilah konten yang dibuat otomatis paling sering gagal, karena input jarang berisi segalanya

• Keakuratan urutan: langkah-langkah berada dalam urutan yang harus dilakukan, dan dependensinya tidak terbalik

• Keakuratan kontekstual: penalaran, kondisi, dan batasannya benar. Sebuah langkah bisa saja benar secara faktual namun tetap menyesatkan tanpa adanya kondisi yang menyertainya

Draf yang mendapat nilai bagus pada poin pertama dan buruk pada poin kedua adalah kasus yang umum terjadi, dan ini adalah yang paling berbahaya, karena draf tersebut terbaca seolah-olah sudah selesai.

Kesalahan yang Dapat Terjadi pada Dokumentasi yang Dihasilkan AI

Ini adalah kegagalan umum yang perlu diperiksa dalam dokumentasi yang dihasilkan AI.

Langkah-langkah hilang yang tidak pernah terlihat

Apa pun yang terjadi di luar input tidak akan ada. Persetujuan yang diberikan secara lisan, pemeriksaan yang dilakukan di sistem lain, aturan yang ada di dalam dokumen kebijakan. Draf tersebut akan terbaca dengan lancar melewati celah tersebut, yang membuatnya sulit untuk dideteksi.

Langkah-langkah digabungkan atau dipisahkan di tempat yang salah

Tiga klik di dalam satu dialog biasanya merupakan satu langkah; satu klik yang mengubah konteks biasanya merupakan dua langkah. AI mungkin menggabungkan atau memisahkan tindakan secara tidak tepat, sehingga batas langkah harus ditinjau, bukan diasumsikan sudah benar.

Referensi posisional alih-alih semantik

"Klik tab ketiga" alih-alih "Buka tab Penagihan". Akurat pada hari dokumen tersebut dibuat, tetapi salah setelah pembaruan antarmuka berikutnya. Ini adalah kesalahan yang paling cepat usang.

Jalan buntu yang disajikan sebagai langkah

Jika rekaman menyertakan putaran yang salah dan koreksi, draf tersebut mungkin mendokumentasikan keduanya. Pembaca kemudian melakukan langkah yang membatalkan tindakan itu sendiri.

Kata-kata yang meyakinkan pada konten yang tidak pasti

Teks yang dihasilkan tidak menunjukkan keraguan. Langkah yang disimpulkan setengah-setengah oleh model terbaca persis seperti langkah yang diamatinya secara langsung, sehingga draf tersebut tidak memberi Anda petunjuk di mana harus mencari dengan paling teliti.

Kondisi dan pengecualian yang hilang

Input tersebut hanya menangkap satu jalur melalui proses tersebut. Cabang-cabangnya, yang merupakan tempat sebagian besar kesalahan terjadi dalam praktiknya, sama sekali tidak ada di dalamnya.

Data sensitif terbawa ke dalam output

Bukan kesalahan keakuratan, tetapi terdeteksi dalam proses yang sama. Nama pelanggan, nomor rekening, dan pengidentifikasi internal yang muncul selama pengambilan rekaman berakhir di tangkapan layar.

Mengapa AI Menghasilkan Dokumentasi yang Salah

Bukan karena model tersebut ceroboh. Tetapi karena apa yang bisa dan tidak bisa diamatinya.

• Ia melihat tindakan, bukan maksud di baliknya. Mengapa suatu langkah ada tidaklah terlihat

• Ia melihat satu kali jalannya proses, bukan variasinya

• Ia tidak dapat membedakan tindakan yang disengaja dari kesalahan yang telah dikoreksi

• Ia tidak memiliki akses ke kebijakan, ambang batas, dan kesepakatan tempat proses tersebut bergantung

• Ia tidak dapat mengetahui apakah proses yang diamatinya adalah proses yang benar

Poin terakhir itulah yang paling sering terlewatkan. Rekam proses yang dilakukan dengan buruk dan Anda akan mendapatkan deskripsi dengan format yang baik dari proses yang buruk tersebut. Outputnya akurat terhadap input tetapi salah sebagai dokumentasi.

Cara Meninjau Dokumentasi yang Dihasilkan AI

Ini adalah proses peninjauan dokumentasi AI, dan urutannya penting. Melakukannya tidak sesuai urutan berarti menulis ulang teks yang akan Anda hapus.

• 1. Periksa strukturnya terlebih dahulu: apakah langkah-langkahnya sudah dalam urutan yang benar, terbagi dengan benar, dengan jalan buntu yang telah dihapus? Perbaiki ini sebelum menyentuh satu kata pun

• 2. Verifikasi terhadap sistem yang sebenarnya: buka alat tersebut dan jalankan langkah-langkahnya. Nama berubah, layar berubah, dan draf mencerminkan momen saat rekaman diambil

• 3. Ganti kata-kata posisional: setiap kata "di sini", "tombol ini", "opsi ketiga" menjadi nama dari objek tersebut

• 4. Tambahkan apa yang tidak pernah terlihat: penalaran, ambang batas, persetujuan, siapa yang harus dihubungi ketika prosesnya macet

• 5. Dokumentasikan cabang-cabangnya: untuk setiap pengecualian, kondisi yang memicunya dan apa yang harus dilakukan. Letakkan di samping langkah yang bersangkutan

• 6. Periksa tangkapan layar: dipotong pada bagian yang penting, data sensitif disamarkan, dan benar-benar menunjukkan keadaan yang digambarkan oleh langkah tersebut

• 7. Dapatkan persetujuan dari pemilik proses: orang yang bertanggung jawab atas proses tersebut, bukan orang yang merekamnya

Langkah 4 dan 5 adalah bagian yang paling menyita waktu, dan merupakan dua langkah yang tidak boleh dilewati oleh peninjau. Segala sesuatu sebelum langkah tersebut adalah koreksi; kedua langkah tersebut adalah kontribusinya.

Daftar Periksa Tinjauan Dokumentasi AI

Jika tinjauan terus menunjukkan celah yang sama, alat pembuat dokumentasi itu sendiri mungkin merupakan hambatannya. Alat dokumentasi AI terbaik membandingkan berbagai pilihan berdasarkan apa yang sebenarnya mereka hasilkan.

Cara Meningkatkan Keakuratan Sebelum Pembuatan Dokumentasi

Cara termurah untuk meningkatkan dokumentasi yang dihasilkan AI adalah pada tahap input. Keuntungan terbesar terjadi sebelum pembuatan dokumentasi, bukan setelahnya. Input yang lebih baik menghasilkan draf yang membutuhkan lebih sedikit koreksi, yang akan terakumulasi di setiap prosedur yang Anda dokumentasikan.

• Jalankan proses dengan bersih: tidak ada putaran yang salah, tidak ada pelacakan kembali, tidak ada perpindahan ke tab yang tidak terkait di tengah jalan

• Satu proses per input: dua alur kerja dalam satu rekaman menghasilkan satu prosedur yang membingungkan

• Narasikan bagian yang tidak terlihat: menjelaskan mengapa Anda melakukan sesuatu akan memberikan konteks ke dalam input yang tidak dapat disediakan oleh layar

• Berikan jeda di antara tindakan yang berbeda: ini membuat batas langkah lebih mudah diidentifikasi dengan benar

• Siapkan lingkungan kerja: buka setiap alat dan masuk terlebih dahulu, sehingga input tidak setengah tersetel

• Periksa apakah proses itu sendiri sudah benar: jika metodenya sudah kedaluwarsa, membuat dokumentasi darinya hanya akan meresmikan masalah tersebut

Jika Anda bekerja dari rekaman yang sudah ada alih-alih merekam yang baru, mengubah rekaman layar menjadi SOP mencakup apa saja yang membuat rekaman dapat dikonversi dengan bersih.

Cara Membangun Alur Kerja Peninjauan yang Dapat Ditingkatkan Skalanya

Satu prosedur mudah ditinjau dengan cermat. Dua ratus prosedur adalah masalah proses, dan di situlah QA dokumentasi yang dihasilkan AI menjadi alur kerja, bukan sekadar tugas.

• Sesuaikan kedalaman peninjauan dengan risiko: prosedur dengan konsekuensi kepatuhan atau finansial memerlukan pemeriksaan penuh. Panduan internal tidak memerlukannya

• Rujuk peninjauan ke pemilik proses: bukan ke tim dokumentasi pusat, yang tidak dapat memverifikasi apa yang tidak mereka lakukan

• Tinjau sebelum menerbitkan, bukan setelahnya: draf yang diterbitkan dan dikoreksi kemudian sudah telanjur mengajarkan hal yang salah kepada seseorang

• Lacak apa yang dikoreksi: jika kesalahan yang sama terulang, perbaiki kebiasaan input alih-alih mengeditnya setiap saat

• Tetapkan interval peninjauan: keakuratan menurun seiring berubahnya proses yang mendasarinya, sehingga peninjauan tunggal saat pembuatan saja tidak cukup

Bagian pemeliharaan dari hal ini adalah pekerjaan yang berbeda dari pembuatan, dan ini dibahas pada perangkat lunak manajemen SOP.

Seberapa Banyak Peninjauan yang Diperlukan oleh Dokumen yang Dihasilkan AI?

Validasi dokumentasi AI tidak memerlukan kedalaman yang sama untuk setiap dokumen, dan menerapkan pemeriksaan penuh untuk semuanya adalah cara peninjauan menjadi hambatan baru.

Sebuah prosedur yang mengatur aktivitas yang teregulasi, kontrol keuangan, atau apa pun yang memiliki konsekuensi keselamatan memerlukan verifikasi dan persetujuan. Catatan internal tentang cara mengekspor laporan tidak memerlukannya. Pengujiannya adalah apa yang terjadi jika suatu langkah salah: jika jawabannya adalah seseorang membaca ulang dan memahaminya, peninjauan yang lebih ringan dapat dibenarkan.

Hal yang tidak pernah bisa ditawar adalah kejujuran dokumen tersebut. Prosedur yang menghilangkan suatu kondisi tanpa menandai penghilangan tersebut lebih buruk daripada prosedur yang lebih pendek yang menyatakan di mana ia berhenti.

Bagaimana Trupeer Mendukung Proses Peninjauan

Trupeer menghasilkan dokumentasi dari rekaman layar, menghasilkan langkah-langkah berurutan dengan tangkapan layar untuk masing-masing langkah, lalu membiarkan draf tersebut dapat diedit sehingga langkah peninjauan di atas dapat diterapkan. Anda dapat menyusun ulang, menggabungkan, dan memisahkan langkah-langkah, menulis ulang kata-kata apa pun, memotong dan menganotasi tangkapan layar, serta menyamarkan hal sensitif apa pun yang muncul selama perekaman.

Hal yang tidak dilakukannya adalah memverifikasi konten. Tidak ada alat pembuat dokumentasi yang dapat memberi tahu Anda apakah proses yang Anda rekam sudah benar, atau menyediakan persetujuan dan pengecualian yang tidak pernah ada di layar. Bagian tersebut tetap menjadi tugas manusia, dan alat apa pun yang mengeklaim sebaliknya adalah melebih-lebihkan apa yang dapat dilihat oleh pembuat dokumentasi otomatis.

Untuk alur kerja yang lebih luas, lihat membuat SOP dengan AI dan pembuat SOP.

Tanya Jawab

Seberapa akuratkah dokumentasi yang dihasilkan AI?

Akurat tentang apa yang diamatinya, tidak lengkap tentang apa yang tidak dapat diamatinya. Draf yang dihasilkan umumnya andal pada urutan tindakan dan layar yang terlibat, dan tidak andal pada penalaran, kondisi, persetujuan, dan pengecualian. Perlakukan draf tersebut sebagai draf awal yang kuat, bukan sebagai dokumen yang sudah selesai.

Apakah SOP yang dihasilkan AI memerlukan peninjauan manusia?

Ya, selalu. Peninjauan tersebut bukanlah formalitas: di situlah konteks yang tidak pernah terlihat ditambahkan. Menerbitkan draf yang tidak ditinjau berarti menerbitkan prosedur yang mendokumentasikan satu jalur melalui proses tanpa disertai kondisi apa pun.

Kesalahan apa yang paling sering dilakukan dokumentasi AI?

Langkah-langkah hilang yang terjadi di luar layar, batas langkah yang digabungkan atau dipisahkan di tempat yang salah, kata-kata posisional seperti "klik tab ketiga", jalan buntu dari kesalahan yang dikoreksi, dan pengecualian yang hilang. Yang pertama dan terakhir adalah yang paling penting, karena pembaca tidak dapat mengetahui bahwa hal-hal tersebut tidak ada.

Apa yang harus diperiksa oleh peninjau manusia dalam dokumentasi yang dihasilkan AI?

Lakukan melalui daftar periksa di atas: struktur dan urutan langkah terlebih dahulu, lalu apakah setiap instruksi cocok dengan proses yang sebenarnya, kemudian konteks yang tidak pernah terlihat, pengecualian, prasyarat, tangkapan layar, dan terakhir persetujuan dari pemilik proses. Dua hal yang tidak boleh dilewati adalah konteks dan pengecualian, karena pembaca tidak memiliki cara untuk mengetahui bahwa hal-hal tersebut tidak ada.

Bisakah AI memeriksa keakuratan dokumentasinya sendiri?

Ia dapat menemukan masalah format dan konsistensi. Ia tidak dapat memverifikasi bahwa suatu langkah sudah benar, karena ia tidak memiliki sumber kebenaran independen tentang proses Anda. Verifikasi membutuhkan seseorang yang tahu bagaimana pekerjaan itu sebenarnya dilakukan.

Bagaimana Anda menjaga keakuratan dokumentasi yang dihasilkan AI dari waktu ke waktu?

Tetapkan interval peninjauan berdasarkan seberapa cepat proses yang mendasarinya berubah, berikan setiap dokumen pemilik yang ditunjuk, dan jaga agar revisi cukup murah sehingga pembaruan benar-benar terjadi. Prosedur yang mahal untuk diperbarui akan berhenti menjadi akurat, tidak peduli seberapa bagus draf pertamanya.