Görsel denetim pilotunda kabul testi nedir?
Kabul testi, sistemin canlıya alınıp alınmayacağına önceden yazılmış ölçütlerle, eğitimde hiç kullanılmamış görüntüler ve gerçek hat koşulları üzerinden karar verdiğiniz testtir. Başarılı bir demo sistemin çalışabileceğini gösterir; kabul testi ise hangi koşullarda çalıştığını, hangilerinde çalışmadığını ve bu durumda hattın ne yapacağını gösterir.
Hazır bir veri kümesindeki başarı da bu soruyu cevaplamaz. MVTec AD 2 veri kümesini tanıtan makale, saydam ve üst üste binen nesneler, karanlık alan ve arka ışık aydınlatması, normal örneklerde yüksek çeşitlilik ve çok küçük kusurlar içeren senaryolarda güncel yöntemlerin ortalama AU-PRO değerinin %60'ın altında kaldığını bildirir. Veri kümesi, yöntemlerin gerçek dağılım kaymalarına dayanıklılığını ölçmek için ışık koşulunun değiştiği test senaryoları da içerir. Kendi hattınızın ışığı, ürün çeşitliliği ve vardiya düzeni bu senaryoların hiçbirine birebir benzemez; kabul kanıtı sizin hattınızdan gelmelidir.
Kalite kontrolde lot kabul örneklemesi iki riski ayrı adlandırır. NIST/SEMATECH istatistik el kitabına göre üretici riski, kabul edilebilir kalite düzeyindeki bir lotun reddedilme olasılığı; tüketici riski ise kabul edilemez kusur düzeyindeki bir lotun kabul edilme olasılığıdır. Pilot için karşılıkları açıktır: yeterince iyi bir sistemi gereksiz yere reddetmek ve yetersiz bir sistemi kabul etmek. Test kümesinin büyüklüğü ve ölçütlerin dili, bu iki riskin ne kadar olacağını belirler.
Kabul ölçütleri nasıl yazılır?
Ölçütleri model eğitilmeden önce yazın; her birinde karar birimini, kusur sınıfını, ölçüm yöntemini ve başarısızlığın sonucunu belirtin, son testten önce de dondurun. Karar birimi baştan net olmalıdır: görüntü mü, parça mı, tepsi mi, üretim partisi mi? Dört kamerayla bakılan bir parçada "görüntü başına yakalama" ile "parça başına yakalama" aynı sayı değildir.
| Ölçüt | Nasıl ifade edilir? | Nerede ölçülür? | Başarısızlıkta ne olur? |
|---|---|---|---|
| Kritik kusur yakalama | Doğrulanmış N kusurda en fazla K kaçırma, sınıf bazında | Ayrı tutulan test kümesi ve gölge modu | O sınıf otomatik retten çıkarılır, insan incelemesi sürer |
| Yanlış uyarı | 1.000 parçada veya vardiyada en fazla X uyarı | Gölge modu, gerçek üretim sıklığıyla | Eşik veya görüntüleme düzeni gözden geçirilir |
| Değerlendirilemez görüntü | Bulanık, parlamalı veya kadraj dışı çekim oranı | Gölge modu | Kamera, ışık veya tetikleme düzeltilir |
| Karar süresi | En yavaş %1 dahil, ret kapısının son tarihinden önce | Hat hızında, yoğun üretimde | Geç sonuç için tanımlı güvenli yol devreye girer |
| İnceleme yükü | Vardiya başına inceleme dakikası | Gölge modu | Personel planı veya eşik değişir |
| Güvenli durma | Kamera kopması, dolu kuyruk ve geç sonuçta davranış | Planlı arıza denemesi | Otomatik ret açılmaz |
Kritik bir kusurdaki kaçırmayı, kozmetik kusurlardaki iyi sonuçla ortalamayın; her ölçüt kendi başına geçmek zorundadır. Kabulü kimin imzalayacağını da yazın: çoğu hatta bu, modeli eğiten kişi değil kalite sorumlusudur. Her ölçütün yanına hangi veriyle, hangi dönemde ve kim tarafından ölçüleceğini de ekleyin; ölçüm planı olmayan bir ölçüt, pilotun sonunda bir tartışma konusuna dönüşür.
Kabul testi için kaç kusur örneği gerekir?
Test kümesindeki doğrulanmış kritik kusur sayısı, ölçütünüzün ne kadar güçlü bir iddia taşıyabileceğini belirler. Hiç kaçırma görmemek, kaçırma oranının sıfır olduğu anlamına gelmez. Binom dağılımıyla hesaplanan tek yönlü %95 üst sınırlar şöyledir:
| Doğrulanmış kritik kusur | Kaçırma | Kaçırma oranı için %95 üst sınır |
|---|---|---|
| 12 | 0 | yaklaşık %22 |
| 20 | 0 | yaklaşık %14 |
| 30 | 0 | yaklaşık %9,5 |
| 59 | 0 | yaklaşık %5 |
| 100 | 0 | yaklaşık %3 |
Kabaca kural, sıfır kaçırmada üst sınırın 3/n civarında olmasıdır. "Kaçırma oranı %5'in altında" demek için en az 59 doğrulanmış kritik kusurun tamamını yakalamanız gerekir. Bu sınırları statsmodels'in proportion_confint işlevindeki Clopper-Pearson ("beta") yöntemiyle hesaplayabilirsiniz. Belgesine göre bu yöntem her kuyrukta alfa/2 kullanır ve sayım sıfır olduğunda kapsama 1 − alfa/2 olur; yani varsayılan iki yönlü %95 hesap, tablodakinden biraz daha temkinli bir üst sınır verir. Tablodaki tek yönlü sınırlar için işlevin alternative parametresini kullanın.
Bu kadar kusur toplanamıyorsa ölçütü dürüstçe yazın: "12 doğrulanmış çatlağın 12'si yakalandı; kaçırma oranı için üst sınır yaklaşık %22." Böyle bir sonuçla o sınıfı otomatik rete bağlamak yerine insan incelemesini sürdürmek ve doğrulanmış kusur biriktirmek daha savunulabilir bir karardır.
Test kümesi vardiya vardiya nasıl kurulur?
Test görüntülerini eğitim verisinden sonra, ayrı günlerde ve her vardiyadan toplayın; aynı parçanın bütün görüntüleri aynı kümede kalsın. scikit-learn'ün çapraz doğrulama rehberi, birbirine bağımlı örnek gruplarında doğrulama örneklerinin eğitimde hiç bulunmayan gruplardan gelmesi gerektiğini ve zamanla değişen veride modelin "gelecek" gözlemlerle değerlendirilmesini anlatır. Kabul testinde bu, şu kontrol listesine dönüşür:
- Zaman: Test görüntüleri, eğitim verisinin son gününden sonra toplandı.
- Vardiya: Gündüz, gece ve varsa hafta sonu vardiyası ayrı dilimler olarak sayıldı; her dilimde yorum yapmaya yetecek parça var.
- Kamera ve istasyon: Her kamera ayrı raporlanıyor; bir kameranın iyi sonucu diğerini kapatmıyor.
- Ürün ve malzeme: Ürün revizyonları, tedarikçiler ve malzeme partileri listelendi.
- Kusur türü ve şiddeti: Her kritik sınıf sayıldı; testte bulunmayan sınıf raporda "test edilmedi" diye yazıldı.
- Zor koşullar: Parlama, kirli mercek, kısmen örtülmüş parça gibi durumlar ayrı bir dilimde tutuldu.
- Etiket: Test görüntüleri çift etiketlendi, anlaşmazlıklar uzmanca karara bağlandı, küme sürümüyle donduruldu.
- Erişim: Modeli geliştiren kişiler test görüntülerini ayar yaparken görmedi; küme tek bir son ölçüm için kullanılıyor.
Gölge modu nasıl yürütülür?
Gölge modunda model hattaki her parçayı puanlar ve sonucunu kaydeder, ama ret mekanizmasını yönetmez; kararı mevcut denetim vermeye devam eder. Amazon SageMaker'ın gölge testi belgesi aynı ilkeyi yazılım tarafında anlatır: yeni sürüm, canlı isteklerin bir kopyasını alır, yalnızca mevcut sürümün cevabı kullanıcıya döner, gölge sürümün cevapları karşılaştırma için kaydedilir. Hatta da yeni sistem, kimseyi etkilemeden gerçek üretim üzerinde ölçülür.
Operatörün kararını model çıktısını görmeden kaydedin; uyarıyı gören operatör ona göre bakar ve karşılaştırma anlamını yitirir. Her parça için model puanını, kararı, işlem süresini, görüntü kalitesi bilgisini ve operatör kararını aynı parça kimliğiyle saklayın. Görüş ayrılıklarını kalite mühendisi gerekçesiyle karara bağlasın. İki tür ayrılık farklı sorulara cevap verir:
- Model uyardı, operatör geçirdi: Parça fiziksel olarak yeniden incelenir. Gerçek kusur çıkarsa mevcut denetimin kaçırdığı bir durum bulunmuştur; çıkmazsa yanlış uyarının nedeni (yansıma, toz, yüzey dokusu) kaydedilir.
- Operatör reddetti, model geçirdi: Olası bir kaçırmadır. Görüntü, kusurun kamerada görünüp görünmediğine bakılarak incelenir; görünmüyorsa sorun modelde değil görüntüleme düzenindedir.
Gölge modunun süresini gün sayısıyla değil kapsamla tanımlayın: bütün vardiyalar, ürün çeşitleri ve en az bir temizlik ya da bakım döngüsü görülmeden bitmesin. Gölge modu, eşik ve inceleme akışının daha geniş bağlamı için üretimde görüntü işleme ile kalite kontrol yazımıza bakabilirsiniz.
Varsayımsal örnek: döküm parçada vardiya bazlı kabul tablosu
Aşağıdaki sayılar yöntemi göstermek için kurgulanmıştır. Döküm bir gövdede çatlak denetimi için ölçütler önceden yazılmış ve dondurulmuş; test kümesi ile iki haftalık gölge modu sonuçları vardiyaya göre ayrılmış:
| Ölçüt | Hedef | Gündüz | Gece | Sonuç |
|---|---|---|---|---|
| Kritik çatlak yakalama | Kaçırma yok | 18/18 | 13/14 | Başarısız |
| Yanlış uyarı (1.000 parçada) | En fazla 15 | 9 | 22 | Başarısız |
| Değerlendirilemez görüntü | En fazla %1 | %0,4 | %1,8 | Başarısız |
| En yavaş %1 karar süresi | En fazla 120 ms | 84 ms | 86 ms | Geçti |
| İnceleme yükü (dakika/vardiya) | En fazla 45 | 25 | 58 | Başarısız |
Toplamda 32 çatlağın 31'i yakalanmış, yani %96,9; tek bir ortalama raporlansaydı pilot başarılı görünebilirdi. Vardiya kırılımı başka bir tablo çiziyor: gece vardiyası beş ölçütün dördünde başarısız, gündüz vardiyası ise hepsini geçiyor. Gece kaçan çatlağın görüntüsü ve artan değerlendirilemez çekimler aynı nedene işaret ediyor olabilir: gece farklı çalışan ortam ışığı. Doğru karar, eşiği gece verisine bakarak ayarlamak değildir; ışık koruması eklenir ve yeni, hiç dokunulmamış bir gece test kümesiyle ölçüm tekrarlanır. O zamana kadar sistem otomatik ret için kabul edilmez.
Kabulden sonra ilk ay nasıl izlenir?
Onayı izleme koşuluna bağlayın. Kabul edilen ve reddedilen parçalardan her gün örnek alın, uyarı oranını vardiyaya göre izleyin ve şüpheli her kritik kaçırmayı tek tek inceleyin. Geri alma tetikleyicilerini önceden yazın: kameranın kayması (kayıtlı referans görüntüyle karşılaştırarak), yeni ürün revizyonu, inceleme kuyruğunun personeli aşması, uyarı oranında ani değişim. Gerçek işletim kanıtı birikene kadar elle denetim yolunu açık tutun; güvenle durdurulamayan bir sistem otomatik ret için hazır değildir.
Test kümesini gördükten sonra eşik değişirse eski sonuç geçerliliğini kaybeder; yeni bir doğrulama döngüsü ve dokunulmamış yeni bir test kümesi gerekir. Model sürümünü, eşiği, kamera ve ışık ayarlarını ve test kümesi sürümünü birlikte saklayın. Kabul testinin pilot adımları içindeki yerini ve raporun hangi kırılımlarla verildiğini görüntü işleme ile kalite kontrol hizmet sayfamızda görebilirsiniz.
Sık yapılan hatalar
- Ölçütleri test sonuçlarını gördükten sonra yazmak veya değiştirmek.
- Tek bir ortalama raporlayıp vardiya, kamera ve ürün kırılımını göstermemek.
- Aynı parçanın görüntülerini hem eğitimde hem testte kullanmak.
- Gölge modunda operatöre model uyarısını gösterip bağımsız karar beklemek.
- Az sayıda kusurla "kaçırma yok" sonucunu kesin güvence gibi sunmak.
- Kamera kopması veya geç sonuç gibi arıza durumlarını hiç denememek.