YZ06: Kapsül Ağını (Capsule Network) 68 Saat Eğittim!

Kapsül ağları (Capsule Networks) ile ilgili epey bir araştırma yaptıktan ve şu Türkçe yazıyı da okuduktan sonra bu yeni ağı denemeye karar verdim. GPU’lu bir bilgisayarım olmadığı için Sıradan CPU’lu Dizüstü Bilgisayarda Derin Öğrenme Çalışmak yazımda özelliklerini belirttiğim bilgisayarımda denemekten başka çarem yoktu.

Aşağıdaki Github reposunda yer alan -Türkçe yorum satırları da bulunan- kodu kendi bilgisayarımda çalıştırdım.

https://github.com/deeplearningturkiye/kapsul-agi-capsule-network

Kullandığım Kapsül Ağı Mimarisi

28×28 boyutundaki 60 bini eğitim ve 10 bini de test olmak üzere toplam 70 bin resimden oluşan MNIST veriseti ile çalıştım. Kullandığım model şöyle:

Veri Artırma (Data Augmentation)

Başarım oranını artırmak için orijinal makalede de yer aldığı şekliyle yatay ve dikey eksenlerde yaklaşık 2’şer piksel kaydırma uyguladım.

Eğitim Ne Kadar Sürdü

Öncelikle kapsül ağını MNIST veriseti üzerinde eğitmek, benim için çok yorucu oldu. Eğitim toplam 68 saat, yani yaklaşık 3 gün aralıksız sürdü.

Eğitim Sonuçları

Toplam 50 epoch çalıştırmıştım. Kapsül ağı mimarisinde yaklaşık 8.2 MİLYON parametre vardı. Eğitim işlemi sonucunda elde ettiğim parametreleri saklayan dosyanı boyutu 32.9 MB idi. Her bir epoch yaklaşık bir buçuk saat sürdü.

En iyi validasyon doğruluk oranını 34. epochta % 99.66 olarak elde ettim. Eğitim işlemi bitince test işlemini gerçekleştirdim. Test işleminde eğitim süresince hiç göstermediğim toplam 10 BİN resmi gösterdim. Test işlemi sonucunda % 99.61 başarı ile tanıma gerçekleştirdim. Diğer bir deyişle % 0.39 hata ile tanıma işlemi gerçekleştirdim.

SONUÇ

  • Kapsül ağları güzel fakat henüz yeni ortaya atıldığı için daha önünde çok yol var.
  • Derin öğrenme çalışmalarını CPU’da yapmak zaten ızdıraptı ama Kapsül Ağları ile ızdırap daha da artacak gibi duruyor. Çünkü gerçekten yavaş çalışıyor.
  • Eğitimin bitmesini beklediğim 68 saatte aklıma bir çok yeni fikir geldi 🙂 Bir sonraki hedefim onları gerçekleştirmek olacak.

Bir Cevap Yazın

Aşağıya bilgilerinizi girin veya oturum açmak için bir simgeye tıklayın:

WordPress.com Logosu

WordPress.com hesabınızı kullanarak yorum yapıyorsunuz. Çıkış  Yap /  Değiştir )

Google fotoğrafı

Google hesabınızı kullanarak yorum yapıyorsunuz. Çıkış  Yap /  Değiştir )

Twitter resmi

Twitter hesabınızı kullanarak yorum yapıyorsunuz. Çıkış  Yap /  Değiştir )

Facebook fotoğrafı

Facebook hesabınızı kullanarak yorum yapıyorsunuz. Çıkış  Yap /  Değiştir )

Connecting to %s