Alara Dirik Yüksek Lisans Tezini Sundu: 3 Boyutlu Model Jenerasyonu ve Manipülasyonu

Başlık3 Boyutlu Model Jenerasyonu ve Manipülasyon

Danışman: Emre Uğur


Özet:Bilgisayar grafikleri, 3B bilgisayarlı görü ve robotik komüniteleri yıllar içinde 3B  şekilleri ifade etmek, modellemek ve jenere etmek için pek  çok yöntem geliştirmiş ve kullanım alanı oluşturmuştur. Bu kullanım alanlarının bazıları 3B şekilleri kodlama ve sıkıştırma ve kısmı 3B  şekillerin tamamlanması olmakla beraber; 3B  şekil manipülasyonu ve tek resimden 3B şekil üretme hala görece az çalışılmış konulardır. 3B şekil manipülasyonu ve tek resimden 3B şekil üretme konuları birbirleriyle derinden alakalı olup, bu konular üzerindeki çalışmalar yeni dizayn metodolojilerini mümkün kılacaktır. Bu tezde 3B şekil manipülasyonu için bir  çerçeve geliştirip, baz model olarak Deep Implicit Templates’i kullandık. Bu model 3B  şekil üretmenin haricinde, aynı kategoriye ait şekiller için topolojik benzerlik haritaları çıkartabilmektedir. Bunun için  öncelikle 3B şekil temsil formatlarını ve ilgili araştırmaları anlatmakla başlayıp, daha sonra geliştirdiğimiz metodları ve çerçeveyi anlattık. Tezimizde ana veri kümesi olarak ShapeNetV2’yi kullanarak Deep Implicit Templates katmanları içinde denetimli ve denetimsiz yönler bulduk. Deneylerimiz sonucunda, PCA uygulayarak bulduğumuz denetimsiz yönlerin pek çok lokal ve global özelliği temsil ettiğini gördük: sandalye yüksekliği, araba uzunluğu, dizayn trendleri ve şekil alt kategorileri gibi. Ek olarak, ShapeNetV2 meta verisini ve öğrenilmiş şekil kodlarını kullanarak eğitilmiş lineer SVM modelleriyle başarılı şekilde denetimli manipülasyon yapabileceğimizi g ̈osterdik. Son olarak, eğitilmiş bir Vision Transformer (ViT) modelinin ve eğitilmiş bir birleşik resim-yazı temsili modeli olan, CLIP’in ara katmanlarını kullanarak gerçek zamanlı ve efektif bir tek resimden 3B  şekil üretme metodu geliştirdik. Geliştirdiğimiz metod, ViT ve CLIP’in ara katmanlarıyla DIT’in ara katmanları arasında köprü görevi görmekte olup, poz ve perspektiften bağımsız olarak gerçek zamanlı ve yüksek kalitede resimleri 3B şekillere dönüştürebilmektedir.

Bize Ulaşın

Bilgisayar Mühendisliği Bölümü, Boğaziçi Üniversitesi,
34342 Bebek, İstanbul, Türkiye

  • Telefon: +90 212 359 45 23/24
  • Faks: +90 212 2872461
 

Bizi takip edin

Sosyal Medya hesaplarımızı izleyerek bölümdeki gelişmeleri takip edebilirsiniz