A Dynamic Saliency Based Method for Video Retargeting
Summary:
With increased usage of smartphones, tablets and small displays to play multimedia content, video retargeting becomes an important tool for better user experience. In this thesis, we propose a novel content-based approach for video retargeting that relies on spatio-temporal saliency to estimate relevant information in videos. Our method preserves spatial saliency as well as temporal coherence. We also propose a spatio-temporal saliency algorithm designed for this application domain that combines spatial saliency with motion trajectories. We demonstrate the quality of the proposed approach through quantitative and qualitative evaluation, contrasting it with five different video retargeting methods. Quantitative evaluation is done using generic image/video quality metrics, so that they can be applied on any video retargeting solution. We have extracted the correlation between the quantitative and qualitative evaluation, to propose a new metric that is a combination of the existing quantitative metrics. The proposed metric is proven to be the best approximation to the qualitative results, thus can be used as a benchmark to evaluate video retargeting methods.
Özet:
Akıllı telefon, tablet ve küçük ekranların multimedya içerik için kullanımının artmasıyla birlikte video uyarlama, kullanıcı deneyimini zenginleştirmek için önemli bir araç haline geldi. Bu tezde, videolardaki önemli içeriği tespit etmek ve video uyarlama yapabilmek için konumsal ve zamansal olarak seyircinin dikkatini çeken noktalara dayanan, yeni bir içerik bazlı yaklaşım sunuyoruz. Önerdiğimiz metot görüntülerde dikkati çeken bölgelerin uyarlama sırasında korunmasını sağladığı gibi, videonun kareleri arasında da zamansal uyumu kaybetmemektedir. Ayrıca tezde bu uygulama için özel olarak tasarlanmış bir dinamik bercestelik metodu öneriyoruz. Bu metot görüntülerde dikkati çeken noktaları zaman içinde izleyerek tutarlılığı sağlıyor. Sunduğumuz yaklaşımın kalitesini beş farklı video hedeflendirme metoduyla niteliksel ve niceliksel olarak kıyaslayarak gösteriyoruz. Niceliksel değerlendirme diğer tüm video hedeflendirme çözümlerine uygulanabilmesi için genel görüntü/video kalite ölçütleriyle yapılmıştır. Nicel ve nitel değerlendirme arasında bulduğumuz korelasyonu kullanarak hâlihazırda bulunan niceliksel ölçütlerin birleşiminden oluşan yeni bir ölçüt sunuyoruz. Sunduğumuz bu ölçüt ile nicel sonuçlara olabildiğince yakın sonuçlar verilmiştir. Bu ölçütün video uyarlama metotlarını kıyaslamak için kıyaslamak için kullanılabileceğini düşünüyoruz.