An Introduction to VIDEO SUMMARIZATION

Document Sample
An Introduction to VIDEO SUMMARIZATION Powered By Docstoc
					  Μια εισαγωγή στην
  ΠΕΡΙΛΗΨΗ ΒΙΝΤΕΟ -
VIDEO SUMMARIZATION

Ψηφιακή Επεξεργασία Εικόνας και Video
             2011-2012



       ΔΠΜΣ ΗΕΠ 2011-2012               1
 Τι είναι η περίληψη βίντεο;
  Ένας τρόπος για γρήγορη αποτίμηση του περιεχομένου
 του βίντεο.


 Ποιοι τρόποι υπάρχουν;
  Dynamic video skimming :κινούμενες εικόνες - video
    trailer
  Static video summary: στάσιμες εικόνες - storyboard


                  Χαρακτηριστικά καρέ - Key frames

             ΔΠΜΣ ΗΕΠ 2011-2012                         2
 Που βρίσκει εφαρμογές;

Ø Διαδικασία Browsing (Searching)
  Απαίτηση για γρήγορη περιήγηση στο περιεχόμενο του
  video.

Ø Διαδικασία Retrieval
  Ανάκτηση ενός video, συγκεκριμένου περιεχόμενου, από
  ένα μεγάλο σύνολο videos .

Ø Διαδικασία Indexing
  Απαίτηση για γρήγορη μετάβαση σε μια συγκεκριμένη
  περιοχή του video.

                ΔΠΜΣ ΗΕΠ 2011-2012                       3
             Ένα παράδειγμα
 Όλα τα βίντεο έχουν τίτλο ‘New
            Indians’.
Ψάχνω αυτό που απεικονίζει τρένο..




              ΔΠΜΣ ΗΕΠ 2011-2012     4
            Δεν storyboard
Χαρακτηριστικάαρκεί να βρεθεί μια μέθοδος
                      εξαγωγής χαρακτηριστικών καρέ,
                           αλλά πρέπει να είναι και
 Συνέχεια: πρέπει η περίληψη να μη διακόπτεται
                              αποτελεσματική...

 Προτεραιότητα: η περίληψη πρέπει να περιέχει τα
  αντικείμενα «υψηλής προτεραιότητας»

 Επανάληψη: δε χρειάζεται να αναπαριστούμε τα ίδια
  γεγονότα ή αντικείμενα συνεχώς


              ΔΠΜΣ ΗΕΠ 2011-2012                       5
             Ορολογία βίντεο
 σκηνή (scene) καθορίζεται ως μια συλλογή από
  σημασιολογικά συσχετισμένα και χρονικά γειτονικά
  πλάνα, που απεικονίζουν και μεταβιβάζουν μια έννοια
  υψηλού επιπέδου – οι σκηνές διαχωρίζονται από
  σημασιολογικά όρια

 πλάνο (shot) μια συνεχής ακολουθία από καρέ,
  καταγεγραμμένα από μία μόνο κάμερα

 χαρακτηριστικό καρέ (key frame) είναι το καρέ
  που αναπαριστά το πιο αξιοπρόσεχτο οπτικό
  περιεχόμενο ενός πλάνου/βίντεο

              ΔΠΜΣ ΗΕΠ 2011-2012                        6
Ορολογία βίντεο




 ΔΠΜΣ ΗΕΠ 2011-2012   7
 Τρόποι εναλλαγής πλάνων (1)
 Cut
  Πρόκειται για μετάβαση όπου το τελευταίο frame του
  προηγούμενου πλάνου ακολουθείται από το πρώτο
  frame του επόμενου πλάνου.
 Fade
  Είναι η αργή μεταβολή στην φωτεινότητα (αύξηση ή
  μείωση) σε κάθε frame, με αποτέλεσμα την σταδιακή
  εμφάνιση (fade-in) ή την εξαφάνιση (fade-out) του
  πλάνου, από ή προς ένα μαύρο frame.

             ΔΠΜΣ ΗΕΠ 2011-2012                        8
Τρόποι εναλλαγής πλάνων (2)
 Dissolve
  Πρόκειται για έναν συνδυασμό fade-out και fade-in σε
  συνεχόμενα (χρονικά) πλάνα. Η φωτεινότητα του
  προηγούμενου πλάνου σταδιακά μειώνεται ενώ
  παράλληλα η φωτεινότητα του επόμενου πλάνου
  σταδιακά αυξάνει.
 Wipe
  Το frame του προηγούμενου πλάνου με συγκεκριμένο
  σχήμα και κίνηση δίνει σταδιακά την θέση του στο
  frame του επόμενου πλάνου.
           http://www.mediacollege.com/video/editing/transition/types.html



                 ΔΠΜΣ ΗΕΠ 2011-2012                                          9
                              •Τυχαία ή ομοιόμορφη
                              δειγματοληψία από όλο
Βασικές κατηγορίες μεθόδων εξαγωγής
                              το βίντεο
χαρακτηριστικών καρέ          •Μειονέκτημα: εξάρτηση
                              απο χρονική διάρκεια
 Μέθοδοι δειγματοληψίας - Sampling based
                              πλάνων

 Μέθοδοι εφαρμοζόμενες σε πλάνο - Shot based

 Μέθοδοι ομαδοποίησης βίντεο –•Προϋπόθεση:κατάτμηση
                                Clustering
                                  σε πλάνα
                                  •Χαρακτηριστικό καρέ:το
                          •Αναφέρονται σε όλο το
 Άλλες τεχνικές (π.χ. Xρήση VANTAGE points)κάθε πλάνο
                                  1ο καρέ από
                          βίντεο – χωρίζουν τα
                                  για παράδειγμα
                          καρέ σε ομάδες
                          •Από κάθε ομάδα ένα
                          αντιπροσωπευτικό καρέ
              ΔΠΜΣ ΗΕΠ 2011-2012                       10
Περιγραφή εικόνας με : Ιστόγραμμα στον
              HSV χώρο
 Γιατί επιλέγω αυτό το χαρακτηριστικό?
-Χρωματική πληροφορία σημαντική
-Σταθερό σε μικρές μεταβολές της κάμερας !
 Γιατί εργάζομαι στον HSV χώρο?
- Πιστότερη αναπαράσταση ως προς την ανθρώπινη
  αντίληψη
- Πρότυπο MPEG7
Hue  χρώμα
Saturationκορεσμός (ποσότητα λευκού χρώματος)
Valueφωτεινότητα

             ΔΠΜΣ ΗΕΠ 2011-2012                  11
Το βίντεό μας...




ΔΠΜΣ ΗΕΠ 2011-2012   12
Βασικές κατηγορίες μεθόδων εξαγωγής
χαρακτηριστικών καρέ
 Μέθοδοι δειγματοληψίας - Sampling based

 Μέθοδοι εφαρμοζόμενες σε πλάνο - Shot
  based

 Μέθοδοι ομαδοποίησης βίντεο – Clustering

 Άλλες τεχνικές (π.χ. Xρήση VANTAGE points)


              ΔΠΜΣ ΗΕΠ 2011-2012               13
Μέθοδοι κατάτμησης του βίντεο σε πλάνα
             & εξαγωγής
  χαρακτηριστικών καρέ (Shot based)
1. Διαφορά ιστογραμμάτων μεταξύ διαδοχικών καρέ



2. Αθροιστική διαφορά ιστογραμμάτων




             ΔΠΜΣ ΗΕΠ 2011-2012                   14
   Διαφορά ιστογραμμάτων (1)
 Κατάτμηση του βίντεο σε πλάνα

 Εικόνα  ιστόγραμμα
 Καρέ που ανήκουν σε διαφορετικά πλάνα θα έχουν
  διαφορετικό περιεχόμενο  αντίστοιχα
  ιστογράμματα θα παρουσιάζουν διαφορές
 Εφαρμογή κατωφλίου
 Διαχωρισμός σε πλάνα



            ΔΠΜΣ ΗΕΠ 2011-2012                 15
Διαφορά ιστογραμμάτων (2)




       ΔΠΜΣ ΗΕΠ 2011-2012   16
Διαφορά ιστογραμμάτων (3)
Προβληματισμοί για την τάξη:
1. Εφαρμογή κατωφλίου ανεξάρτητη από το βίντεο?
2. Τι γίνεται στις μεταβάσεις που δεν είναι τύπου cut?

Ερωτήματα για το εργαστήριο:
1. Ιστόγραμμα σε έγχρωμες εικόνες?
2. Bin size?
3. Μετρική απόστασης ιστογραμμάτων?


              ΔΠΜΣ ΗΕΠ 2011-2012                         17
Διαφορά ιστογραμμάτων (4)
                       Το 1ο καρέ του βίντεο
                        καρέ
Εξαγωγή χαρακτηριστικών κρατείται πάντα ως
                       χαρακτηριστικό καρέ.

 Eπιλογή 1ου καρέ από κάθε πλάνο
 Επιλογή ενός τυχαίου καρέ από κάθε πλάνο




              ΔΠΜΣ ΗΕΠ 2011-2012               18
Διαφορά ιστογραμμάτων (5)
Μειονεκτήματα:

 Κατωφλιοποίηση
 Όλα τα πλάνα θεωρούνται το ίδιο σημαντικά
 Μεταβάσεις που δεν είναι τύπου cut και ανιχνευτούν
  θα δώσουν ‘’προβληματικό’’ χαρακτηριστικό καρέ




              ΔΠΜΣ ΗΕΠ 2011-2012                       19
Αυτόματη περίληψη βίντεο – Ένα
παράδειγμα




        ΔΠΜΣ ΗΕΠ 2011-2012       20
           Αθροιστική διαφορά
            ιστογραμμάτων (1)
 Κατάτμηση του βίντεο σε πλάνα
 Εικόνα  ιστόγραμμαδιαφορές διαδοχικών
  ιστογραμμάτων
 Αθροιστικές διαφορές αύξουσα συνάρτηση
 Απότομες αλλαγές κλίσης δηλώνουν σημαντικές
  μεταβολές στο οπτικό περιεχόμενο (οξείες γωνίες)
 Εφαρμογή κατωφλίου
 Κατάτμηση σε πλάνα



              ΔΠΜΣ ΗΕΠ 2011-2012                     21
Αθροιστική διαφορά
 ιστογραμμάτων (2)




 ΔΠΜΣ ΗΕΠ 2011-2012   22
    Αθροιστική διαφορά
     ιστογραμμάτων (3)
απόσταση d

                      i+1   Καθορισμός
                              γωνίας

                      θi
          i-1   i




                             καρέ

       ΔΠΜΣ ΗΕΠ 2011-2012                23
Αθροιστική διαφορά
 ιστογραμμάτων (4)




 ΔΠΜΣ ΗΕΠ 2011-2012   24
         Αθροιστική διαφορά
          ιστογραμμάτων (5)
                  Στο 1 και στο τελευταίο
                                 ο

                   καρέ του βίντεο
Εξαγωγή χαρακτηριστικών καρέ θεωρώ
                                 ότι εμφανίζεται
                                    ακρότατο.
 Επιλογή χαρακτηριστικού καρέ ως το καρέ που
  βρίσκεται ανάμεσα σε δύο διαδοχικά ακρότατα.




            ΔΠΜΣ ΗΕΠ 2011-2012                     25
          Αθροιστική διαφορά
           ιστογραμμάτων (6)
Μειονεκτήματα:

 Κατωφλιοποίηση – εξάρτηση από βίντεο
 Μεταβάσεις τύπου dissolve μπορεί να μην
  ανιχνευτούν κίνδυνος επιλογής χαρακτηριστικού
  καρέ στην μετάβαση




             ΔΠΜΣ ΗΕΠ 2011-2012                    26
              Αποτίμηση...
vShot based μέθοδοι έχουν πρόβλημα σε δυναμικά
 πλάνα
vΕφαρμόζονται σε κάθε πλάνο του βίντεο
 απαιτούν την κατάτμησή του σε πλάνα




            ΔΠΜΣ ΗΕΠ 2011-2012                   27
Βασικές κατηγορίες μεθόδων εξαγωγής
χαρακτηριστικών καρέ
 Μέθοδοι δειγματοληψίας - Sampling based

 Μέθοδοι εφαρμοζόμενες σε πλάνο - Shot based

 Μέθοδοι ομαδοποίησης βίντεο – Clustering

 Άλλες τεχνικές (π.χ. Xρήση VANTAGE points)



              ΔΠΜΣ ΗΕΠ 2011-2012                28
Ομαδοποίηση - Clustering




   ΔΠΜΣ ΗΕΠ 2011-2012      29
Ομαδοποίηση - Clustering




   ΔΠΜΣ ΗΕΠ 2011-2012      30
         Μέθοδοι εξαγωγής
  χαρακτηριστικών καρέ (Clustering)
Γενικά:
 Για κάθε καρέ εξάγω χαρακτηριστικό.
 Ομαδοποιώ -χρησιμοποιώντας κάποια μέθοδο- σε
  κλάσεις.
 Από κάθε κλάση επιλέγω το κέντρο ως
  χαρακτηριστικό καρέ.



            ΔΠΜΣ ΗΕΠ 2011-2012                   31
Μειονεκτήματα μεθόδων ομαδοποίησης βίντεο:

 Καθορισμός αριθμού ομάδων –κλάσεων
 Υπολογιστικό κόστος

                        Μια λύση είναι το pre-
                          sampling, δηλαδή
                        εφαρμογή μεθόδου σε
                             υποσύνολο.
ΛΥΣΗ: VISTO




              ΔΠΜΣ ΗΕΠ 2011-2012                 32
Περίληψη βίντεο χρησιμοποιώντας την
     μέθοδο VΙsual STOryboard
    Ο
   Ø χρόνος υπολογισμού του
   storyboard καθώς και το μήκος της
   περίληψης μπορεί να καθοριστεί από
   το χρήστη!
   ØΔημιουργία περίληψης σε
   πραγματικό χρόνο!




           ΔΠΜΣ ΗΕΠ 2011-2012           33
           VIsual SΤΟryboard (1)
Βήμα 1. εξαγωγή χαρακτηριστικού από την εικόνα
Ιστόγραμμα στον HSV χώρο  αναπαράσταση κάθε
  εικόνας με ένα διάνυσμα

Βήμα 2. επιλογή μετρικής απόστασης ανάμεσα σε δύο
 εικόνες-διανύσματα, έστω s, z
Generalized Jaccard Distance :




             ΔΠΜΣ ΗΕΠ 2011-2012                     34
           VIsual SΤΟryboard (2)
Bήμα 3. ομαδοποίηση – αριθμός κλάσεων
Σκοπός είναι να χωριστούν σε ομάδες όλα τα καρέ του
  βίντεο, δηλαδή τα αντίστοιχα διανύσματα,
  χρησιμοποιώντας την μετρική απόστασης.
Από κάθε κλάση θα επιλεγεί ένα καρέ ως key frame.

 Αντιμετώπιση υπολογιστικού κόστους?
 Καθορισμός αριθμού κλάσεων?



              ΔΠΜΣ ΗΕΠ 2011-2012                      35
           VIsual SΤΟryboard (3)
Αντιμετώπιση υπολογιστικού κόστους: αλγόριθμος
 ομαδοποίησης γρήγορος. Υποδειγματοληψία ..

Βασική ιδέα Furthest Point First αλγόριθμου:
-Αρχικό κέντρο = τυχαίο καρέ
-Σε κάθε επανάληψη ο αλγόριθμος ‘γνωρίζει’
  α) τα κέντρα που έχουν επιλεγεί
  β)την απόσταση κάθε καρέ από το κοντινότερο
  κέντρο

             ΔΠΜΣ ΗΕΠ 2011-2012                  36
           VIsual SΤΟryboard (4)
Βήματα αλγορίθμου σε κάθε επανάληψη:
 Βρες το καρέ που έχει την μεγαλύτερη απόσταση από
  το κοντινότερό του κέντρο.
 Θεώρησε αυτό το καρέ ως νέο κέντρο.
 Επανυπολόγισε τις αποστάσεις των καρέ από τα νέα
  κέντρα πλέον.
 Επανάλαβε μέχρις ότου βρεις όλα τα κέντρα.
                               Πόσα κέντρα??



             ΔΠΜΣ ΗΕΠ 2011-2012                       37
                                      Εφόσον ο
           VIsual SΤΟryboard (5)  χρήστης δε θέλει
                                   να επιλέξει τον
Καθορισμός αριθμού κλάσεων:        αριθμό των key
                                       frames
-κράτησε 1 καρέ κάθε 10
-βρες αποστάσεις μεταξυ διαδοχικών καρέ
-μεγάλη απόσταση  μεγάλη ανομοιότητα
-αριθμός ‘κορυφών’ = αριθμός κλάσεων  αριθμός key
  frame

                  Χρόνος εξαγωγής
              storyboard εξαρτάται από
                   αριθμό κλάσεων

             ΔΠΜΣ ΗΕΠ 2011-2012                      38
            VIsual SΤΟryboard (5)
Βήμα 4. Μετα-επεξεργασία storyboard - Post
 Processing

- Αφαίρεση key frames που δεν έχουν νόημα, π.χ. μαύρα
  καρέ σε μεταβάσεις τύπου fade

Βήμα 5. Αξιολόγηση storyboard
- Mean Opinion Score
20 άτομα, βαθμολογία 1(bad) – 5 (excellent)

              ΔΠΜΣ ΗΕΠ 2011-2012                        39
Βασικές κατηγορίες μεθόδων εξαγωγής
χαρακτηριστικών καρέ
 Μέθοδοι δειγματοληψίας - Sampling based

 Μέθοδοι εφαρμοζόμενες σε πλάνο - Shot based

 Μέθοδοι ομαδοποίησης βίντεο – Clustering

 Άλλες τεχνικές - Xρήση VANTAGE points



             ΔΠΜΣ ΗΕΠ 2011-2012                 40
     Περίληψη βίντεο με χρήση
          Vantage Points
 Εξαγωγή χαρακτηριστικών καρέ χωρίς να απαιτείται
  κατάτμηση του βίντεο σε πλάνα


 D.Besiris, N.Laskaris, F.Fotopoulou and G.Economou, ‘’Key
 frame extraction in video sequences: a vantage points
 approach’’, 2007 International Workshop on Multimedia
 Signal, pp. 434-437, Crete 2007



               ΔΠΜΣ ΗΕΠ 2011-2012                            41
          Vantage points (1)
 Τα χαρακτηριστικά καρέ εξάγονται σύμφωνα με την
  αρχή της μεγαλύτερης ‘εξάπλωσης’ στο χώρο.
 Eπιλογή χαρακτηριστικών καρέ, που είναι
  ομοιόμορφα κατανεμημένα στο χώρο.
 Τα χαρακτηριστικά καρέ είναι αυτά που έχουν τη
  μέγιστη δυνατή απόσταση μεταξύ τους.




             ΔΠΜΣ ΗΕΠ 2011-2012                     42
Vantage points (2)




 ΔΠΜΣ ΗΕΠ 2011-2012   43
           Vantage points (3)       Κεντρικό σημείο: έχει
                                   το μικρότερο άθροισμα
                                    αποστάσεων από όλα
Η μέθοδος:                              τα υπόλοιπα
Εικόναεξαγωγή ιστογράμματος
1ο key frame είναι ο vector median (διανυσματικός
  διάμεσος)
2ο key frame είναι αυτό που απέχει περισσότερο από τον
  vector median
Επόμενο key frame είναι αυτό που έχει την μεγαλύτερη
  απόσταση ΚΑΙ από τα 2 key frames
… Νοστο key frame είναι αυτό που έχει τη μεγαλύτερη
  απόσταση από όλα τα προηγούμενα Ν-1 key frames

              ΔΠΜΣ ΗΕΠ 2011-2012                            44
            Vantage points (4)
 Πότε σταματά ο αλγόριθμος?

Όταν η απόσταση των χαρακτηριστικών καρέ γίνει
 μικρή γειτονικά καρέόμοια...


               Συγκρίνω με την
            απόσταση που έχουν τα
             2 πρώτα key frames!

Όχι μειονέκτημα κατωφλιοποίησης!
             ΔΠΜΣ ΗΕΠ 2011-2012                  45
Αξιοπιστία αναπαράστασης (1)

1. Ανθρωποκεντρική προσέγγιση π.χ. Mean Opinion
  Score

2.Αντικειμενικές προσεγγίσεις
  2.1 Πιστότητα (Fidelity)
  2.2 Λόγος συμπίεσης (Compression Ratio)




              ΔΠΜΣ ΗΕΠ 2011-2012                  46
Αξιοπιστία αναπαράστασης (2)
 Πιστότητα (Fidelity)                Επιθυμώ υψηλές
                                      τιμές του δείκτη!




j : key-frame
i≠j : frame
dij :απόσταση μεταξύ κάθε καρέ i και του
χαρακτηριστικού καρέ j

              ΔΠΜΣ ΗΕΠ 2011-2012                          47
Αξιοπιστία αναπαράστασης (3)
 Λόγος συμπίεσης (Compression Ratio)
                                        Επιθυμώ υψηλές
                                        τιμές του δείκτη!



NKF : αριθμός των key frames
NF : ο αριθμός των frames




             ΔΠΜΣ ΗΕΠ 2011-2012                             48
Θεωρία τέλος!
Συνέχεια με την εργαστηριακή άσκηση!




         ΔΠΜΣ ΗΕΠ 2011-2012            49

				
DOCUMENT INFO
Shared By:
Categories:
Tags:
Stats:
views:0
posted:3/30/2014
language:Greek
pages:49