[todo Austin] 奧斯丁。土豆

這是MMAI 08(Multimedia Analysis and Indexing)我們的final project

主題是替一段沒有音樂的影片找到合適的背景音樂

過程大概是如下：

input video -> 找到影片的分類 -> 由training data找到這個影片分類的背景音樂

-> 找出這些音樂的分類 -> 由KNN (K Nearest Neighbors) 找出合適音樂

要做的工作如下：

事前工作(training)：

1. 先把MV的影片和音樂分離出來，並且紀錄影片和音樂的配對

2. 對影片和音樂利用SVM做classification，分別得到影片和音樂的model

running time:

1. 找出影片的feature(和當初分類影片時的feature一樣)

(color distribution、shot frequency、shot type、motion...and other?)

2. 丟到影片的SVM找出input video的分類

3. 找到影片分類以後對於同一個分類內的各個影片算feature distance算出rank

4. 然後找到這些影片當初配對到的音樂(依照rank)

5. output出這些音樂

目前想法是這樣

但是有很多問題

1. 人工分類MV是件很恐怖的事情，有沒有辦法unsupervised classification?

2. 影片和音樂之間的關係只能靠當初的配對嘛？有沒有辦法找出其他相連性

3. 影片的feature只有上述那些嘛？有沒有其他的？