[发明专利]基于自动的单词翻译改变嘴唇形状的装置及方法

摘要

公开了一种基于自动的单词翻译改变嘴唇形状的装置及方法。根据本发明的实施方式，本发明实现了当用户通过麦克风输入语音时通过使用摄像机拍摄用户的面部，使用户的嘴唇所在的区域与通过摄像机拍摄的图像区分；并且识别用户的语音，并且相对于与所识别的语音相对应的单词被翻译为其他语言时的情况，表示嘴唇形状的局部图像被插入到所区分的嘴唇所在的区域中，使得当用户通过语音输入的单词被翻译为其他语言时，能够自动地改变与单词相对应的嘴唇形状。

主权项

一种用于基于自动的单词翻译改变嘴唇形状的装置，包括：单词数据库，在所述单词数据库中第一语言的多个单词以及针对所述第一语言的多个单词翻译成第二语言的多个单词两者被存储成彼此分别相对应；视频数据库，在所述视频数据库中多个预定嘴唇形状的视频数据被存储成分别与被翻译成所述第二语言的多个单词的发音相对应；区域检测单元，用于使用摄像机捕获用户的面部并且用于从所述摄像机拍摄的视频中检测所述用户的面部区域；区域分离单元，用于从检测到的面部区域中分离所述用户的嘴唇所在的区域；单词检测单元，用于通过麦克风接收所述用户的语音，用于识别所述用户的输入语音，并且用于从所述单词数据库中检测与所述用户的语音相对应的单词；翻译单词提取单元，用于在检测到的单词是所述第一语言的单词时，从所述单词数据库中提取与检测到的所述第一语言的单词相对应的被翻译成所述第二语言的单词；视频数据提取单元，用于从所述视频数据库中提取与提取出的所述第二语言的单词的发音相对应的嘴唇形状的视频数据；以及视频插入单元，用于针对在所述摄像机拍摄的视频中的、所述用户的嘴唇所在的分离出的区域插入与提取出的所述嘴唇形状的视频数据相对应的局部视频。