[发明专利]便携终端装置以及信息处理系统

权利要求书

1.一种便携终端装置，其特征在于，具备：

存储部，存储嘴唇动作辨别数据；

摄像部，对包含操作者的至少嘴唇部分的影像进行摄影；

嘴唇动作辨别部，通过对从所述摄像部得到的操作者的嘴唇部分的动作数据与所述嘴唇动作辨别数据进行比较，来辨别要执行的操作；以及

控制部，依照所述嘴唇动作辨别部，进行能够执行的操作。

2.根据权利要求1所述的便携终端装置，其特征在于，具备：

话筒，获取操作者的语音；以及

语音辨别部，根据从所述话筒获取到的语音，来辨别要执行的操作，

所述控制部根据所述语音辨别部以及嘴唇动作辨别部的辨别结果，进行能够执行的操作。

3.根据权利要求2所述的便携终端装置，其特征在于，

所述控制部在从所述语音辨别部得到决定要执行的操作的结果的情况下，根据语音辨别部的结果，进行能够执行的操作，在从所述嘴唇的动作辨别部得到辨别要执行的操作的结果、并且从语音辨别部得不到辨别要执行的操作的结果的情况下，根据所述嘴唇动作辨别部的结果，进行能够执行的操作。

4.根据权利要求2所述的便携终端装置，其特征在于，

所述选择部在从所述语音辨别部得到决定要执行的操作的结果的情况下，解除安静模式，在从所述嘴唇的动作辨别部得到辨别要执行的操作的结果、并且从语音辨别部得不到辨别要执行的操作的结果的情况下，设定安静模式。

5.根据权利要求1所述的便携终端装置，其特征在于，具备：

显示部，显示与能够执行的操作对应的字符串的选项。

6.根据权利要求1所述的便携终端装置，其特征在于，

所述选项至少包含嘴唇部分的形状不同的音节的字符、或者嘴唇部分的形状不同的音节的序列不同的字符串。

7.根据权利要求1所述的便携终端装置，其特征在于，

所述选项至少包含元音不同的字符、或者元音的序列不同的字符串。

8.根据权利要求1所述的便携终端装置，其特征在于，

设置存储嘴唇部分的形状的存储部，

所述嘴唇动作辨别部根据在所述存储部中存储的嘴唇部分的形状，从操作者的嘴唇部分的影像中识别字符串的音节的序列。

9.根据权利要求2所述的便携终端装置，其特征在于，

当在所述语音辨别部中得到决定要执行的操作的结果、并且在所述嘴唇动作辨别部中得到操作者的嘴唇部分的动作数据的情况下，根据所述嘴唇部分的动作数据，更新所述嘴唇动作辨别数据。

10.根据权利要求2所述的便携终端装置，其特征在于，

设置根据从所述话筒获取到的语音以及/或者由所述摄像部摄影得到的影像来识别操作者的操作者识别部，

当在所述语音辨别部中得到决定要执行的操作的结果、并且在所述嘴唇动作辨别部中得到操作者的嘴唇部分的动作数据的情况下，根据所述嘴唇部分的动作数据，更新与由所述操作者辨别部辨别出的操作者对应的所述嘴唇动作辨别数据。

11.一种信息处理系统，具备便携终端装置以及进行语音辨别和嘴唇动作辨别的服务器，所述信息处理系统的特征在于，

所述便携终端装置具备：

摄像部，对包含操作者的至少嘴唇部分的影像进行摄影；

话筒，获取操作者的语音；以及

通信部，将由所述摄像部获取到的影像数据与由所述话筒获取到的语音数据发送到所述服务器，并且接收辨别结果，

所述服务器具备：

通信部，接收来自所述便携终端装置的语音数据与影像数据，并且发送辨别结果；

存储部，存储嘴唇动作辨别数据；

语音辨别部，根据经由所述服务器的通信部而接收到的操作者的语音数据，来进行辨别；以及

嘴唇动作辨别部，根据经由所述服务器的通信部而接收到的操作者的影像数据与所述嘴唇动作辨别数据，来进行辨别。