[发明专利]知识信息提取系统及知识信息提取方法

权利要求书

1.一种知识信息提取系统，其特征在于，具备：

作业影像获取装置，其获取作业实施者实施的作业的影像；

作业语音获取装置，其获取所述作业实施者及观察所述作业的观察者中的至少一方关于所述作业所发出的语音；

作业行为记录数据库，其将由所述作业影像获取装置获取的所述作业的影像及由所述作业语音获取装置获取的所述语音分别记录为作业影像数据及作业语音数据；

知识信息提取编辑装置，其基于记录在所述作业行为记录数据库中的所述作业影像数据及所述作业语音数据，提取并编辑熟练者对所述作业熟知的信息作为知识信息，其中，所述作业实施者及所述观察者中的至少一方是对所述作业熟知的所述熟练者；以及

知识信息数据库，其记录由所述知识信息提取编辑装置提取的所述知识信息，

所述知识信息提取编辑装置具备：提取编辑处理部，其允许从所述作业影像数据及所述作业语音数据中提取或编辑所述知识信息的用户操作；显示部，其显示在所述提取编辑处理部中所使用的图形用户界面；以及操作输入部，其允许所述图形用户界面中的用户操作，

所述图形用户界面具有：动态图像显示区域，其显示与所述作业影像数据相关的影像；知识信息显示区域，其以能够由所述用户操作编辑的状态显示所述知识信息；以及时间线显示区域，其显示用于确定所述作业影像数据及所述作业语音数据的播放位置的时间线。

2.根据权利要求1所述的知识信息提取系统，其特征在于，

所述知识信息提取编辑装置基于包含与所述作业相关的内容的语音将所述作业影像数据及所述作业语音数据分割成要素作业。

3.根据权利要求1或2所述的知识信息提取系统，其特征在于，

所述知识信息提取编辑装置具备将所述作业语音数据转换成文本数据的语音识别处理部，从由所述语音识别处理部得到的所述文本数据中提取与所述作业相关的知识信息。

4.根据权利要求1或2所述的知识信息提取系统，其特征在于，

所述知识信息提取编辑装置提取与同一作业相关的多个熟练者所提供的知识信息，生成将所述多个熟练者的知识信息融合而成的融合知识信息。

5.根据权利要求1或2所述的知识信息提取系统，其特征在于，

在根据规定的作业中产生的条件而存在多个分支作业的情况下，所述作业影像获取装置及所述作业语音获取装置获取各分支作业的影像及语音，以由所述作业行为记录数据库记录为所述各分支作业的分支作业影像数据及分支作业语音数据，

所述知识信息提取编辑装置从所述各分支作业的所述分支作业影像数据及分支作业语音数据中提取所述熟练者对所述各分支作业熟知的信息作为知识信息，并将所述各分支作业的知识信息追加到与所述规定的作业相关的知识信息中。

6.根据权利要求1或2所述的知识信息提取系统，其特征在于，

所述知识信息提取编辑装置提取所述作业的作业项目、作业内容、作业顺序、作业时间作为所述知识信息。

7.根据权利要求6所述的知识信息提取系统，其特征在于，

所述知识信息提取编辑装置提取在所述作业中应注意的要点作为所述知识信息。

8.根据权利要求1或2所述的知识信息提取系统，其特征在于，

所述作业影像获取装置从所述作业实施者的视角拍摄作为所述作业实施者的熟练者所实施的作业的影像，所述作业语音获取装置对所述作业过程中的所述熟练者的语音进行拾音。

9.根据权利要求或2所述的知识信息提取系统，其特征在于，

所述作业影像获取装置从观察所述作业实施者的观察者的视角拍摄作为所述作业实施者的熟练者所实施的作业的影像，所述作业语音获取装置对所述熟练者与所述观察者的对话语音进行拾音。