[发明专利]实现音频与图像同步控制灯光的系统及方法

权利要求书

1.一种实现音频与图像同步控制灯光的系统，其特征在于，包括：

音像播放设备中的音像信息采集及处理软件(1)，用以实现音频及屏幕图像信息采集、按照预定策略分析、处理、并封装成同步控制指令；

云服务器(2)，用于存储用户登录信息、灯光设备(3)控制命令信息以及灯光设备(3)上报的状态信息；

灯光设备(3)，用以接收音像信息采集及处理软件(1)传送过来的同步控制指令，分离出音频及屏幕图像颜色控制命令，按照预定控制策略，控制灯的颜色及律动变化，实现音频与图像同步控制灯光；

所述音像信息采集及处理软件(1)包括：策略控制模块(11)、屏幕采集模块(12)、音频采集模块(13)、数据成帧模块(14)；所述策略控制模块(11)根据用户自定义配置关于音频、屏幕图像的采样策略并发送；所述屏幕采集模块(12)接收所述策略控制模块(11)发送的采样策略并据此采集图像特征数据，所述音频采集模块(13)接收所述策略控制模块(11)发送的采样策略并据此采集音频特征数据；所述数据成帧模块(14)接收所述策略控制模块(11)发送的采样策略并将所述屏幕采集模块(12)采集的图像特征数据与音频采集模块采集的音频特征数据组装成同一帧合成帧数据，并发送；

所述云服务器(2)包括N+1备份云服务器；

所述灯光设备(3)包括：数据接收及缓存单元、帧数据解析单元、灯光设备状态相应单元；所述数据接收及缓存单元接收音像信息采集及处理软件(1)发送的合成帧数据并缓存；所述帧数据解析单元从所述数据接收及缓存单元缓存的合成帧数据解析出颜色及声音控制指令；所述灯光设备状态相应单元根据所述帧数据解析单元解析出的颜色及声音控制指令，同步转换成对应的灯光设备(3)的颜色和亮度信号值。

2.如权利要求1所述的实现音频与图像同步控制灯光的系统，其特征在于，

所述灯光设备(3)有多个，所述多个灯光设备(3)之间可通过WIFI局域网广播、WIFI广域网、WIFI MDNS组网、蓝牙MESH和ZIGBEE MESH其中一种或一种以上的方式控制，实现联动。

3.如权利要求1所述的实现音频与图像同步控制灯光的系统，其特征在于，

所述策略控制模块(11)，用以接收用户关于音频、屏幕图像的采样策略的自定义配置，据此输出音频及屏幕图像的采集范围、采集时钟及时钟戳标签、以及屏幕图像分块数量及采集区域；所述音频的采样策略包括：音频采集的输入源、采集声音的声道数、音频的采样频率、音频数据缓冲区；所述屏幕图像的采样策略包括：图像的采样频率、采集颜色的分块数、采集颜色的区域。

4.如权利要求1所述的实现音频与图像同步控制灯光的系统，其特征在于，所述屏幕采集模块(12)，用以接收策略控制模块(11)输出的每帧采集频率、起始时间戳、每帧图像分块数量及区域，每次读取一个完整帧数据，经过数据分块特征统计计算以实现基于K-Means聚类算法的主色提取，获取每块数据中颜色最多的RGB值及相应的亮度值N，并获取计算时长ΔTv；根据计算，形成第n帧图像特征数据包。

5.如权利要求4所述的实现音频与图像同步控制灯光的系统，其特征在于，

所述音频采集模块(13)，用以接收策略控制模块(11)输出的每帧采集频率以及起始时间戳，每次通过接口函数从音像播放设备音频脉冲数据流中读取一完整帧数据，经过FFT计算，将时域信号的采样变换为在离散时间傅里叶变换频域的采样，获取每次采样中强度最强的3个频率值F1、F2、F3及幅度Af，并获取计算时长ΔTa；根据计算，加上时间戳，形成第n帧音频特征数据包。