[发明专利]基于自然纹理的二维多元数据可视化方法

摘要

基于自然纹理的二维多元数据可视化方法，包括如下步骤：步骤1：数据处理阶段，为可视化映射做准备工作。转换数据的类型和格式，使其符合可视化映射模块的输入；预处理纹理样图，完成一些无需每次可视化映射重新计算的操作；步骤2：可视化映射阶段，将二维多元数据的三个属性分别映射到纹理的大小，方向和颜色；步骤3：可视化感知阶段，绘制可视化图像展示给用户，接受用户的反馈并相应改变可视化显示结果。

主权项

基于自然纹理的二维多元数据可视化方法，包括如下步骤：步骤1：数据处理阶段，为可视化映射做准备工作；转换数据的类型和格式，使其符合可视化映射模块的输入；预处理纹理样图，完成一些无需每次可视化映射重新计算的操作；1.1预处理可视化数据；包含数据的去噪、数据、格式转换；不同数据处理的方式不同，目标都是使其符合可视化映射输入格式；可视化输入格式使用一个结构体定义；该结构体中除了有存储数据值的变量，还有表示数据覆盖的二维空间的大小，由变量W和H表示，即数据的分辨率为W×H；为了实现可视化交互，数据的结构体中还需要定义4个变量表示当前显示的数据范围；这4个变量组成显示数据的起始坐标(s_x,s_y)、x轴方向的显示范围o_x和y轴方向的显示范围o_y；初始时，s_x＝0，s_y＝0，o_x＝W，o_y＝H；1.2预处理纹理样图；1.2.1生成样图E的高斯图像栈，E0,E1,...,EL，当样图大小为m×m，L＝log2m；1.2.2使用全局邻域匹配处理高斯图像栈每层的图像，为图像内的每个像素找到最相似的k个像素，k取值为2或3，得到一系列扩展一致性搜索(k‑coherence search)的候选集1.2.3收集高斯图像栈每层的图像中像素u的n×n邻域，n取值为5或7，得到每层的邻域集合主成分分析样图每层的邻域并对其进行降维，得到d维的邻域和投影矩阵Pd，d取值为4到8；步骤2：可视化映射阶段，将二维多元数据的三个属性分别映射到纹理的大小，方向和颜色；2.1将二维多元数据D和纹理样图E及样图的预处理结果高斯图像栈E0,E1,...,EL、候选集d维的邻域和投影矩阵Pd载入显存；2.2在显存中初始化坐标图S0，初始值为(0,0)，S0＝(0,0)T；2.3循环迭代，从粗糙层0层到精细层L层；对于当前迭代层l层：2.3.1使用数据的两个属性D1和D2生成雅可比矩阵场；当前l层将合成坐标图表示为Sl；在Sl中的每个点被对应到在显示范围内的一个数据；Sl与数据显示范围的分辨率不一定相同，对于Sl中的点p使用双线性插值取得对应数据的属性值D1(p)和D2(p)；然后如公式(1)所 示，基于D1(p)和D2(p)分别生成缩放矩阵(公式(1)中的左矩阵)和旋转矩阵(公式(1)中的右矩阵)，最后将它们相乘得到雅克比矩阵J(p)；公式(1)中的z决定纹元大小变化范围，a决定纹元方向的变化范围；这两个参数在可视化映射前设定；在0到1范围内变化的数据D1(p)控制纹元从原始纹元的z倍变化到原始纹元的1倍；在0到1范围内变化的数据D2(p)控制纹元方向从0度变化到a度；z默认取0.3，也可以做适当调整，适当调整是在保证最小纹元至少包含4×4个像素的前提下，尽可能的使z接近0，a取值90度；2.3.2上采样上一层坐标图Sl‑1得到当前层较精细的坐标图Sl；当前层的四个子像素继承于在前一层中的一个父像素；四个子像素存储的坐标等于父像素存储的坐标加上位置相关的偏移量与雅克比矩阵的乘积；具体如公式(2)所示：当前层p位置的子像素继承前一层p/2位置的父像素，表示向下取整的操作，如当前层(0,0)，(0,1)，(1,0)，(1,1)位置的四个子像素都继承前一层(0,0)位置的父像素；子像素的偏移量由hl和Δ组成；hl＝2L‑1其中L＝log2m,m为样图的大小；Δ＝p mod2，mod表示取模；不同子像素加上的偏移量不同；为了使用数据控制纹理的大小和方向，偏移量在使用前要乘上雅可比矩阵；J(p)表示p点对应的雅可比矩阵；2.3.3采用扩展一致性搜索的邻域匹配修正坐标图Sl；对于Sl点的p先收集其直接邻域，与候选集一起确定邻域匹配的范围Ul(p)，具体如公式(3)(4)所示：Ul(p)＝{ul(p,Δ,i)|||Δ||＜2,i＝1...k}   (3) 对于坐标图中要修正的点p，只考虑预测集Ul(p)中的点；预测集Ul(p)的选取，如公式(3)所示，先要取得p点的直接邻域(3×3邻域)中的点，Sl[p+Δ]；然后根据直接邻域中的点获取对应的候选点，在获取候选点前坐标要近邻取整，因为在本发明中纹理合成中合成坐标为连续的值；近邻取整的偏差由后面两项补上；J(p)hlΔ是补偿近邻的偏移；接着收集p的n×n邻域并进行雅可比矩阵扭曲和PCA降维，得到d维的邻域具体如公式(5)(6)所示：公式(5)的表示雅克比矩阵扭曲邻域，该计算中使用雅克比矩阵的逆乘以邻域收集的偏移量，然后标准化处理；表示点p的8个直接相邻点中的一个；获取在样图中的坐标，再减去雅克比矩阵与雅克比转换邻域的方向分量的乘积最后加上样图邻域空间的偏移量hlΔ；公式(6)中用于PCA降维的投影矩阵Pd乘上邻域得到d维的邻域最后根据距离确定最佳像素的坐标替换p，具体如公式(7)(8)所示：Sl(p)＝ul(p,imin,Δmin)(8)上述公式(7)表示先计算p点邻域与预测集中点邻域的欧氏距离，然后取得欧氏距离最小时i和Δ的取值；欧氏距离最小表示邻域最匹配；使用最匹配的点替换当前待修正点，具体如公式(8)所示；2.4达到最精细层跳出循环迭代，得到坐标图SL；2.5根据坐标图SL访问样图转化为颜色图，得到可视化图像；这里使用数据的第三个属性控制坐标图到颜色图的转换；根据坐标图SL中点p存储的坐标u访问样图E得到RGB彩色空间的像素pixel＝{r，g，b}；将pixel从RGB颜色空间转化到HSL颜色空间pixel＝{h，s，l}；然后用点p对应的第三个属性D3(p)根据公式(9)修改pixel的h值；最后pixel转回RGB彩色空间并填充到颜色图中；h＝(1‑D3(p))×4/6   (9)步骤3：可视化感知阶段，绘制可视化图像展示给用户，接受用户的反馈并相应改变可视化显示结果；3.1创建OpenGL绘制环境，使用OpenGL的纹理贴图方法绘制可视化图像；3.2接受用户鼠标滚轮的操作控制可视化图像的缩放；如果鼠标滑轮向上滚动，就减少显示数据的范围，利用这较小范围的数据重新可视化映射和绘制，实现放大的效果；缩小则是增加显示数据的范围，再重新可视化映射和绘制；3.2.1先根据鼠标滚轮操作改变数据的显示范围；前面在数据结构 体中定义了数据显示的起始坐标(s_x,s_y)、x轴方向的显示范围o_x和y轴方向的显示范围o_y；数据显示的坐标范围是(s_x,s_x+o_x)，(s_y,s_y+o_y)；那么在鼠标操作后，根据公式(10)(11)(12)(13)重新计算数据显示的范围，得到新的坐标范围为(s_x',s_x'+o_x')，(s_y',s_y'+o_y')；在公式(10)(11)(12)(13)中，(xcenter,ycenter)表示缩放时光标的位置，w和h表示显示窗口的宽和高，t表示每次鼠标滑轮滚动时缩放的倍数；0＜t＜1是为放大，t＞1是为缩小；o_x'＝t×o_x   (12)o_x'＝t×o_x   (13)在鼠标向上滚动时t默认取0.8，在鼠标向上滚动时t默认取1.2；3.2.2使用拥有新的显示范围的数据，重新执行第二步的2.2至2.5步骤和第三步的3.1步骤；3.3接受用户鼠标平移的操作控制可视化图像的平移；鼠标移到可视化窗口上，按住左键后左右移动，控制可视化结果的左右移动；3.3.1先根据鼠标平移操作改变数据的显示范围；根据公式(14)(15)计算新的起始坐标(s_x',s_y')，其中x_r为鼠标沿x轴方向移动的距离，y_r为鼠标沿y轴方向移动距离；根据新的起始坐标可以确定平移后数据新的显示范围；3.3.2使用拥有新的显示范围的数据，重新执行第二步的2.2至2.5步骤和第三步的3.1步骤。