卫星网络仿真系统可信度评估方法
宿相萍1，林琪2
(1. 装备指挥技术学院 重点实验室 研究生管理大队，北京，101416；
2. 装备指挥技术学院 重点实验室，北京，101416)
摘要：为了解决已建立卫星网络仿真系统难以进行可信度评估的问题，介绍卫星网络仿真系统的发展现状以及进行可信度评估的必要性。在可信度的定义的基础上，介绍现有的仿真系统可信度评估方法，分析已建立仿真系统可信度评估的特点；通过模糊层次方法对已建立的卫星网络的仿真系统的可信度进行评估，通过实验证实本方法是可行的。
关键词：卫星网络；可信度评估；模糊层次分析法
中图分类号：TN927 文献标志码：A 文章编号：1672-7207(2011)S1-0969-05
Credibility evaluation method for
satellite network simulation system
SU Xiang-ping1, LIN Qi2
(1. Company of Postgraduate Management, Academy of Equipment Command and Technology, Beijing 101416, China;
2. The Key Laboratory, Academy of Equipment Command and Technology, Beijing 101416, China)
Abstract: In order to resolve the problem of the credibility evaluation in the existing satellite network simulation system, the current status of the satellite network simulation system and the necessity of credibility evaluation were introduced. Based on the credibility definition, the prevalent method of the credibility evaluation in detail was summarized, and the characteristics of the credibility evaluation for the existing simulation system were analyzed. Then, the FAHP was used to perform the evaluation work. The experiment was done to validate the feasibility and rationality of the proposed method.
Key words: satellite network; credibility evaluation; FAHP
随着卫星通信技术的发展，传统单颗卫星的工作模式已经不能满足现代通信的需求，简单卫星编队飞行与分布式卫星飞行应运而生，并逐渐向单层卫星网络乃至多层卫星网络过渡。卫星网络是指卫星技术的网络模式，利用卫星或星座作为中继结点来实现通信的卫星通信系统。在该模式中，网络由不同轨道上多种类型的卫星系统组成，以卫星星座为基本物理构架，充分利用卫星系统覆盖范围大，可多层次、全谱段地获得目标多源信息的特点，实现地面信息和空间信息的接入、互通互联和交换，形成有效的天空地一体化信息链，能够向用户提供具有精确时间和空间参考的经多要素融合处理的高可信度信息。
目前，卫星网络主要有单层布星、多层混合布星两种方式。当前各国己建成的和较为成熟的宽带卫星网方案大都采用单层布星方式，美国铱星系统是世界上第一个采用星际链路的卫星信息传送系统，也是唯一有星上处理和星际交换的卫星系统。其它较典型的有布于低轨的“Iridium”系统和“Teledesic”系统，以及布于中轨道的ICO系统等。多层混合布星是指在两个或者更多轨道同时布星，利用层间链路建立一个立体的卫星通信网，因为其较高的空间频谱利用率、灵活的空间通信等优点，已经成为卫星网络研究的热点[1]。
现阶段，我国的卫星应用技术还处在单星模式，星座模式正在起步，卫星网络具有建立周期长、投资巨大、一旦建成不易更改等特点，因此，要研究卫星网络技术，必须具备能够在网络协议与算法实现前进行仿真与验证的实验平台。目前，主要的仿真软件有QualNet、OPNET和NS-2 3种，现有的这几种大型网络仿真软件或专用卫星通仿真系统并不具有专用的仿真系统可信度评估模块，因此，本文作者提出针对卫星网络的仿真可信度评估方法，旨在提高卫星网络仿真系统的可信度评估能力[2]。
1 仿真系统可信度定义
仿真可信度是20世纪50年代后期提出来的，随着仿真系统的规模不断扩大、仿真复杂性不断增强，仿真系统的可信度越来越受到人们的关注，对仿真可信度的研究主要集中在概念术语、方法与技术、指标体系与实际应用等几个方面。
我国对仿真可信度的研究起步于20世纪80年代，研究的机构还较为分散，对VV&A的相关概念没有形成统一的标准规范，在很多问题上存在分歧，与国外仍有一定的差距。对于Credibility一词的理解就有“可信性”、“可信度”、“置信度”、“逼真度”等多种翻译，比较主流的提法是可信性与可信度。张淑丽等[3]将仿真系统的可信性定义为仿真系统使用者应用仿真解决具体问题和进行决策的信心。顾辉等[4]认为可信性是系统在执行任务过程中所处状态的量度。孙稚峰等[5]定义为可信度是由仿真系统与原型系统之间相似性决定的, 仿真系统与仿真目的相适应的程度。
比较以上几种定义，文献[3]侧重于定性的描述，文献[4]与[5]侧重于定量描述，文献[3]与[5]从仿真系统整体的角度，对仿真可信度与仿真目的的关系进行了阐述。就原型系统的理解，狭义上，讲原型系统指系统生命周期开始阶段建立的一个可运行的最小化系统模型，软件开发过程就是分析系统原型，建立系统模型，再优化转换的过程；广义上讲，是指当前系统的原始形态，这里不一定就是信息系统，非信息化的系统也有原型。由此，以仿真系统与原型系统的比较作为仿真可信度评估的度量并不全面，从实际系统到原型系统抽象的过程的可信度也应作为仿真可信度考虑的一个部分。
因此，这里本研究提出定义如下：可信度是由仿真系统与实际系统之间相似性决定的, 仿真系统与仿真目的相适应的程度。
2 仿真系统可信度评估方法
2.1 仿真系统可信度评估方法
仿真可信度研究的方法很复杂，有定性的或定量的，有时间域，频率域的；有基于软件工程的方法，也有基于仿真结果验证的方法。从原理上讲，可信度评估主要根据相似性原理与差异性原理。
2.1.1 相似性原理
相似性评估方法首先找出仿真系统与实际系统之间的相似元，再按一定的算法计算系统相似度。
式中：Yt为实际数值；Ys为仿真结果。
2.2.2 差异性原理
差异性评估方法是从另一个角度考虑问题。它从仿真系统与实际系统在输出结果上的差异来衡量仿真系统解决特定问题的信任程度：Ps{|Ys-Yt|≤E}。
E为达到目的所允许的最大误差，S为某一状态。
这两类评估方法都是基于还原法思想之上的，它们都要通过对系统进行分解成各个子系统．然后对各子系统分别评价，最后整合成为对整个系统的一个评价，因此，两者是相互联系、互为统一的。
从可信度评估的研究方法上主要有定性与定量两种，定性分析主要是通过主观的判断比较，随着软件工程方法的发展和完善，逐步应用于仿真可信性的研究中。定量分析方法一般是利用统计分析方法定量比较仿真试验和真实系统的输出。
定量方法比定性方法有着更多的工程实际需求，可作为系统评审或验收过程中重要的参考依据，但由于仿真系统的复杂性和不确定性，定量地评价一个仿真系统的可信度存在相当大的难度。在仿真评估中，要综合运用多种方法和手段，从多个角度和层次对仿真进行详细的分析和评估，做到定性与定量的有机结合。
从应用上分类，可信度评估方法主要有仿真结果验证与VV&A。基于仿真结果验证的方法主要是应用统计学的相关知识，通过仿真结果与实际或预想结果的比较，得出仿真可信度。这种方法是由于建模与仿真过程中由于时间、资金与意识等限制原因，造成开发过程中未展开校核、验证与确认(VVA)工作，主要是对仿真结果与期望数据进行相似度比较，作为整体仿真系统的可信度评估的依据，比如门星火等[6]提及的采用仿真方法对C3I系统进行评价的一般过程就是这种方式，唐静等[7]对可信性研究的定义，也是对这种方式的描述。VVA方法是一种软件工程的方法，从完整性、可靠性等方面讲，VVA是优于基于仿真结果验证的方法，并包含其验证的内容。但是，由于VVA相关研究尚未完善，虽然对于VVA的重要性达成了共识，但具体应用于工程的极少。现阶段仿真系统可信度的评估多采用对仿真结果进行验证的方式，特别是对已建成仿真系统的可信度评估还没有提出切实可行的方法，本文作者提出一种针对已建立的仿真系统的可信度评估方法，方法结合VVA活动内容，在建立可信度评估指标的基础上，通过模糊层次分析法建立仿真可信度的评估模型。
2.2 已建成的仿真系统可信度评估的特点
(1)VVA文本缺失。对已经建立的仿真系统，由于没有成立专门的VVA机构，VVA活动没有贯穿到仿真系统的全生命周期中，造成各阶段的VVA文本的缺失，给可信度的评估工作带来了困难。对文本整理可以从两方面进行：一是现有的仿真系统文本资料整理，如提取仿真系统的开发报告、开发过程中的测试与评估报告等文本资料中有价值的信息；二是根据仿真系统的可追溯性，推断得到开发初期的仿真系统可信度评估文本，如通过分析仿真系统代码得到仿真系统的概念模型。
(2)主观影响因素大。对已经建立的仿真系统为研究对象，可信度评估人员更易受到系统运行、仿真结果等因素的影响，造成判断决策的不准确。比如系统仿真运行流畅容易造成系统结构无误的错觉，仿真结果正确也极易忽略误差巧合的可能。因此，仿真可信度的评估工作应该从仿真系统的最早文本资料开始进行，避开过早执行程序。
(3)难以确立可信度评估指标。由可信度的定义可知，仿真可信度研究的是仿真系统与实际系统的相适应程度，但是如何确定适切的指标，既能达到指标体系的全面性、有效性，又能做到低耦合、低数量，具有一定的难度。目前，可信度评估指标主要为专家确定法，对已经建立的仿真系统，VVA活动虽然无法再结合仿真系统的开发过程并行展开，但是，VVA活动的内容还可以作为可信度评估的指标，通过各活动可在已经建立的仿真系统中完成情况确定指标值。
3 卫星网络仿真的可信度评估方法
层次分析法是一种定性与定量相结合的多因素决策方法，是分析大目标、多准则的复杂大系统的有力工具，传统AHP方法的1～9标度重要值是一种主观评赋值的方法，直接受到专家的影响，带有一定的模糊片面性和主观随意性，模糊层次分析法采用三角模糊数的赋值方法建立模糊判断矩阵，与普通判断矩阵的根本区别在于，前者对于每个指标都有一个模糊评判区间。该区间反映专家评判结果的可信度，从某种意义上也可理解成为数理统计中的“置信区间”，从区间的范围来判断赋值可信度。模糊层次法相较于传统的层次分析法，既可以消除计算指标权重时存在的缺陷，又可以反映专家评判的不确定因素，其具体过程如下[8]。
(1)建立卫星网络仿真系统的层次结构。以结合开发过程VVA过程活动为基准，综合分析可信性在VVA过程中不同阶段的评价标准，VVA过程分为目标校核、概念模型验证、设计校核、实现校核、集成校核和结果验证6个阶段，在各阶段可信度评估的工作主要为校核尺度、验证尺度和运行尺度3个方面。校核尺度包括完整性、一致性、互操作性、可追溯性，验证尺度包括有效性、逼真性、准确性，运行尺度包括可靠性、可用性、可维护性。对于已建立的仿真系统，结合开发过程来进行VVA工作是不现实的，因此，以可信度评估尺度作为可信度评估指标体系，以这个角度划分卫星网络仿真系统的层次，通过校核验证对象知识体的复现程度，计算各指标值，可作为仿真结果验证的有力补充。卫星网络仿真系统可信度评估指标体系如图1所示[9]。
以校核尺度为例，VVA内容主要集中在需求校核、设计校核、实现校核与集成校核这4个阶段，通过分析已建立的仿真系统可提供的资料信息，则卫星网络仿真系统的校核指标体系如图2所示。
图1 仿真可信度评估指标体系
Fig.1 Index sign system of simulation credibility evahcation
(2)建立模糊判断矩阵。由专家评价指标进行两两对比，并用三角模糊数构造两两判断的矩阵：A= (aij)n×n。其中aij=(lij, mij, uij)，aji=aij，即aji=(1/uij, 1/mij, 1/lij)。多个专家进行判断时，可采用均值的方法，得出平均三角模糊数，并构造模糊判断矩阵。
模糊矩阵中三角模糊数m的取值可依据传统的层次分析法的1~9标度法确定，三角模糊数的上下界可根据模糊程度加以确定，例如大多数专家认为对于卫星网络仿真系统，其文本信息的可追溯度比回滚过程可追溯度明显重要，则可用三角模糊数aij=(l, 5, u)对它们的关系进行表示，对于l和u的选值，可根据专家对自己判断的自信程度写为aij=(4, 5, 6)，也可以是aij=(3, 5, 7)，u-l越大，表示判断越模糊，数据可信度越小；u-l越小，表示判断越清楚，数据可信度越大；当u-l=0时，与传统判断矩阵并无差异。
(3)构造模糊评判因子矩阵E。模糊评判因子矩阵E=(eij)n×n。其中：eij=1-(uij-lij)/(2mij)；(uij-lij)/(2mij)为标准离差率，表示专家评判的模糊程度。
(4)计算相容矩阵B。计算调整判断矩阵Q=M×E，M为由模糊判断矩阵中值组成的矩阵。把调整判断矩阵Q按列转换为对角线为1的判断矩阵为A=(aij)n×n，aii=1，aji=1/aij。最后，按相容矩阵分析法对变换得：
B=(bij)n×n。其中：
。
(5)计算各指标在本层次的权重wj。指标j在本层的权重为
(6)计算仿真系统可信度。分层计算指标的权重向量，最后就可以得到各指标相对于总目标的权重和卫星网络仿真系统的可信度向量S=(w1·s1, …, wj·sj, …, wn·sn)，其中sj为指标j的可信度，根据卫星网络仿真系统可信度评估目标的比对，可以进一步分析计算数据，得到一个确定的可信度评估值。
4 案例分析
下面以一个卫星网络仿真系统为实验背景，应用上述模糊层次分析法，该卫星网络仿真系统采用HLA分布式体系结构，通过RTI把各个分(联邦成员)连接在一起。仿真系统由6个联邦成员构成：卫星节点联邦成员、轨道计算联邦成员、链路计算联邦成员、路由计算成员、想定生成联邦成员、仿真控制模块，这6个联邦成员间使用RTI平台交换信息和仿真控制 信息。
这里以校核尺度中的可追溯性指标为例，请了5位专家参与评判工作，其中有一名专家与其余专家结果差别较大，本文作者采用从众思想将其评判结果舍去，最后计算各专家的评判结果，得出可追溯性中的各指标的两两关系，如表1所示。
设定卫星网络仿真系统可信度评估通过的4个根指标预期向量为(0.90, 0.90, 0.90, 0.90)，最终计算所得指标向量与预期向量的拟合度达到90%以上为合格。由于计算工作比较复杂，本文作者采用Microsoft Visual C++编程进行计算，得到每一步的计算结果如下。
(1)计算可知模糊判断因子矩阵：
；
图2 卫星网络仿真系统校核尺度指标体系
Fig.2 Verification index sign system of simulation credibility evaluation
表1 可追溯性指标专家评判结果
Fig.1 Average outcome of traceability
(2)调整矩阵：
；
(3)按列转换为对角线为1的判断矩阵：
；
(4)相容矩阵为：
；
(5)可追溯性指标在本层次的权重向量为W3= (0.47, 0.43, 0.098)；
(6)通过单值计算得到指标的向量为S3=(0.98,
0.889, 0.912)，由此可知
，即此卫
星网络仿真系统的可信度指标中可追溯度为0.93。依此方法，分别对各指标值进行计算，最终得到的可信度向量(0.92, 0.98, 0.93, 0.95)，拟合计算得出本卫星网络仿真系统达到通过标准，与实际决策结果相同。
5 结论
以可信度的定义为基础，介绍仿真系统可信度评估方法，通过分析提出以VVA内容为指标，运用模糊层次分析法对已建立的卫星网络仿真系统进行可信度评估，这种方法不仅对已建立的仿真系统的可信度评估提供了思路，也为相似仿真系统可信度的横向比较提供了研究的入口点。其中，对指标体系的建立还有进一步优化的必要；对已建立的仿真系统的可信度评估有待进一步研究。
参考文献：
[1] 田斌, 梁俊, 余江明. 低轨道卫星网络中的路由技术[J]. 信息技术, 2010(3): 6-9.
TIAN Bin, LIANG Jun, YU Jiang-ming. Overview on routing techniques in LEO satellite networks [J]. Information Technology, 2010(3): 6-9.
[2] 郭欣, 张军, 张涛. 移动卫星网络仿真验证系统研究[J]. 遥测遥控, 2010, 31(1): 41-48.
GUO Xin, ZHANG Jun, ZHANG Tao. Mobile satellite network simulation and verification system [J]. Journal of Telemetry, Tracking and Command, 2010, 31(1): 41-48.
[3] 张淑丽, 叶满昌. 导弹武器系统仿真可信度评估方法研究[J]. 计算机仿真, 2006, 23(5): 48-53.
ZHANG Shu-li, YE Man-chang. Simulation credibility evaluation method for missile weapon system [J]. Computer Simulation, 2006, 23(5): 48-53.
[4] 顾辉, 宋笔锋. 地空导弹武器系统可信性评估与分析[J]. 火力与指挥控制, 2009, 34(11): 72-76.
GU Hui, SONG Bi-feng. Evaluation and analysis of dependability of surface to air missile weapon system [J]. Fire Control & Command Control, 2009, 34(11): 72-76.
[5] 孙雅峰, 王朝阳, 黄芝平. 仿真可信度的研究[J]. 电子测量技术, 2009, 32(11): 8-11.
SUN Ya-feng, WANG Chao-yang, HUANG Zhi-ping. Research on simulation credibility [J]. Electronic Measurement Technology, 2009, 32(11): 8-11.
[6] 门星火, 张锦春, 陈琦. C3I系统评价可信性分析方法[J]. 火力与指挥控制, 2006, 31(8): 87-90.
MEN Xing-huo, ZHANG Jin-chun, ZHANG Qi. Research on credibility analysis of C3I system evaluation [J]. Fire Control & Command Control, 2006, 31(8): 87-90.
[7] 唐静, 李聪颖, 刘洪兴, 等. 导弹仿真模型的可信性检验[J]. 战术导弹控制技术, 2004(3): 131-133.
TANG Jing, LI Cong-ying, LIU Hong-xing, et al. Verification of HILS for missile model creditability [J]. Control Technology of Tactial Missile, 2004(3): 131-133.
[8] 孙兵, 张亚军, 戴银华. 基于改进三角模糊数的网络安全风险评估方法[J]. 计算机应用研究, 2009, 26(6): 2131-3135.
SUN Bing, ZHANG Ya-jun, DAI Yin-hua. Risk assessment method for network security based on improved triangular fuzzy numbers [J]. Application Research of Computers, 2009, 26(6): 2131-3135.
[9] 吴静, 吴晓燕, 高忠长. 复杂仿真系统建模与仿真可信性模糊综合评估[J]. 计算机集成制造系统, 2010, 16(2): 267-291.
WU Jing, WU Xiao-yan, GAO Zhong-chang. Fuzzy synthesis evaluation of modeling & simulation credibility for complex simulation system [J]. Computer Integrated Manufacturing Systems, 2010, 16(2): 267-291.
(编辑 李艳红)
收稿日期：2011-04-15；修回日期：2011-06-15
通信作者：宿相萍(1987-)，女，辽宁朝阳人，硕士研究生，从事系统分析与集成的研究；电话：15810750947；E-mail: xiangping1987@163.com
