本文译自卡内基梅隆大学/软件工程研究所的访问科学家Paul Solomon在国防采办大学网站的文章《Better Program Managing Through Digital Engineering》，Solomon还是海军航空系统司令部 (NAVAIR) 手册的撰稿人，1998 年获得了 David Packard 卓越采办奖。

2018年，美国防部（DoD）发布了数字工程战略（DE Strat），用于指导整个国防部数字工程转型的规划、开发和实施。2019年，美国防部转型的适应性采办框架（AAF）发布。本文旨在为整合数字工程战略与适应性采办框架，以更好地管理软件密集型重大能力采办和其他采办路径提供指导。

项目经理（PM）的信息需求

实现数字工程战略的第2个目标，提供权威真相源（ASOT），将实现更好的项目管理。权威真相源将为项目经理提供及时准确的进度状态，以及项目执行的态势感知，以主动解决影响成本、进度和项目目标技术实现的问题。它还将为PM提供通过功能完整性衡量产品质量程度的态势感知。

目标2要素包括：

管理政策、程序和标准将确保权威真相源的适当治理，并提高整个生命周期的数据质量。执行权威真相源的治理应增加利益相关方对权威真相源完整性的信心。

以权威真相源为技术基准，在成本、进度、绩效和风险管理方面做出明智、及时的决策。例如，应从权威真相源跟踪和验证合同可交付物。这将使各级利益相关方能够对系统开发做出明智的反应，从而避免任务成功的技术和管理障碍。

使用权威真相源生成数字工件，支持审查，并为决策提供信息。

为什么更好？

对于大多数软件密集型的重大能力采办，进度状态和项目执行态势感知的最普遍来源是承包商的挣值管理系统（EVMS），该系统必须符合挣值管理系统标准EIA-748的要求。但是，遵守标准并不能确保承包商提供的数据准确或可靠。这些标准并不涉及技术基线或“产品范围”、需求进度、需求跟踪、风险管理和风险缓解。甚至使用技术性能度量（TPM）也是可选的。

提交给国会的三份报告对挣值管理系统报告的真实性或完整性进行了类似的评估。首先，根据2009年国防部的一份报告，“挣值管理（EVM）的效用已经下降到无法达到预期目的的水平。承包商保持EVM指标有利，并隐藏问题。如果不使用良好的技术性能指标，即使在验证要求、完成初步设计、满足重量目标或交付软件方面落后于进度，项目也可以报告100%的挣值（EV）”。

该报告补充说，“PM应确保EVM过程衡量技术工作产品的质量和技术成熟度，而不仅仅是完成的工作数量”。报告指出，只有通过严格的系统工程（SE）过程来增强EVM过程，并将系统工程产品计算成本并纳入EVM跟踪，EVM才能成为有效的项目管理工具。

2018年，809小组关于精简和编纂采办条例的咨询报告第2卷指出，“EVM的另一个重大缺陷是它没有衡量产品质量。根据EVM指标，一个项目可以提前完成且低于成本，但交付的是客户无法使用的能力。…与敏捷流程相比，使用EVM的传统度量方法为项目提供的价值要更小，在敏捷流程中，最终用户会不断验证产品是否满足要求”。报告的结论是，“大多数大型软件项目都需要EVM，但并没有预防成本、进度或性能问题”。报告还指出，“当前的系统关注过程，而不是产品。这种理念将使PM的注意力脱离成本、进度和性能的基本面，是造成负面采办结果的主要原因之一。

如果数字工程战略按预期实施，则报告的进度绩效（schedule performance）将以产品为导向，以技术性能为基础，并以权威真相源中已完成的数字工件为依据。这与EIA-748中的论述形成鲜明对比，即“EV是对已完成工作量的直接衡量”。所完成工作的质量和技术内容由其他过程控制。

建议 PM 和国防合同管理局获取有关权威真相源中已完成数字工件的信息，并将其与任何时间点的计划完成情况进行比较，以得出进度绩效。然后，他们应调查与承包商报告的进度绩效的重大差异。

数字工程战略支持AAF政策

成功的数字工程战略将支持表1中包含的适应性采办框架政策。

表 1. 成功的DE战略支持AAF政策

数字工件（Digital Artifacts）

美国防部于2022年2月发布了《系统工程指南》。该指南为“国防采办计划提供了指导和推荐的最佳实践”。

应作为进度绩效基本度量的典型工件是该指南中衡量和验证流程的输出。这些输出是 PM 的权威真相源。

当使用数字工程时，这些工件的数字版本应从工程部门自动流转到项目管理机构。指南中典型的数字工程工件如表2所示。

权威真相源的另一个来源是能力成熟度模型集成（CMMI）。CMMI流程的典型工作产品如表3所示。这些工件的数字版本也应从工程部门自动流转到项目管理机构。

数字工程指标和工件（DE Metrics and Artifacts）

建议国防部为数字工程制定并发布支持PM信息需求的指标规范。指标规范应用作三个PM 职责的数字权威真相源使用。首先，PM应制定分阶段的进度表来完成需求定义。分阶段的计划应处于自动链接的调度系统中。其次，PM应评估定义和完成需求的进度。计划进展也应处于自动链接的调度系统中。第三，PM应使用来自权威真相源的数字工件作为数字工程指标的基础度量。这些数字工件是系统工程（SE）工作产品完成的权威真相源，例如需求定义，包括批准的技术性能度量（TPM），验证方法以及功能和分配基线中的完成标准、权衡研究，产品基线中已完成的产品（如适用，包括最小可行产品和最小可行能力发布基线）和测试工件（例如，测试用例、计划、缺陷和结果）。

成本效益

根据数字工程战略，“组织之间的信息沟通…应该通过自动化…转换进行”。如果工程和项目管理之间的进度绩效信息沟通是自动化的，那么通过消除或减少人工输入，将会降低成本。此外，自动化还支持DoDD 5000.01采用创新实践的政策，包括最佳商业实践和电子商务解决方案，以减少周期时间和成本，同时鼓励团队合作。

表 2.典型的数字工程工件

成功应用（在数字工件之前）

20多年前，我作为监督者支持B-2轰炸机升级计划、联合防区外武器/通用武器接口系统（JSOW-GWIS）和Link-16数据链。我还是为提高CMMI成熟度而成立的流程改进团队的成员。我们选择了成为挣值（EV）基础度量的工程工件。由此产生的进度绩效度量流程和新的EV基础度量方法取代了不能向PM提供准确信息的流程。

进度绩效信息存于需求跟踪矩阵中。挣值不是源代码行数（SLOC）或图纸完成百分比，而是基于需求状态的，例如已定义并分配给软件组件，分配给测试用例并成功测试的需求。在测试状态下，该度量值用于评估是否已根据指定的需求演示了所需的功能。当软件构建或工程设计在没有达到其基线要求的情况下仍发布时，我们考虑了推迟的功能。已完成的SLOC或图纸百分比与已完成的需求没有关联。已完成工作的百分比并不是验证需求状态、初步设计完成情况、重量目标符合情况或软件交付情况的真实指标。在制定绩效度量基线，及确定进度绩效与完成估算方面，我们考虑了返工。

这些做法提高了我们的管理效率和客户满意度。我在《2000年航空航天采办》上的文章描述了我们的成功做法：

“B-2‘幽灵’隐形轰炸机项目利用EVM实施了一些创新的流程改进。其中包括将挣值与系统工程流程集成，以及定义改进的软件工程指标以支持EVM”。

“这些变化在B-2武器系统的升级过程中得到了回报。其中一项升级是开发JSOW/GWIS，这是一项软件密集型工作。新的指标帮助使其成为一个非常成功的项目。PBEV[基于绩效的挣值]方法用于确保作战人员从软件开发工作中获得最多的功能。在JSOW项目中，我们提供的功能比原计划多85%”。

IBM工程需求矩阵（DOORS）是规划和跟踪 Link-16 升级项目需求状态的权威真相源，并用于合同报告。2006年5月，我在《Journal of Defense Software Engineering》期刊的CrossTalk上发表了一篇介绍此类实践的文章，“基于绩效的实用挣值（Practical, Performance-Based Earned Value）”。这些实践在许多系统工程和软件工程会议上都有介绍。上一次演讲是在2020年的海军研究生院。与会者证实，国防承包商从未使用过这些实践做法。以下是CrossTalk文章的摘录：

“示例3演示了一种衡量系统工程工作进度的方法，以执行需求管理，跟踪和验证。典型活动包括：定义需求、验证需求、确定验证方法、分配需求、记录验证过程，及验证是否已满足需求。RTM [需求跟踪矩阵] 应用于记录每个需求在此周期中的状态。计划完成这些活动的分阶段进度表是绩效衡量基线的基础。RTM中系统或子系统需求状态的度量应该是挣值（或进度绩效）的基础度量”。

表 3.能力成熟度模型集成（CMMI）中的典型系统工程工作产品/工件

CMMI 和 NAVAIR 参考资料

Using CMMI to Improve Earned Value Management ,Technical Note CMU/SEI-2002-TN-016, October 2002

Naval Air Systems Command (NAVAIR) handbook, Using Software Metrics and Measurements for Earned Value Toolkit, October 2004

结论

如果数字工程战略成功实施，并且使用权威真相源中数字工件的状态为PM提供进度绩效和产品质量程度信息，PM将能够更快地采取纠正措施。如果进度绩效数据自动传输到PM的调度系统，而不是手动输入，那么项目成本将会降低，并且数据的准确性也会提高。

来源：侃天侃地看灰机