Audit of CP140 Optimized Weapon System Support (OWSS) Avionics Contract

January 2013

7050-28-3 (CRS)

Reviewed by CRS in accordance with the Access to Information Act (AIA). Information UNCLASSIFIED.

Acronyms and Abbreviations

AAS

Advance Accountable Spares

ADM(Mat)

Assistant Deputy Minister (Materiel)

AIMP

Aurora Incremental Modernization Project

AMMIS

Aircraft Maintenance Management Information System

AOP

Annual Operating Plan

CDRL

Contract Data Requirement List

CF

Canadian Forces

CFSS

Canadian Forces Supply System

CRPA

Contractor Repair Parts Account

CRS

Chief Review Services

DAEBM

Director Aerospace Equipment Business Management

DAEPMM

Director Aerospace Equipment Program Management (Maritime)

DAP

Director Aerospace Procurement

DGAEPM

Director General Aerospace Equipment Program Management

DND

Department of National Defence

DRMIS

Defence Resource Management Information System

FFP

Firm Fixed Price

FY

Fiscal Year

GFOS

Government-Furnished Overhaul Spares

HPR

High-Priority Request

N/A

Not Applicable

NDQAR

National Defence Quality Assurance Representative

OPI

Office of Primary Interest

OWSM

Optimized Weapon System Management

OWSS

Optimized Weapon System Support

PWGSC

Public Works and Government Services Canada

R&O

Repair and Overhaul

YFR

Yearly Flying Rate

Results in Brief

Overall Assessment

Although in-service support under the OWSS avionics contract has improved since the contract award in 2005, there are some elements of the contract where value for money could be improved.

A $343-million CP140 Aurora OWSS avionics contract was awarded in June 2005 to provide in-service support to the maritime patrol aircraft fleet of 21 aircraft. Under the OWSS operational concept, the prime contractor is assigned increased responsibility to implement the most cost-effective, airworthy, and optimized support options. This scope increase was to occur in the first three years of the contract, but it has been extended to eight years as this was the first fleet of Canadian Forces (CF) aircraft for which there has been a major business transformation. From the results of a risk analysis of contracts and an audit of a sample of contracts, this contract was included in the Chief Review Services (CRS) Risk-Based Audit Plan                                                                                        The objective of the audit was to assess whether risk management practices, governance structures and internal controls are in place to effectively administer the contract and maximize value for money.

Findings and Recommendations

Financial Management.                                                                                                                                                                                                                                                 1                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   With respect to 43 task authorizations audited, some had incorrect delivery dates while other tasks had overspent due in part to changes in the financial system.

It is recommended that PWGSC be requested to                                                                                                                                 and that DND oversight of task authorizations and payment certification be improved.

Contract Terms and Conditions. Although in-service support performance has improved, the basis of payment for repair and overhaul (R&O) work did not optimize value for money. It is DND policy2 that 40 percent of payments for OWSS contracts be firm fixed price (FFP) for work that is well established.                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                            

It is recommended that the risk associated with R&O                                                                                                                                                                                                                          

Material Management. Not all inventory controls were in place to optimize the effective management of material unique to the CP140 Aurora avionics.                                                                                                                                                                                                                                                                                                                                                                                                                                                                     3                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                     The audit identified up to 4,510 unique CP140 avionics line items that still need to be transferred to the contractor as the designated supply manager, in addition to the 12,313 line items planned at the time of audit—an increase of 37 percent.

To ensure the most effective management of DND material,                                                                                                                                                                                                                                                                                                    

Cost Reduction Target. By the end of the transition period, the contract requires a 15-percent savings based on the recurring baseline activity costs for the CP140 avionics at the outset of the contract. Each year, adjustments were needed for the original cost baseline activities and actual costs to determine if the 15-percent cost-saving target was met.                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    

It is recommended the contract basis of payment be amended to accurately reflect cost baseline activities                                                                                                                                                          

In conclusion, fully exercising all contract and material management controls could improve value for money.

Note: For a more detailed list of CRS recommendations and management response, please refer to Annex A—Management Action Plan.

Introduction

Rationale for Audit

Given the high number of active contracts in DND, CRS routinely conducts a risk-based analysis to select contracts that should be included in the Risk-Based Audit Plan. To identify contracts that exhibited high-risk attributes, CRS conducted such a risk analysis4 of 8,932 active contracts with a cumulative value of $25.4 billion. The results indicated that the CP140 OWSS avionics contract was one of 47 higher-risk contracts that were later examined in the CRS Contract Terms of Payment audit. For each contract, a sample of payments was examined to identify systemic contracting issues.                                                                                                                                                                                                                                                                                                                                                                                                                          

Background

Maritime Patrol Aircraft Fleet. The contract provides in-service support to a fleet of 18 CP140 Aurora aircraft acquired in 1981, and three CP140A Arcturus aircraft acquired in 1993. At the time of contract award, these aircraft flew 9,766 hours per year. By 2015, the fleet will be reduced to 11 aircraft with a yearly flying rate (YFR) of 7,000 hours. Although the fleet equipment life expectancy was up to 2010, it will be extended to 2025. There were 84 avionics systems on the aircraft and five ground trainers at the outset of the contract. The Aurora Incremental Modernization Program (AIMP) aims at replacing 43 obsolete avionics systems in a three-phased program from 2005 to 2015.5                                                                                                                                                        

OWSS Avionics Contract. The competitively tendered, ten-year, $343.2-million OWSS avionics contract was awarded to a single bidder in June 2005. It is a performance-based contract with 10 one-year options that may be awarded as incentives. The OWSS avionics contractor provides six lines of service to the fleet and ground-based facilities: program management, integrated logistics support, material support, maintenance support, engineer support, and AIMP support to the fleet of 21 maritime patrol aircraft.

Contract Transition Period

The contract provides a three-year transition period for the contractor to gradually increase the scope of work when there are no longer cost benefits for DND to perform the work, and efficiencies can be achieved through the consolidation of other CP140 avionics contracts. At the time of the audit,                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    

  •                                                                                                                                                                                                                                                                                                                                                                                                                                  
  •                                                                                                                                                                                                                                                                                                                                                                                                                                  
  •                                                                                                                                                                                                                                              
  •                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                        
  •                                                                                                                                                                                                                                                                                                                                                                                                                                        

Objective

The audit objective was to assess whether risk-management practices, governance structures and internal controls were in place to effectively administer the contract and maximize value for money.

Scope

The scope of the audit included the following:

  • the contract award and management of the current CP140 OWSS avionics contract; and
  • the audit sample payments worth $148.5 million out of expenditures totalling $156 million from June 2005 to March 2012.

Methodology

The audit results are based on the following:

  • Examination of contract documentation, sub-contracts, contractor reports and deliverables, monthly progress claims, monthly invoices and related supporting documentation.
  • Interviews with key personnel of Director Aerospace Equipment Program Management (Maritime) (DAEPMM), PWGSC, Director Aerospace Procurement (DAP) and Director Aerospace Equipment Business Management (DAEBM).
  • Data analysis on Financial Managerial Accounting System, Defence Resource Management Information System (DRMIS), Canadian Government Cataloguing System, the CFSS and the Cost Factors Manual.
  • Field work at 14 Wing Greenwood and the contractor R&O facility located in Halifax, Nova Scotia.

Criteria

The audit criteria are outlined in Annex B.

Statement of Conformance

The audit findings and conclusions contained in this report are based on sufficient and appropriate audit evidence gathered in accordance with procedures that meet the Institute of Internal Auditors’ International Standards for the Professional Practice of Internal Auditing. The audit thus conforms with the Internal Auditing Standards for the Government of Canada, as supported by the results of the quality assurance and improvement program. The opinions expressed in this report are based on conditions as they existed at the time of the audit, and apply only to the entity examined.

Findings and Recommendations

Financial Management

There were some control shortfalls in                                                                                                                                               DND task authorizations, and payment certifications.

Sub-contract Rates

Good Practices

  •                                                                                                       6                                                                                                          
  •                                                                                                                                                

                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                7

Task Authorizations

Basis of Payment.                                                                                                                                                                                                                                                                                                                                                                                     The OWSS avionics contract requires an estimate of the work and cost for each fiscal year to be proposed by the contractor and approved by DND. This is known as the Annual Operating Plan (AOP). As depicted in Table 1, for the first seven years of the contract (AOP 1 to 7), the baseline activity work was                              that had a basis of payment of                                                               The remaining                                  expenditures were task authorizations with monthly progress payments.                                                                   8                                                                                                                                                                                                                                                                                                                                                                                                                                                             The increase in task authorizations requires more supporting documentation for progress claims and will significantly increase the payment certification work load.

Table 1. Contract Cash Flow.                                                                                                                                                                                                                                                                                                                                        

Table Summary:

Most of the content in this table has been severed. This table compares the actual amount of the three contracts to the projected estimates for the fiscal years 2005/06 to 2011/12. The last column totals the actual and estimated values. Read down the left most column to determine the project and read across the row to determine the dollar amounts in millions of dollars for the fiscal year(s) of the contract.

 

Work CategoriesActual ($M)Estimate ($M)Total ($M)
Year of Contract:
AOP 1 to 7
Year of Contract:
AOP 8 to 10
Year of Contract:
AOP 11
Year of Contract:
AOP 1 to 11
FY 2005/06 to FY 2011/12FY 2012/13 to FY 2014/15FY 2015/16FY 2005/06 to FY 2015/16
Total                                            
Baseline Activity Work                                          
                                                                             
                                                                           

Task Cost and Schedule. At the time of the audit, there had been 43 approved task authorizations with payments                                                 Due in part to changes in the financial system in 2009, the following observations are made:

  •                                                                                                                                                                                                                                                                                                                                                                                                      
  •                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                              

Payment Certifications

Task authorizations required detailed supporting documentation with each monthly progress claim.                                                                                                                                                                                                                                                                                                                                                                                                                        

Although the ten claims with missing signatures appeared legitimate,                                                                                                                     controls need to be improved in this area in future years.

Year-end Reconciliation. The contract requires an annual year-end reconciliation of all baseline activity work to be submitted by the contractor, 9 with the exception of FFP elements.                                                                                                                         To validate the contractor’s reconciliation each year, a post-payment verification of a directed sample                                     was examined over four years by the Crown.                                                                                                                                                 The post-payment verification sampling strategy could have benefited from being risk-based.                                                                                                                                                                                                                                                  

Procurement Fees.                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                        

                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                       

Recommendation

1.                                                                                                                                                                                                                                                                                                                                                  

OPI: ADM(Mat)

Contract Terms and Conditions

                                                                                                                                                                                                                                                  Contract amendments were required to add clarity to the basis of payment and to update the content of contractor reports.

Forecasted versus Actual Repairs

Good Practices

  •                                                                                                                                      
  •                                                                                                                                                                                                                                  
  •                                                                                                                                                                                    
  •                                                                                                                                                                                        

For each AOP, the contract provides the flexibility to determine                                                                                                                                                       Although it is DGAEPM’s policy to ensure 40 percent of payments are FFP when the recurring work is well established,10                                                                                                                                                                                                                                                                                                                                                                                       However, as portrayed in Annex C Table 4

  •                                                                                                                                                                                
  •                                                                                                                                                                                                                                                                                                 The transition to 24 new Block 3 avionics systems to be completed in FY 2014/15 will make the prediction of R&O work more difficult;
  •                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      
  •                                                                                                                                                                                                                                                                                                                                                                                                                                                      

                                                                                                                                                                                                                                                                                                                                                                                                                                                         11                                                                                                                              

                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                     

Basis of Payment Clarity

                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                As a result of the audit, the basis of payment was recently amended.                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                            

Contract Report Content

                                                                                                                                                                                                                                                                                          Four of the reports provided monthly activities and the status of R&O work engineering services, and publications used to monitor the progress of work. The other two reports were the Project Management Plan that provides the organization and functions of the contractor and the AOP.                                                                                                                                                                                                                                                                                                                                                                                                                                                                                

In an effort to rationalize the frequency of routine reports generated each year by the contractor, the number of reports was reduced from 71 to 29 in October 2009. Monthly status reports for R&O, engineering support and publications were combined in the monthly activity report. However,                                                                                                                                                                                                                                                                                                                                                                                                       The original format for these status reports is still contained in the contract and needs to be updated.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                               

Recommendation

2.                                                                                                                                                                                                                                                                                                                                                                                            

OPI: ADM(Mat)

Material Management

Not all inventory controls are in place to optimize the management of material unique to the CP140 Aurora avionics.

Good Practices

  • 100-percent stocktaking of contractor-held DND inventory was done every two years.
  • A gradual transfer of avionics spares to the OWSS contractor validated the business case for transition of the supply function.

Since 2009, there has been a gradual transition of CP140 avionics material management to the CP140 OWSS avionics contractor. At the time of the audit, 6,739 CF depot line items that were previously managed by DND in-house supply managers had been transferred to the OWSS contractor. As depicted in Table 2, there are $204 million worth of spares located at CF depots and 14 and 19 Wings warehouses that support the CP 140 Aurora fleet. An additional 3,996 depot line items will transition to the contractor in AOP 8. As well, over 14,000 line items worth $64 million of DND inventory is held by the contractor.

Table 2. DND Inventory Managed under the Avionics OWSS Contract (Holdings as of 31 March 2012). CF depots, 14 and 19 Wings warehouses are still operated by DND, but the contractor is now responsible for procurement, disposal and setting reorder points for the depots, which resupply the Wings.

Legend:

N/A – Not Applicable

Table Summary:

This table summarizes the line items and their stock values in millions of dollars by the supply depots, 14 and 19 Wings, and those held by contractors. The stock particulars are found in the left-hand column. The total number of line items and stock values can be found in the last row.

 


Stock Particulars
Supply Depots Line ItemsSupply Depots Stock Value ($M)14 and 19 Wings Line Items14 and 19 Wings Stock Value ($M)Held by Contractor Line ItemsHeld by Contractor Stock Value ($M)
Total[13] 10,735 $180 4,063 $67 14,317 $64
Managed by OWSS Contractor 6,739 $158 1,740 $46 N/A N/A
To Be Transferred 3,996 $22 2,323 $21 N/A N/A
Contractor-Held DND Inventory[12] N/A N/A N/A N/A 14,317 $64

Inventory-Level Settings

To ensure there are sufficient inventory holdings to meet operational requirements, the CFSS inventory-level settings need to be fully utilized. Stock-level settings such as maximum/minimum, re-order point/re-order quantity generate automated demands in the CFSS and material requirement lists for procurement action. However,                                                                                                                                                                                                                                                                                                                                                                                                                     The maximum/minimum settings at the two Wing warehouses are set by DND, even though the settings impact the contractor’s performance incentives.

Table 3. CP140 Avionics High-Usage Line Items Inventory Settings.                                                                                                                                                                                                                                                                                                                                                                                                                                    

Legend:

N/A – Not Applicable

Table Summary:

This table summarizes the line items without inventory settings by location and those held by contractors. For each location in the left-hand column, read across the row to determine the high-usage line items, the number of high-usage line items without re-order point and re-order quantity, the number of high-usage line items without maximum or minimum setting, and the percentage without the aforementioned settings for each of the location. The average number of the line items without inventory settings (in the right-hand column) is                          

 

LocationHigh-Usage Line ItemsLine Items without Re-order Point and Re-order QuantityLine Items without Maximum/
Minimum
Percentage without Settings
CF Depots                        
14 & 19 Wing                        
CRPA                        

 Management of Unique Avionics Items

                                                                                                                                                                                                                                                                                                                        To provide a focal point for inventory management accountability, the OWSS contractor “will include all fleet/system unique parts and common parts for which the fleet/system is the majority user.” 14 Accordingly, there were 12,969 line items unique to the CP140 avionics in the Canadian Government Cataloguing System database that could be managed by the OWSS contractor. It was observed that

  • 6,704 unique line items were managed by the contractor’s supply managers, but 797 of these avionics line items, with a stock value of $4.4 million, were located in warehouses that did not support the CP140 Aurora fleet.
  • Up to 4,510 out of 12,969 unique line items will still be managed by DND supply managers                                                                                                                                                                       If a unique CP140 item is managed by a DND supply manager, the OWSS contractor                                                                                                                                                                                                                                                                                  

Repair Priority Code

                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  15                                                                                                                                                                                                     16                                                                                                                                                                                                                                              

Nil Usage

                                                                                                                                                                                                                                                                                                                                                                                                                                        Almost all these nil usage items were catalogued prior to the award of the OWSS avionics contract and, therefore, could be legacy spares that are no longer in use due to the AIMP. The Department’s priority is to eliminate high-volume surplus stock before addressing the obsolete low-volume items such as avionics.

Pricing of Non-Catalogued Items

Contractor-held DND inventory includes AAS, GFOS and Bonded Stock (worth $4.3 million17) that are not catalogued in the CFSS. The contractor is obligated to provide annual stock-take reports on these items to DND, given that there is no visibility of these items in the CFSS.                                                                                                                            

  •                                                                                                                                            
  •                                                                                                                                                  

                                                                                                                                                                                                                                                            Pricing information for the value of contractor-held inventory is important for the stewardship of government-owned assets.

Contractor Inventory Adjustment

The contractor is required to seek approval from the resident National Defence Quality Assurance Representative (NDQAR) for any contractor-held DND inventory adjustment transactions that result from stock taking and system record variances.                                                                                                                                                                                                  

                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                       

                                                                                                                                                                                                                                                                                                                                                                                                                 some oversight of controls by DND is required. There are some controls such as maximum/minimum levels at wing warehouses that should be devolved to the contractor to ensure clear accountability.

Recommendation

3. To ensure the most effective management of DND’s assets, the inventory-level setting, supply manager designation, repair priority codes, nil usage, pricing and inventory adjustments controls for the CP140 Aurora avionics stock should be fully exercised.

OPI: ADM(Mat)

Cost Reduction Target

Due to staff turnover and shortages, adjustments to both the cost baseline and actual costs for annual CP140 avionics recurring baseline activity work were needed to determine if the 15-percent reduction target was achievable by the end of the transition period.

Good Practices

  • For annual adjustments to the original cost baseline, an aircraft aging factor of                             and a planned YFR versus actual variance factor of                                                                                                                
  • In May 2008 and February 2012,                                                                                                                                                                            

Reduction Target

                                                                                                          of a 15-percent reduction in annual recurring maintenance costs, this reduction target was directed for all Air Force OWSS contracts in 2003. Accordingly, the CP140 OWSS avionics contract required a reduction to the 2004 baseline annual fleet support costs by not less than 15 percent within a three year transition period. Due to delays in the transfer of scope to the contractor, this period was extended                               Without an effective activity-based costing tool in place,                                                                                                                                                                                                                                                                                                                                        

Cost Baseline Activities

The contract basis of payment identified a list of task authorizations to be included or excluded from the cost baseline activity calculation.                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                               To determine if the contract transition period saving target is met, accurate definitions of baseline activities in task authorizations are needed. Otherwise, the cost baseline cannot be accurately adjusted, and actual costs cannot be captured.

Cost Baseline Adjustments

Prior to contract award, the DND 2004 cost baseline reflected the Government’s CP140 avionics fleet support annual costs associated with national procurement, government personnel, accommodation, operations, maintenance and distribution and warehousing. The baseline was required to be reviewed and updated by DND and mutually agreed to by the contractor, at least once a year, to ensure that it remained relevant to the OWSS full contract scope. However, due to staff turnover and shortages, the cost baseline and actual costs had only been adjusted up to FY 2008/09 at the outset of the audit. Based on the audit of the DND cost saving estimates that had been recently calculated up to FY 2010/11, the following adjustments were made to the $36.6 million cost baseline:

  • inclusion of the recurring $3.0-million18 DND 2nd                                                                                                                                              
  • removal of the non-recurring Fast Time Analysis System worth                         as a baseline activity;
  • correction of inflation factors amounting to a                         downward adjustment; and
  • decrease of the baseline personnel costs by                  

The net effect of those adjustments was                                                                                                                                                                              

Cost-Sharing Saving Incentive

At the completion of the transition period, the contract provides                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                          

The nature of some task authorizations was not recorded accurately in the basis of payment. This added to the complexity of adjusting the original cost baseline and the actual costs.                                                                                                                                                                                                                                                                                                                                                                                                                                      

Recommendation

4.                                                                                                                                                                                                                                                                                                                                                                                                                

OPI: ADM(Mat)

Performance Measurement

Some performance indicators proposed by the contractor could be revised to improve the measurement of the OWSS contract outputs.

Good Practices

  • The award of contract option years is an effective incentive for the contractor.
  • Performance metrics were trended for three years before establishing the objective, standard and threshold service levels.
  • A small                   incentive pool was introduced until the performance measures are mature.

A performance measurement framework is an essential element of the CP140 OWSS avionics contract to provide an incentive to the contractor to improve the efficiency and effectiveness of in-service support.                                                                                                                                                                                                                                                                                                                                                       in order to assess the achievement of the contract’s 18 operational-support objectives.

Performance Measure Service Levels

At the time of the audit, an agreement had been reached to eliminate                           measures by the consolidation of                             report measures into       measures. Of the remaining     performance measures prepared by the contractor,     of them were being tracked and reported on.                                                                                                                                                                                                                   In AOP 8 (FY 2012/13), each performance measure has a standard service level, a maximum objective service level, and a minimum threshold service level.                                                                                                                                                                                                                                                                                                                                                                                                                                                  

Notwithstanding the difference in operational impacts of some of the performance measures, there should be                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  

Performance Measure Definitions

The definitions of the five following performance measures could be revised to ensure the service levels are appropriately measured and influence the outcomes as intended. Some measures are still under development and                                                                                                                  

  •                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    
  •                                                                                                                                                                                                                                                                                                        
  •                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                
  •                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                            19
  •                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    

Operational Support Objectives

To ensure the contracted OWSS operational outcomes are achieved, 18 operational support objectives were included in the contract performance work statement. As illustrated in Annex D, Table 5, the 18 objectives have been well reflected in the performance measurement framework. At the time of the audit,                                                                                                                                                                                                                                                                                                                               Although the performance measurement framework was developed to assist the achievement of operational support objectives, there was no evidence of analysis to determine if the objectives were met.                                                                                                                                                                                                                                                                                                                                     20

                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                The monthly activity report only provides a one-year trend to indicate if operational support objectives are being met.

Recommendation

5. Continue to negotiate and implement improved performance measure definitions and monitor the achievement of the contract operational support objectives that are still relevant.

OPI: ADM(Mat)

Risk Management

DND risk management practices were informal                                                                                                                                                                              

Good Practices

  • Risk factors and mitigation plans were requested in the OWSS RFP in 2002.
  • Subsystem risks were included in the contractor’s quarterly health reports.
  • DND has access to the contractor’s technical risk website that included mitigation costs.

DND Risk Register

To manage contract risk, it has been an Air Force policy 21 since 2008 to develop a risk register for all R&O contracts with a cash flow greater than $30 million per year. This criterion will apply to at least five years of the OWSS avionics contract. At the time of the audit, there was no DND risk register for the OWSS avionics contract. In response to this observation, a high-level CP140 program risk register was recently developed with four risks that were not specific to the OWSS avionics contract.

Although it is standard DND practice 22 to include five levels of impact and probability to assess and rank risks, the CP140 program risk register only included three levels.

To help ensure the contract management objectives are achieved, the register should include other risks related to the CP140 avionics OWSS contract. From the assessment of the risks associated with this contract, CRS suggests that the following risks be considered:

  •                                                                                                                                                                                                                                                                                                              
  •                                                                                            
  •                                                                                                                                                                                          
  •                                                                                                                                                              
  •                                                                                                                                                                                                                                                                
  •                                                                                                                                                                                                              
  •                                                                                                                                                                                              

Contractor Risk Reporting

                                                                                                                                                                                                                                                                                                                                                             

  •                                                                                                                                          
  •                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                        
  •                                                                                                                                                                                                                                                                                                                                                                                              

There are other reports, progress review meetings and performance measures that mitigate some of the avionics OWSS technical risks. Although there is considerable effort to identify and mitigate technical risk, the project management plan could be revised to reflect the most current practices by the contractor to report program risks to DND.

If Air Force risk management policy had been complied with, risk mitigation plans for the OWSS avionics contract could have been developed as a priority. Currently,                                                                                                                                                                                                                                                                                                                                          

Recommendation

6. Enhance risk management by continuing to populate the DND CP140 program risk register with avionics OWSS specific risks and                                                                                                                                                                                                                                                                                                                            

OPI: ADM(Mat)

Conclusion

The audit found that some improvements are needed in management controls of the contract, the avionics inventory, and risk. Although in-service support under the OWSS avionics contract has improved since the contract award in 2005, there are some elements of the contract where value for money could be improved. Due to the on-going modernization of the CP140 aurora avionics systems,                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   Although the supply management function is still in transition, there are some material management controls that could lead to more inventory efficiencies if fully exercised.                                                                                                                                                                                                                                                                                                                                                                                                                                                                                        

In response to the audit observations, there has already been some improvement in identifying contract risks and adjustments to the contractor’s performance measures. Further efforts to develop the DND risk register and negotiate the performance measure definitions will help anticipate obstacles to the CP140 avionics program and provide incentives to further improve the OWSS contractor service levels.

Annex A—Management Action Plan

Financial Management (High Significance)

CRS Recommendation

1.                                                                                                                                                                                                                                                                                                                                                                  

Management Action

Action 1.1—                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                

Action 1.2—In regards to the missing payment certifications, all outstanding certifications have been reviewed and deficiencies corrected. Additionally, the contract technical authority and procurement authority have been made aware of their responsibilities to ensure all certifications are done promptly and annotated accordingly on the applicable files/documents.

OPI: ADM(Mat)/DGAEPM/DAP 6

Target Date: Complete

Contract Terms and Conditions (High Significance)

CRS Recommendation

2.                                                                                                                                                                                                                                                                                                                                                                                              

Management Action

Action 2.1—                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                              

Action 2.2—                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                         Given that the action plan does not require any special contract amendment or formal change to the AOP but simply greater attention to the contractor’s proposed activity levels, this action is deemed to be complete.

OPI: ADM(Mat)/DGAEPM/DAP 6

Target Date: 31 March 2013

Material Management (High Significance)

CRS Recommendation

3.   To ensure the most effective management of DND’s assets, the inventory level setting, supply manager designation, repair priority codes, nil usage, pricing and inventory adjustments controls for the CP140 Aurora avionics stock should be fully exercised.

Management Action

Action 3.1— DND has recently transitioned the full scope of the avionics supply management function to the contractor. All activities cited in the CRS recommendation are now under the management of the OWSS contractor.                                                                                                                                                                                                                                                                                                                                                                  which will include contractor representation. This working group is part of the CP140 Maintenance Review Meeting scheduled for 29-30 November 2012. The contractor is prepared to assist wings in this activity, if requested.

All supply manager designations have now been established at the contractor’s facility for all DAP 6-managed avionics assets and consumables. A further list of avionics items either managed by other supply manager codes or managed by other technical authority codes were reviewed by the contractor, resulting in the potential transfer of an additional 2,587 items. The contractor is responsible for the transfers.

Discussions continue on the development of a performance metric to track dormant stock.                                                                                                                                                                                                                                                           All repairables are reviewed on their annual parent quarter as a minimum and as required on an exception basis.

Pricing of AAS and GFOS inventory is reported annually and the observations noted by CRS have been corrected. Inventory adjustments are a potential byproduct of stocktaking. The contractor performs a 100-percent review every two years. The NDQAR has been reminded of the requirement to ensure required support documentation is provided.

OPI: ADM(Mat)/DGAEPM/DAP 6

Target Date: Complete

Cost Reduction Target (Moderate Significance)

CRS Recommendation

4.                                                                                                                                                                                                                                                                                                                                                                                                                  

Management Action

Action 4.1— DAP 6 will formally request PWGSC to amend the contract basis of payment to                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                              

Action 4.2—                                                                                                                                                                                                                                                                                                                                                                                                                                                                    

OPI: ADM(Mat)/DGAEPM/DAP 6

Target Date: 31 December 2012

Performance Measurement (Moderate Significance)

CRS Recommendation

5.   Continue to negotiate and implement improved performance measure definitions and monitor the achievement of the contract operational support objectives that are still relevant.

Management Action

Action 5.1— Improving upon the performance measures is an ongoing process that evolves with the operational support requirement. As such, it is embedded in the AOP development and approval process (Appendix 8 to the Performance Work Statement). No specific action is required that is not currently part of the performance measures and AOP development processes. Therefore, this action is complete.

Action 5.2—                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                             With respect to the operational support requirements, these are collective objectives which apply to all parts of the CP140 OWSM program. As such, they also form part of the                                                        Given their strategic nature, it is appropriate to review their achievement (or non-achievement) at the annual commencement of the AOP development process which includes also the Long Term Plan development.

OPI: ADM(Mat)/DGAEPM/DAEPMM 2

Target Date: 31 December 2012

Risk Management (Moderate Significance)

CRS Recommendation

6.   Enhance risk management by continuing to populate the DND CP140 program risk register with avionics OWSS specific risks and                                                                                                                                                                                                                                                                                                                            

Management Action

Action 6.1—                                                                                                                                                                                                                                                                                                        

Action 6.2— DND/DAEPMM will continue to improve upon and expand its risk-management register to reflect unique avionics program risks. DAEPMM 2 has made changes to the risk register to capture the results of each review and to classify risk with a simplified risk rating so that high-risk items and their associated risk mitigation strategies can be identified. Action is complete.

OPI: ADM(Mat)/DGAEPM/DAEPMM 2

Target Date: Complete

Annex B—Audit Criteria

Objective

To assess whether risk-management practices, governance structures and internal controls are in place to effectively administer the contract and maximize value for money.

Criteria

  • Roles and responsibilities of the contract management staff are adequate to provide oversight, and an adequate monitoring process is in place with accurate information for decision making.23
  • Financial management is in accordance with the Financial Administration Act and Treasury Board Contracting Policy, DND and AF9000.24
  • DND assets are safeguarded/accounted for and managed efficiently.25
  • Contract includes adequate clauses to ensure risk to the Crown is minimized.26
  • The contract and its management meet the operational support objectives to achieve airworthiness accreditation, reduced in-service support costs, improved life cycle support performance outcomes.27
  • Risks are identified, assessed, ranked, mitigated, and quantified with cost impact and reported in accordance with relevant policy and best practices.28

Source

  • Core Management Controls: A Guide for Internal Auditors.

Annex C—Repair and Overhaul Variance

Table 4. Variance Analysis of R&O Work. On average the actual YFR was six percent lower than planned.                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                          

Table Summary:

The first column represents the activities that impact R&O work. Read down this column and across to determine the value for each activity listed in each AOP.

 


Planned and Actual Activities
AOP 4
FY 2008/09
AOP 5
FY 2009/10
AOP 6
FY 2010/11
AOP 7
FY 2011/12
AOP 8
FY 2012/13
Planned YFR                                                  
Actual YFR                                          
YFR Variance                                          
Planned Repairs                                                  
Actual Repairs                                          
Variance of Repairs                                                
Planned Repair Backlog                              
Actual Repair Backlog                          
Repair Backlog Variance                                          
Price ($M)                                                  
Variable Costs -49% ($M)                                                  

Annex D—Operational Support Objectives

Table 5. Status of Operational Support Objectives.                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  

Resume du tableau

The first column lists 18 operational support objectives. For each objective, read across the row to determine what the performance measures are as well as the status of the objective: fully met, partially met or to be determined.

 

SerialOperational Support ObjectivesPerformance MeasuresStatus
1. Simplify weapon system management, planning, reporting. N/A (reduced the number of reports)                  
2. Improve quality, accuracy, timeliness of reports. (B7) Publications accuracy*
(D2) Accurate AMMIS data*
                 
3. Improve asset visibility. N/A (24-hour help desk)                  
4. Reduce effort to execute program, accept CDRLs. N/A (OWSS website)                  
5. Improve equipment reliability, maintainability, supportability. (B3) Assigned system red                  
6. Reduce aircraft and equipment maintenance down time. (B1) Maintaining assets positioned (HPR)                  
7. Reduce time for engineering tasks, design changes, modifications. (D1) Correctness of repairs                  
8. Reduce publication distribution time. (B5) Bilingual publications
(B6) Unilingual publications
                 
9. Reduce time to process repairable equipment. (D3) Time to repair assets*                                                                                        
10. Reduce material shortfall rates. (C1) Recommended order buy*                  
11. Reduce material shortage response time. (B2) Systemic provisioning (repeat HPR)                  
12. Reduce inventory levels. (D4) Nil usage of inventory*
(C4) Inventory efficiency*
                                                     
13. Reduce long lead time and critical shortage items. (C2) Satisfy PR1 HPRs
(C3) Satisfy PR2 HPRs*
                                                                   
14. Optimize preventive corrective maintenance programs. N/A (2nd line maintenance now 3rd line)                  
15. Optimize logistics support plans. N/A (No compelling case to close depots)                  
16. Reduce time to process operational, engineering and technical requests. (E1) Service requests quantity
(E2) Service requests timeliness
                               
17. Reduce technical airworthiness risk. (B4) Assigned system yellow*                  
18. Execute support within budget year resources. (A1) Overall execution of AOP
(A2) Financial goals
                                                                                                         

 

___________________________________________________________________________________________________________________________

Footnote 1                                                                                                                                                                                                                                    

Footnote 2 Optimized Weapon System Management (OWSM) Program Guidance, “The Way Ahead,” Director General Aerospace Equipment Program Management (DGAEPM) Directive, January 2010.

Footnote 3                                                                                                                                                                                                                                                                                                                                                                                          

Footnote 4 CRS Risk Analysis of Contracts, October 2009

Footnote 5                                                                                                                                                                                                                                                                                                                                                                                    

Footnote 6 Baseline activity work is the annual recurring services that have been provided by the contractor since contract award

Footnote 7                                                                                                                                                

Footnote 8                                                                                                                                                                                                                                                  

Footnote 9 Approximately 52 percent of total firm monthly payments in AOP 8.

Footnote 10 DGAEPM Directive OWSS “The Way Ahead,” version 27, 12 January 2010

Footnote 11                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    

Footnote 12 Includes AAS, government-furnished overhaul spares (GFOS), repairable materiel accounts (RMA), a contractor repair parts account (CRPA), and Bonded Stock issued to the principal sub-contractors. AAS, GFOS and Bonded Stock worth $4.3 million do not represent the true value since the items are undervalued

Footnote 13 The same line items are held at the different locations in Tables 2 and 3

Footnote 14 Aeromedical Evacuation Program Manager OWSM Program Guidance – “The Way Ahead” (Revised draft), 10 January 2012.

Footnote 15                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      

Footnote 16                                                                                                                                                                                

Footnote 17                                                                                                                                                                    

Footnote 18 Later adjusted to $4.6 million to include specialty pay.

Footnote 19                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                              

Footnote 20                                                                                                                                                                                                                          

Footnote 21 Air Force 9000 Engagement Management Team 06003 October 2008.

Footnote 22 DND Risk Management Guidelines, January 2007, ADM(Mat) KNet Risk Analysis Guide, September 2005

Footnote 23 G-2, G-6, AC-1, AC-2, AC-3

Footnote 24 ST-7, ST-10, ST-12, ST-13, ST-15, ST-18, ST-20, RP-3

Footnote 25 ST-8, ST-9, ST-14.

Footnote 26 ST-22, RP-2.

Footnote 27 ST-16, RP-1, RP-2, RP-3.

Footnote 28 RM-2, RM-4, RM-5, RM-6.

Date modified: