Известия РАН. Теория и системы управления, 2022, № 3, стр. 139-156

Введение. Спутниковые навигационные системы в настоящее время являются основой национальной критической инфраструктуры и представляют собой средства, системы, комплексы, предоставляющие потребителю возможность решения задачи навигации как задачи управления.

Существует большое количество задач, связанных с созданием, развитием, функционированием и использованием навигационных систем, для различных этапов их жизненного цикла, для решения которых требуется получение разных оценок эффективности.

Проведение таких оценок требует наличия научно-методологических основ, обеспечивающих возможность формализации определенного набора критериев, методик их расчета и получения необходимого набора исходных данных для их расчета [1].

В настоящее время применяется большое количество подходов, средств и методов, обеспечивающих повышение эффективности навигационных систем, в том числе системы ГЛОНАСС, в части повышения точности системы, повышения качества эфемеридно-временного обеспечения [2], повышения автономности [3] и др., которые могут быть использованы в качестве элементов научно-методологических основ оценки эффективности [4].

Однако имеющиеся элементы обладают отдельными недостатками, ограничивающими их применение при решении задач, связанных с нетехническими областями проведения оценки или с оценкой потребительских характеристик.

1. Общая методология. Общая методология комплексной оценки эффективности навигационных спутниковых систем включает в себя два основных элемента.

1. Проведение классификации возможных задач, требующих проведения оценки эффективности, определение их принадлежности к областям проведения оценки.

2. Формирование по каждой области проведения оценки характеристик методик их расчета, требований к исходным данным или механизмов их формирования с учетом необходимости:

учета проблемных вопросов в областях проведения оценки;

обеспечения достоверности, прослеживаемости и повторяемости результатов;

проверки на реальных задачах.

Для формализации и составления классификатора задач в сфере навигационной деятельности, требующих комплексной оценки эффективности, необходимо описать условия, в которых создаются, развиваются, функционируют и используются навигационные системы, участники и элементы процесса навигационной деятельности и логические, информационные и организационные связи между ними. Схема, реализующая такое описание, представлена на рис. 1.

Она включает в себя четыре основных составляющих: навигационные системы (НС), потребители, нормативное обеспечение, а также среду и условия для этапов жизненных циклов (создания, развития, функционирования и использования – СРФИ) навигационных систем, их составных частей (СЧ) и услуг. Основные классы задач в соответствии с общей схемой логического, информационного и организационного взаимодействия участников и элементов процесса навигационной деятельности отмечены на рисунке зеленым.

Исследования показывают, что для решения стоящих задач все области проведения оценок можно свести к трем. Соответственно формируются три основные группы характеристик по количеству областей проведения оценки (рис. 2): функциональная эффективность и связанная с ней эффективность повышения национальной безопасности; экономическая эффективность; эффективность системы нормативного регулирования и связанная с ней эффективность международного сотрудничества. На рисунке использованы обозначения: СНР – система нормативного регулирования, ТТХ – тактико-технические характеристики, ТТТ – тактико-технические требования, ТЗ – техническое задание, ИКД – интерфейсный контрольный документ, ТЭО – технико-экономическое обоснование, НИОКР – научно-исследовательские и опытно-конструкторские работы.

Оценку функциональной эффективности предлагается проводить с помощью эксплуатационных характеристик; оценку системы нормативного регулирования – с использованием экспертных характеристик; оценку экономической эффективности – с помощью адаптированных экономических моделей и системы описания экономики навигационных систем с применением ряда потоковых и капитальных величин.

2. Функциональная эффективность. Если рассмотреть множество функциональных характеристик ГЛОНАСС, позволяющих оценить выполнение основной целевой задачи, то оно может быть разделено на ТТХ и эксплуатационные характеристики (ЭХ) (рис. 3).

ТТХ формируются заказчиками, разработчиками и провайдерами услуг и определяются в таких документах, как тактико-технические требования к системе, техническое задание на систему, федеральной целевой программе “Поддержание, развитие и использование системы ГЛОНАСС на период 2012–2020 гг.” (ФЦП ГЛОНАСС) и текущей подпрограмме государственной программы “Космическая деятельности России”. Набор ТТХ определяет системные характеристики. В качестве значений ТТХ выбираются наилучшие, максимально возможные (или минимально возможные, в зависимости от характеристик) значения. Они по сути являются отражением аппаратно-программных и технических возможностей системы.

Эксплуатационные характеристики формируются потребителями (и международными организациями, представляющими интересы определенных категорий потребителей), и выступают отражением их требований к услугам. В качестве значений эксплуатационных характеристик используются гарантированные пределы характеристик, которые проверяются на длительных интервалах функционирования системы.

Переход к оценке функциональной эффективности с помощью эксплуатационных характеристик – основное требование современных потребителей, заинтересованных в предоставлении гарантий качества получаемых услуг навигационных систем, провайдеров услуг навигационных систем, обязанных предоставлять такие гарантии качества, и различных национальных и международных организаций, занимающихся оценкой и подтверждением характеристик услуг навигационных систем. Такой переход дает возможность потребителям гарантированно рассчитывать на определенный уровень характеристик.

В статье рассматривается подход применительно к системе ГЛОНАСС и к услуге абсолютной навигации, ей предоставляемой [5].

Для решения задачи оценки функциональной эффективности предлагается модифицировать систему описания характеристик ГЛОНАСС, используя эксплуатационные характеристики, добавив к существующим характеристикам ряд характеристик, отсутствующих ранее (в том числе, скорость и ускорение изменения мгновенной погрешности псевдодальности (эквивалентной погрешности псевдодальности – ЭПД), непрерывность сигнала в пространстве, основной отказ в навигационном обслуживании, надежность). Общая структурная схема получившейся системы описания приведена на рис. 4. Она включает в себя пять основных групп характеристик для канала стандартной точности для сигнала в пространстве: точность; вероятность основного отказа обслуживания; непрерывность; доступность; характеристики местоопределения и определения времени (в том числе связанные с системной шкалой времени (ШВС)).

Данная система учитывает все отдельные характеристики из документов по системе ГЛОНАСС; описывает все необходимые потребителю аспекты функционирования системы. Разработаны методики расчета всех характеристик.

Надо подчеркнуть, что используемые характеристики являются интервальными (оцениваются их мгновенные значения, далее определяются их значения, соответствующие 95%, 99.55% и другим видам распределений на 30-суточном эргодическом интервале, далее – на скользящем годовом эргодическом интервале или более в зависимости от количества накопленных измерительных данных) и оцениваются на значительных интервалах функционирования системы (5–10 лет), что позволяет с их применением установить гарантированные значения соответствующих характеристик.

Предложенная методика оценки функциональной эффективности с помощью эксплуатационных характеристик содержит два основных этапа: непосредственно расчет набора характеристик и проведение оценки соответствия полученных значений заданным. Для отдельных характеристик разработано несколько методик расчета, например, для точности определения дальности: на основе перебора потребителей в зоне действия навигационного космического аппарата (НКА); на базе погрешностей эфемеридно-временной информации (ЭВИ); характеристики пороговой точности определения дальности; характеристики надежность точности определения дальности.

В качестве примера рассмотрим методику расчета характеристики “точность определения дальности на основе погрешностей ЭВИ” (т.е. погрешность псевдодальности за счет космического сегмента). Методика включает пять основных шагов.

1. На каждый момент времени $t$ с постоянным шагом (≤10 мин) для каждого пригодного по признакам в навигационном сообщении НКА $S{{V}_{h}}$ определяется разность апостериорных и штатных эфемерид (по радиусу $\Delta R$, по бинормали $\Delta B$, по нормали $\Delta N$) и часов $\Delta T$ [6]:

2. На каждый момент времени $t$ для каждого пригодного по признакам в навигационном сообщении НКА $S{{V}_{h}}$ определяется средняя (среднеквадратическая) по его зоне действия мгновенная погрешность псевдодальности $UR{{E}_{{GlobalAverage}}}$ (глобальная средняя) [6]:

где $c$ – скорость света в вакууме.

3. На каждый момент времени $t$ для каждого пригодного по признакам в навигационном сообщении НКА $S{{V}_{h}}$ определяется максимальная в его зоне действия мгновенная ошибка псевдодальности $UR{{E}_{{WorstCase}}}$ (в наихудшей точке) [6]:

где mask – маскирующий угол; $\alpha $ – угол между радиус-вектором НКА и вектором дальности от НКА до потребителя.

4. Для каждого пригодного НКА определяется значение, соответствующее 95%-ному уровню распределения по времени на эргодическом интервале (30 сут). При этом для подтверждения характеристик целесообразно представить значения, полученные на “скользящем” эргодическом интервале в течение года.

5. Определяется значение, соответствующее 95%-ному уровню распределения по времени и всей орбитальной группировки (ОГ) на суточном интервале. При этом для подтверждения характеристик целесообразно представить значения, полученные на “скользящем” эргодическом интервале в течение года.

Рисунок 5 иллюстрирует различные варианты определения данной характеристики (среднеквадратическая по зоне действия НКА мгновенная погрешность псевдодальности и максимальная в зоне действия НКА мгновенная ошибка псевдодальности).

Методика оценки функциональной эффективности с помощью эксплуатационных характеристик может использоваться при решении ряда задач:

1. Сертификация услуг системы ГЛОНАСС в интересах международных потребителей (на примере сертификации базовой услуги).

2. Проведение мониторинга, контроля и подтверждения характеристик глобальных навигационных спутниковых систем (ГНСС) в международных организациях с обязательным взаимным признанием результатов.

3. Сравнительный анализ различных ГНСС с взаимным признанием, прослеживаемостью и повторяемостью результатов (на примере ГЛОНАСС и GPS).

Первая задача – сертификация услуг системы ГЛОНАСС в интересах международных потребителей [7]. Под сертификацией в данном случае понимается сложный организационно-технический и нормативно-методический процесс и механизм оформления и предоставления гарантий от провайдера услуг ГЛОНАСС потребителям данных услуг.

Основными элементами процесса являются: формализация проблем сертификации; определение объекта и разработка подхода к сертификации; разработка предложений по созданию системы сертификации; разработка методики сертификации (ключевым моментом тут служит разработанная система описания эксплуатационных характеристик, способная выступить в качестве сертификационного базиса).

Следующие две задачи – это проведение мониторинга, контроля и подтверждения характеристик ГНСС в международных организациях и проведение сравнительного анализа различных ГНСС с взаимным признанием, прослеживаемостью и повторяемостью результатов.

Обеспечение прослеживаемости, повторяемости, достоверности и, как следствие, взаимного признания результатов сейчас является основным требованием при проведении мониторинга, контроля и подтверждения характеристик. Единственный способ это реализовать – применение верифицированных исходных данных, исчерпывающего перечня характеристик и прозрачных методик их расчета, т.е. с помощью единого методического базиса.

Предложенная система описания характеристик ГЛОНАСС, опирающаяся на эксплуатационные характеристики, используется в качестве одного из основных элементов для создания шаблона всех мировых стандартов эксплуатационных характеристик, разрабатываемого в рамках Международного комитета по ГНСС при Организации Объединенных Наций.

Программно-математический комплекс, реализующий методики расчета системы описания характеристик, применяется при обеспечении участия Российской Федерации в Тестовом проекте по международному мониторингу, контролю и подтверждению характеристик ГНСС. Примеры результатов расчетов (для оценки точности передаваемых эфемерид) для систем ГЛОНАСС, GPS, Galileo и BDS приведены на рис. 6 и позволяют говорить о возможности проведения сравнительной оценки различных ГНСС, полученных на едином методическом базисе.

Также данный комплекс используется для подтверждения характеристик ГЛОНАСС в международных потребительских организациях, например, в Международной организации гражданской авиации (ИКАО), поскольку ИКАО требует обоснования и подтверждения перечня оцениваемых характеристик ГНСС и их гарантированных значений.

3. Система нормативно-правового и нормативно-технического регулирования навигационной деятельности. В отличие от функциональной эффективности данная область более имеет дело не с физическими законами, закономерностями и правилами, а с организационно-техническими и социально-техническими, что в отдельных случаях приводит к возможности получения только лишь качественных оценок.

Проблемы в этой области можно подразделить на две группы – общеправовые и общеотраслевые.

Для решения задачи оценки эффективности системы нормативного регулирования был проведен анализ вариантов построения систем нормативного регулирования и сформирована модель системы нормативного регулирования навигационной деятельности, включающая пять основных составляющих, отмеченных на рис. 7. Нормативная подсистема является основным элементом, оценка эффективности которого определяет фактически оценку системы нормативного регулирования в целом.

Учитывая разнородную природу элементов модели системы нормативного регулирования – нормативных актов, для ее формализации необходимо было определить их внутренние и внешние признаки и свойства. Для этого был разработан терминологический базис (т.е. базовый набор терминов и определений, относительно которого проводился дальнейший анализ внутренней структуры акта и фактически определялась норма, в нем заложенная) и логико-информационные связи между различными актами (т.е. организационно-иерархическая структура). Терминологический базис был создан с учетом требований и замечаний основных участников навигационной деятельности (включая Роскосмос, Минтранс и Минобороны).

На основании терминологического базиса (рис. 8) и формализованных логико-информационных связей между актами, формализованных в виде классификатора актов (рис. 9), был разработан программный комплекс, обеспечивший возможность оценки характеристик для мониторинга и позволивший перейти непосредственно к методике оценки эффективности с помощью экспертных характеристик, которая на текущий момент выглядит следующим образом.

1. Определяются все возможные комбинации “Объект – основные субъекты нормотворчества – вид деятельности – область применения – сфера деятельности – решаемая целевая задача – используемые в качестве средства или объекта навигационные системы – условия применения”.

2. Для всех возможных комбинаций формируются наборы нормативных актов, обеспечивающих условия, устанавливающих правила для осуществления различных видов деятельности объектов нормопользования. Система нормативного регулирования формирует один или несколько наборов нормативных актов для любой комбинации из числа сформированных.

3. Проводится анализ актов данных наборов.

4. Определяются минимально необходимые для решения целевых задач объектов нормопользования наборы актов.

5. Определяются реально применяемые и неприменяемые акты.

6. Оцениваются: полнота и используемость нормативных актов; наличие проблемных вопросов в нормативных актах; избыточность числа нормативных актов.

7. Проводится оценка удовлетворенности объекта нормопользования полученным и примененным для решения целевой задачи набором актов (как степень решения его целевой задачи или, в частном случае, как оценка соответствия данного набора решаемой задаче).

На текущем этапе исследований методика требует привлечения экспертов, в дальнейшем их участие будет снижено в том числе с помощью алгоритмов машинного обучения.

Применение методики оценки эффективности системы нормативного регулирования позволило решить ряд задач:

1) мониторинг текущего состояния системы нормативного регулирования,

2) сравнительный анализ различных систем нормативного регулирования,

3) совершенствование национальной системы нормативного регулирования.

Приведем пример решения второй задачи на основе материалов Минтранса России. На рис. 10 представлена зависимость количества рассмотренных судебных и административных дел в отношении актов данного федерального органа исполнительной власти (ФОИВ) в сравнении с общим количеством принятых ведомством актов.

Это позволяет сделать вывод о том, что Минтранс обладает высокой оперативностью нормотворческой деятельности, т.е. полномочия по нормативному регулированию реализуются с хорошей скоростью. Однако в целом принимается избыточное число нормативных актов, к качеству которых возникает немало вопросов. “Инфляционная” составляющая нормотворчества данного ведомства при этом может создавать существенные неудобства для адресатов установленных им норм в практике их применения.

4. Экономическая эффективность. Анализ логического, информационного и организационного взаимодействия участников навигационной деятельности исключительно для экономической составляющей, с привязкой к основным типам задач, требующих проведения оценок экономической эффективности, представлен в виде схемы, приведенной на рис. 11 (на рисунке использованы обозначения: ЭЭ – экономическая эффективность, ФЭ – функциональная эффективность, НАП – навигационная аппаратура потребителя, ИД – исходные данные).

В настоящее время существует значительное количество подходов, средств и методов, которые могут быть использованы для решения различных задач, требующих оценки экономической эффективности, однако все они обладают целым рядом недостатков.

В первую очередь это связано с наличием значительной разницы между физическим и экономическим представлением процессов, происходящих в контуре навигационных систем как области народного хозяйства, и вследствие разницы в составе анализируемой информации.

Экономические системы и методы их описания значительно отличаются от физических. Невозможность проведения воспроизводимых экспериментов, полностью прозрачного мониторинга процессов, влияние человеческого фактора можно отнести к основным типам проблемных вопросов. Существующие подходы, средства и методы противоречивы из-за разных теоретических и информационных базисов и могут давать различные результаты, т.е. они обладают низкой прослеживаемостью и повторяемостью.

Для решения данных вопросов был проведен анализ имеющихся экономико-математических моделей, были выбраны наиболее подходящие для навигационной деятельности и адаптированы для использования в сфере навигационной деятельности. На их основе сформирована единая система характеристик для оценки экономической эффективности, опирающаяся на систему описания экономики навигационных систем с помощью ряда потоковых и капитальных величин.

В отличие от существующих систем она применяет наиболее актуальные эконометрические модели и позволяет выделять и проводить оценку влияния характеристик, относящихся к навигационным системам, на различные экономические и макроэкономические показатели, а также оценивать бюджетную и коммерческую эффективность и отраслевое влияние навигационных систем.

Методика оценки бюджетной и коммерческой эффективности заключается в построении системы описания экономики навигационных систем (рис. 12) с помощью потоковых и капитальных величин (первое показывает, сколько ресурсов было проведено через систему за определенную единицу времени не только в качестве затрат, но и в виде выгод; второе – куда были потрачены деньги).

Используемыми потоковыми величинами являются: затраты государства на реализацию (П1); плата потребителей навигационных товаров/работ/услуг их производителям (П2); налоговый поток (П3); плата за услуги иностранных потребителей навигационных услуг иностранным производителям (П4); поток налогов от иностранных потребителей к иностранным государствам (П5).

Применяемыми капитальными величинами выступают: физический, человеческий, интеллектуальный и цифровой капитал (индексы соответственно с К1 по К4).

Для оценки потоковых величин П1-П4 и капитальных величин К1-К2 используются специально адаптированные экономико-математические модели: динамическая стохастическая модель общего равновесия и динамическая факторная модель в форме пространства состояний (табл. 1).

На основе приведенной системы описания экономики системы ГЛОНАСС появляется возможность построить систему оценки экономической эффективности: бюджетная эффективность BE (4.1), внутристрановая эффективность EE (4.2) и полная экономическая эффективность FEE (4.3).

Предлагаемый подход позволяет строить множество оценок эффективности в зависимости от решаемой задачи. Например, оценка коммерческой эффективности использует только поток П2 в числителе и представляется в виде отношения П2/П1.

В рамках системы возможно “протяжение” оценок эффективности во времени. Например, оценка внутристрановой экономической эффективности $E{{E}_{{0:T}}}$ для дисконтированного денежного потока, который предпочитают использовать при анализе инвестиционных проектов, имеет вид (4.4)

где r – ставка дисконтирования.

Применение методики оценки экономической эффективности позволило решить ряд задач:

1) cреднесрочное и долгосрочное стратегическое планирование государственных программ;

2) оценка эффективности и реализуемости с максимально достоверными и подтверждаемыми результатами.

Решение задачи среднесрочного и долгосрочного стратегического планирования государственных программ с помощью разработанного подхода можно показать на примере выбора сценария финансирования новой подпрограммы для системы ГЛОНАСС. Рассматривались три сценария: базовый, инерционный и форсированный (табл. 2).

Во-первых, все приведенные сценарии финансирования имеют положительные соотношения эффективности (BE, EE, соотношение затрат и вклада в ВВП). Таким образом, в любом из сценариев финансирования ожидаемый положительный экономический эффект будет выше, чем затраты, понесенные на реализацию мероприятий по поддержанию и развитию системы ГЛОНАСС.

Во-вторых, при возрастании общей суммы финансирования наблюдается снижение эффективности, что может на первый взгляд показаться алогичным. Ошибки нет, и у наблюдаемого эффекта есть несколько обоснованных причин. Прежде всего, наиболее инновационные (и наиболее затратные) в технической составляющей сценарии являются наиболее неопределенными для оценки экономических эффектов. Вероятность того, что разработка и внедрение новой технологии обернется неудачей всегда достаточно высока. И даже в случае успеха ее внедрение в экономические процессы может занять значительное время до получения значимого экономического эффекта. В связи с подобной неопределенностью используемые модели не учитывают подобные эффекты. Следовательно, оценка положительных потоков (П2 и П3) не несет в себе всех потенциально возможных эффектов от внедрения инноваций, и данное допущение представляется обоснованным.

Из-за наличия подобных эффектов при выборе альтернатив развития следует применять комплексный подход к оценке эффективности, включающий как экономическую, так и техническую составляющие.

Решение задачи оценки эффективности государственных программ и их реализуемости с максимально достоверными и подтверждаемыми результатами можно показать на примере системы ГЛОНАСС и завершенной федеральной программы по системе ГЛОНАСС.

Рассчитанные результаты оценки влияния вложений в развитие системы ГЛОНАСС на основные макроэкономические показатели за период 2014–2020 гг. представлены в табл. 3.

Увеличение объемов промышленного производства вследствие реализации ФЦП ГЛОНАСС ведет к росту налогооблагаемой базы налога на прибыль и налога на добавленную стоимость (НДС), а более высокий уровень занятости обеспечивает более высокий уровень социальных отчислений. Таким образом, ФЦП ГЛОНАСС генерирует доходный поток для бюджетов различных уровней. Наиболее существенный объем сборов приходится на долю федерального бюджета – около 61.12% от общего налогового эффекта реализации ФЦП ГЛОНАСС. Взносы на социальное страхование, направляемые в соответствующие фонды, занимают в структуре генерируемого программой налогового потока 24.1%, а отчисления в региональные бюджеты – 14.7%. Оценка генерируемых системой ГЛОНАСС налоговых поступлений в бюджеты различных уровней приведена на рис. 13.

Общий объем налоговых поступлений от реализации ФЦП ГЛОНАСС (включая налоговые поступления от отраслей экономики, на развитие которых оказывает влияние развитие системы ГЛОНАСС) в 2020 г. оценивается в 127.2 млрд руб. Из них в федеральный бюджет зачисляется 77.7 млрд руб., в региональные бюджеты – 18.7 млрд руб., взносы на социальное страхование составляют 30.7 млрд руб.

Таким образом, реализация ФЦП ГЛОНАСС оказывает стимулирующее воздействие на темпы экономического роста, динамику промышленного производства и инвестиционную активность, а также позволяет добиться устойчивого увеличения уровня занятости. Рост экономики и улучшение показателей рынка труда в свою очередь ведут к формированию устойчивого доходного потока в бюджеты различного уровня и фонды социального страхования.

5. Применение комплексной методологии. Общая применимость комплексной методологии оценки эффективности навигационных систем иллюстрируется ее использованием при решении задачи выбора сценариев развития системы ГЛОНАСС [8]. Рассматривалось четыре основных сценария развития: классический (с неизменной ОГ); расширенный (с двумя дополнительными космическими аппаратами (КА) в каждой плоскости, образующими антиподную пару); шестиплоскостной (с шестью дополнительными КА в трех дополнительных плоскостях); двухуровневый (с дополнительным комплексом из шести КА в трех плоскостях на высоких орбитах с возможным предоставлением новых услуг).

С учетом необходимости проведения комплексной оценки, а также применения только достоверных верифицированных исходных данных использовались характеристики, сгруппированные в три основные области проведения оценки: функциональная эффективность; экономическая эффективность; эффективность системы нормативного регулирования.

Графические результаты сравнительного анализа представлены на рис. 14 в виде паутинной диаграммы.

Классический, расширенный и шестиплоскостной сценарии в целом сходны, за исключением разницы в характеристике доступность в сложных условиях (за счет повышения количества КА и плоскостей). Доступность максимальна для расширенного сценария, далее идут шестиплоскостной и двухуровневый.

В части характеристики двухуровневого сценария можно отметить следующее:

в отличие от первых трех сценариев он может быть оценен как классический инвестиционный проект (в показателях – внутренняя норма доходности, срок окупаемости) и является единственным окупаемым сценарием;

за счет возможности предоставления дополнительных услуг он также выигрывает в экономических характеристиках за счет роста доли международного рынка услуг ГНСС, роста объема новых рынков услуг системы ГЛОНАСС и в характеристиках эффективности международной деятельности.

Лицо, принимающее решение, в данном случае может использовать различные подходы к решению. Поскольку это классическая задача многокритериальной оптимизации, в данном случае применима парето-оптимизация с фиксированием в виде ограничения критерия эффективности системы нормативного регулирования и решением плоской задачи.

Таким образом, двухуровневый сценарий является наиболее экономически и коммерчески привлекательным при сопоставимом уровне характеристик функциональной эффективности, если сравнивать с расширенным и шестиплоскостным сценариями.

Заключение. В настоящее время критически важными при оценке эффективности становятся прослеживаемость, повторяемость, достоверность, взаимное признание результатов оценки. В подходе, предложенном в данной статье, это обеспечивается достоверными (верифицированными) исходными данными; созданием и применением систем описания характеристик, исчерпывающе рассматривающих предметную область; разработкой и использованием формализованных методик расчета.

Решена проблема исследования научно-методологических основ комплексной оценки эффективности, для этого:

разработан набор классификаторов, позволивший сократить области проведения оценок до трех основных и сформировать набор подходов, средств и методов по различным областям оценки для каждой конкретной классифицированной задачи, который дает возможность проводить комплексную оценку эффективности;

созданы методы и методики по трем областям проведения оценок: функциональной эффективности; эффективности системы нормативного регулирования; экономической эффективности.

Показано применение научно-методологических основ при решении ряда практических задач (в том числе сертификация услуг системы ГЛОНАСС в интересах международных потребителей; мониторинг, контроль и подтверждение характеристик ГНСС в международных организациях; сравнительный анализ различных систем нормативного регулирования (и вариантов их построения); совершенствование национальной системы нормативного регулирования в целом и различных вариантов ее возможного построения, среднесрочного и долгосрочного стратегического планирования государственных программ; оценка их эффективности и реализуемости; выбор сценария развития системы ГЛОНАСС).