Известия РАН. Теория и системы управления, 2019, № 4, стр. 121-131

ОТБОР ПРИОРИТЕТНЫХ НАПРАВЛЕНИЙ ИССЛЕДОВАНИЙ И РАЗРАБОТОК

В. В. Топка *

ИПУ РАН
Москва, Россия

* E-mail: Topka3@mail.ru

Поступила в редакцию 29.06.2018
После доработки 18.02.2019
Принята к публикации 25.03.2019

Полный текст (PDF)

Аннотация

Рассматривается проблема отбора приоритетных направлений исследований и разработок на базе обработки экспертной информации, которая легла в основу информационно-вычислительной системы – автоматизированной системы экспертного оценивания. Определение результирующего упорядочивания независимых инновационных проектов учитывает подход на основе медианы Кемени для векторов предпочтений, а также метод минимизации суммы рангов. Предложено развитие системы в виде ресурсного метода отбора приоритетных направлений, в котором функция распределения вероятности технического успеха проекта описывается распределением Вейбулла. Разработана математическая модель максимизации реализуемости портфеля независимых проектов, которая является неустойчивой при неточных исходных данных и рекомендован эффективный метод решения сформулированной задачи отбора портфеля приоритетных (реализуемых) инновационных проектов, а также предложено решение оптимизационной задачи по определению ресурсной приоритетности их финансирования.

Введение. К числу известных подходов к определению приоритетности научно-технической продукции можно отнести следующие: балансовый [1, 2], основанный на оценке уровня экономической эффективности новых технологий [3, 4], макроэкономический [5] и экспертный [6]. Под приоритетом понимается преобладающее значение, важность, первоочередность осуществления той или иной разработки, проекта или направления. Указанные подходы освещают различные аспекты проблемы выбора приоритетных направлений научно-исследовательских и опытно-конструкторских работ (НИОКР), однако они не свободны от недостатков.

Основными трудностями, с которыми приходится сталкиваться в формализованном подходе [1] по выбору перспективных исследований и разработок, являются следующие: проблема большой размерности модели, неопределенность используемой информации, зависимость цен и коэффициентов влияния технико-экономических показателей от времени.

Данная проблема принятия решений о выборе направлений государственных инновационных вложений в национальную экономику в дальнейшем [2] получила развитие. Был рассмотрен вопрос о выделении конкретных научно-технических новшеств, обещающих значительный вклад в конечный народно-хозяйственный результат и поэтому достойных государственной поддержки. Расчет этого вклада производится [2] по оптимизационным многоотраслевым балансовым динамическим моделям в условиях неточного прогнозирования удельных среднеотраслевых характеристик.

В макроэкономическом подходе [5] к выбору приоритетных направлений (ПН) используемый для оценки эффекта направлений технического прогресса математический аппарат позволяет установить связь между получаемой в результате осуществления того или иного направления технического прогресса экономией затрат труда, необходимыми для реализации данного направления капитальными вложениями и изменением величины использованного национального дохода. Данный подход является нормативным, он не указывает путей к реализации поставленной проблемы.

Cуть экспертного подхода [6] состоит в построении бинарной композиции для комплексной экспертной оценки важности ПН. Под бинарной композицией подразумевается построение двумерных таблиц с последующей экспертной оценкой объекта по выбранным двум критериям.

Оценка уровня экономической эффективности новых технологий изложена в [3, 4]. Новые технологии создаются в результате проведения НИОКР, а также импортируются вместе с оборудованием, закупаемым за границей, или в результате приобретения лицензий и технической документации. Длительность цикла НИОКР и освоения новой техники оценивается экспертами в 13–14 лет [7]. Прогноз по выбору перспективных технологий выпуска конечного продукта основывается [4] на анализе S-образных кривых эффективности технологий. Знание конкретной экономической ситуации (фондовооруженности и оплаты труда, объема возможных затрат на НИОКР) позволяет правильно определить направление вложения средств. Поэтому прежде, чем произвести анализ ПН, необходимо сделать прогноз перспективности технологий, которые лежат в основе рассматриваемых направлений.

Любой инновационный проект является в то же время и инвестиционным проектом, выбор которых часто основывается на таких инструментах [8] финансового анализа, как подходы “анализ затраты – выгоды” [9], “анализ затраты – эффективность” [10].

Для решения проблемы оценки сравнительной предпочтительности проектов (особенно крупномасштабных), подготовки различных вариантов решений и выбора наиболее предпочтительного из них предполагается привлечение экспертов различного уровня. С одной стороны, необходимы специалисты, способные профессионально оценить проекты по различным критериям (техническим, экономическим, экологическим и т.д.). С другой стороны, нужны специалисты, способные осуществлять сопоставительный анализ проектов в целом. Подбор указанных специалистов и организация их работы составляют технологию проведения экспертиз. Методическое обеспечение технологии экспертиз существенно влияет на качество экспертной информации. Не менее важная проблема – снижение трудоемкости процедур экспертного оценивания. Автоматизированная система экспертного оценивания (АСЭО), для экспертного отбора портфеля проектов [11] реализует оригинальный подход к решению перечисленных проблем и открывает новый класс автоматизированных систем. Система ориентирована на работу с экспертами высокой квалификации, что отличает ее как от экспертных систем (предназначенных для передачи знаний от высококвалифицированного специалиста к специалисту низкой квалификации), так и от систем поддержки принятия решений (обслуживающих управленцев как лиц, принимающих решения (ЛПР)).

При всех достоинствах количественных методов решающее слово остается за группой лиц, формирующих решение, поэтому прямой учет их опыта, неформализованных предпочтений является необходимым звеном в схемах выбора ПН. Возможность выбора того или иного ПН всегда связана с оценкой его ресурсного обеспечения. Поэтому ресурсный метод выбора ПН – наиболее важная концепция выбора ПН.

1. Результирующее ранжирование – медиана Кемени. В АСЭО выделяется модуль экспертной оценки приоритетности финансирования. Для полученной от экспертов информации о предпочтительности проектов выбирается мера близости – медиана Кемени на множестве векторов предпочтений [12, с. 33; 88]. Это позволяет построить эффективно разрешимую модель выбора приоритетных проектов в виде упорядоченного списка – ранжирования. В таком случае построение результирующего ранжирования – медианы Кемени, осуществляется путем решения соответствующей задачи о выборе или аддитивной задачи о назначении на минимум. А нормированный коэффициент экспертной приоритетности финансирования определяется номером проекта в результирующем ранжировании, получаемом в результате решения задачи о назначении, для которой имеются известные алгоритмы решения, как для малых, так и для больших размерностей исходной задачи [13, с. 255; 14, с. 312]. Популярным является метод упорядочивания по средним рангам, в котором итоговое ранжирование строится на основе средних арифметических рангов, выставленных отдельными экспертами. Однако из теории измерений известно [15, гл. 3], что более обоснованным является использование не средних арифметических, а медиан. Вместе с тем метод средних рангов весьма известен и широко применяется, так что просто отбросить его было бы неразумно. Поэтому представляется целесообразным одновременное применение обоих методов. На основании работ, цитируемых в обзорах [16, с. 94–110; 17], а также работ последних 15 лет применение метода минимизации суммы рангов для агрегирования ранжирований следует признать вполне логичным.

АСЭО, используемая при решении практических задач определения наиболее предпочтительных объектов финансирования и объемов их финансирования, позволяет повысить эффективность решения этого важного класса управленческих проблем.

Как известно, решение задачи о назначении неоднозначно, поэтому после получения формального решения задачи $x = ({{x}_{{11}}},{{x}_{{12}}},\;...,\;{{x}_{{nn}}})$, где n – число альтернатив (мест в ранжировании), при необходимости, группа экспертов в результате содержательного обсуждения формирует итоговое ранжирование альтернатив $k = \overline {1,K} ;$ K < n, о которых будем говорить как о приоритетных. В методе согласования кластеризованных ранжирований [18] проблема состоит в выделении общего нестрогого порядка из набора кластеризованных ранжирований (на статистическом языке – ранжирований со связями). Этот набор может отражать мнения нескольких экспертов или быть получен при обработке мнений экспертов различными методами, (имеется в виду построение медианы Кемени для векторов предпочтений). Этот метод согласования кластеризованных ранжирований позволяет “загнать” противоречия внутрь специальным образом построенных кластеров (групп), в то время как упорядочивание кластеров соответствует всем исходным упорядочиваниям. Согласование указанных кластеризованных ранжирований использует также минимизацию суммы рангов [16, с. 94–110; 17].

2. Ресурсный метод отбора приоритетных направлений исследований и разработок.

1. На начальном этапе метода производится прогноз по выбору перспективных технологий выпуска конечного продукта, основывающийся на анализе S-образных кривых эффективности технологий [4]. Выбор более эффективной технологии позволяет увеличить эффективное использование вкладываемых в развитие промышленности средств. Знание участка этой кривой, на которой мы находимся в анализируемой ситуации, позволяет правильно определить направление вложения средств. Поэтому, прежде чем произвести анализ ПН, необходимо сделать прогноз перспективности тех технологий, которые лежат в основе рассматриваемых направлений.

2. Применяется многокритериальный метод оценки приоритетности проектов НИОКР. Для определения уровня (страты) Xi , $i = \overline {1,5} $, к которому относится оцениваемый объект, производится сопоставление результата линейной свертки $X = {{{\lambda }}_{1}}{{{\chi }}_{1}} + ... + {{{\lambda }}_{5}}{{{\chi }}_{5}},$ оценок ${{{\chi }}_{i}}$ с соответствующим интервалом выбранной шкалы Харрингтона [19].

3. Выполнив на основе прогноза предложения по формированию ПН, группа экспертов, представляет информацию о сравнительной предпочтительности альтернатив в виде векторов предпочтений ${{{\text{П }}}^{{(1)}}},{{{\text{П }}}^{{(2)}}},\;...,\;{{{\text{П }}}^{{(m)}}}$, где m – число экспертов, а ${{{\text{П }}}^{{{\text{(}}j)}}} = \left\{ {{{П }_{{\text{1}}}},\;...,\;{{П }_{{\text{n}}}}} \right\}$, $j = \overline {1,m} $, характеризует относительную предпочтительность альтернатив ${{a}_{1}},\;...,\;{{a}_{n}}$, соответствующих формируемому множеству ПН [12, с. 51; 88], для данного эксперта.

4. На множестве построенных векторов предпочтений строится усредненное по экспертам ранжирование – медиана Кемени [12, с. 33; 88], которая в рассматриваемом случае получения от экспертов информации о сравнительной предпочтительности альтернатив в виде векторов предпочтений определяется с помощью решения задачи о выборе или аддитивной задачи о назначении на минимум, которая эффективно разрешима [13, с. 255; 14, с. 312]. В результате чего получаем результирующее (кластеризованное) ранжирование – ограниченное множество направлений k = 1, 2, …, j, …, n перспективных НИОКР. Результирующие ранжирования содержат кластеры, т.е. такие объекты, по поводу которых некоторые из исходных ранжирований противоречат друг другу.

Алгоритм согласования [18] некоторого числа кластеризованных ранжирований состоит из трех этапов. На первом этапе выделяются противоречивые пары объектов во всех парах кластеризованных ранжирований. На втором этапе формируются кластеры итогового кластеризованного ранжирования (т.е. классы эквивалентности – связные компоненты графов, соответствующих объединению бинарных ядер противоречий). “Ядром противоречий” названа совокупность противоречивых пар объектов для двух кластеризованных ранжирований А и В. Вторая составляющая кластеризованного ранжирования – это строгий линейный порядок между кластерами, который задает, по сути, такую же структуру множества приоритетных реализуемых проектов, как и при возможном наличии пар эквивалентности среди проектов. На третьем этапе эти кластеры (классы эквивалентности) упорядочиваются. Для установления порядка между кластерами произвольно выбирается один объект из первого кластера и второй – из второго, порядок между кластерами устанавливается такой же, какой имеет быть между выбранными объектами в любом из рассматриваемых кластеризованных ранжирований. Корректность подобного упорядочивания, т.е. его независимость от выбора той или иной пары объектов, вытекает из соответствующих теорем, доказанных в [18].

Два объекта из разных кластеров согласующего кластеризованного ранжирования могут оказаться эквивалентными в одном из исходных кластеризованных ранжирований (т.е. находиться в одном кластере). В таком случае надо рассмотреть упорядоченность этих объектов в каком-либо другом из исходных кластеризованных ранжирований. Если же во всех исходных кластеризованных ранжированиях два рассматриваемых объекта находились в одном кластере, то естественно считать (и это является уточнением к этапу 3 алгоритма), что они находятся в одном кластере и в согласующем кластеризованном ранжировании. Метод согласования кластеризованных ранжирований использует минимизацию суммы рангов [16, с. 94–110; 17].

5. На основании полученного кластеризованного ранжирования определяется множество из K направлений НИОКР, $k = \overline {1,K} ;$ K < n, о которых будем говорить как о приоритетных. Пусть в итоговом ранжировании альтернатива ${{a}_{i}}$ расположена на $j$-м месте. Тогда ее нормированный уровень приоритетности, определяемый экспертами, выглядит как ${{{\rho }}_{j}} = 2j{\text{/}}\left( {K\left( {K + 1} \right)} \right)$, имея в виду, что сумма арифметической прогрессии задаваемой итоговым ранжированием равна SK = = $(K(K + 1)){\text{/}}2$, в этом случае будет

${{{\rho }}_{j}} \in (0,1);{\text{ }}{{{\rho }}_{1}} + ... + {{{\rho }}_{K}} = 1.$

Далее выбирается множество из K приоритетных НИОКР, производится последовательное построение технологической сети реализации работ, попадающих в подмножество портфеля приоритетных проектов. В процессе построения такой сети указываются разработки, которые необходимо выполнить для их осуществления, и технологические связи (отношения предшествования) на множестве планируемых разработок из каждого инновационного проекта портфеля.

В этом случае экспертная приоритетность финансирования проектов выражается формулой

${{c}_{k}} = {\rho }_{k}^{1}{{C}_{K}},\quad {\text{г д е }}\quad {\rho }_{k}^{1} = 2(K + 1 - k){\text{/}}(K(K + 1)),\quad k = \overline {1,K} ;\quad K < n,$
CK – общий объем ассигнований. Пункты 1–3, 5 метода входят в виде модулей в информационно-вычислительную систему АСЭО [11]. Далее предлагаемый новый ресурсный метод отбора ПН выглядит следующим образом.

6. Для каждого из $k = \overline {1,K} $ приоритетных проектов с помощью инструментальных средств имитационного моделирования таких, как @RISK 5.7 от Palisade Corporation (www.palisade.com), строятся соответствующие гистограммы [20] функции распределения вероятности технического успеха проекта. Затем для полученной кумулянты этих гистограмм с помощью пакета статистического анализа STATISTICA v.6.0 (www.statsoft.ru) определяется [21] вид вероятностного распределения: 2-параметрическая функция распределения Вейбулла:

(2.1)
${{P}_{j}}({{u}_{j}}) = 1 - \exp ( - {{b}_{j}}u_{j}^{{{{{\alpha }}_{j}}}}),$
где ${{u}_{j}} > 0$ – однородный невозобновимый (складируемый) ресурс, $j = \overline {1,K} $ – номер проекта и получают оценки его параметров: формы – ${\alpha } > 0,{ \alpha } \ne 1$ и масштаба – b > 0.

7. Пусть все K инновационных проектов, выбранных в результате экспертного оценивания в качестве приоритетных, являются независимыми. Результат реализации портфеля ПН будет оцениваться по величине совместной вероятности PK независимых событий, состоящих в выполнении к некоторому определенному сроку при заданных точно бюджетных ассигнованиях CK для выбранных ПН. А для указанных событий функция распределения вероятности технического успеха проекта или, другими словами, степень достижения заданных технических характеристик образца, выполненного в результате реализации конкретного проекта, подчиняется 2-параметрической функции распределения Вейбулла. На данном этапе рассматривается задача ресурсного обеспечения максимизируемого результирующего целевого эффекта PK портфеля независимых инновационных проектов с экспертными приоритетами, в которой исходные данные целевой функции известны неточно:

(2.2)
$\begin{gathered} {{P}_{K}} = \prod\limits_{j = 1}^K {P_{j}^{{{{{\rho }}_{j}}}}({{u}_{j}})} \to \mathop {\sup }\limits_{u \in U} ; \\ {{P}_{j}}({{u}_{j}}) = 1 - \exp ( - {{b}_{j}}u_{j}^{{{{{\alpha }}_{j}}}}); \\ {{U}_{0}} = \{ \left\lceil u \right\rceil \left| {{{u}_{j}} \geqslant {{{\left( {({{{\alpha }}_{j}} - 1){\text{/}}({{{\alpha }}_{j}}{{b}_{j}})} \right)}}^{{{1 \mathord{\left/ {\vphantom {1 {{{{\alpha }}_{j}}}}} \right. \kern-0em} {{{{\alpha }}_{j}}}}}}}} \right.\} ; \\ U = \left\{ {u \in {{U}_{0}}:\sum\limits_{j = 1}^K {{{c}_{j}}{{u}_{j}}} - {{C}_{K}} \leqslant 0} \right\} - {\text{з а д а н о т о ч н о }}; \\ {{{\rho }}_{j}} = 2j{\text{/}}\left( {K\left( {K + 1} \right)} \right),\quad j = \overline {1,K} ;{\text{ }} \\ {{{\rho }}_{j}} \in (0,1);\quad {{{\rho }}_{1}} + ... + {{{\rho }}_{K}} = 1;\quad {{{\alpha }}_{j}},{{b}_{j}} > 0;\quad {{{\alpha }}_{j}} \ne 1; \\ \end{gathered} $
$\left\lceil x \right\rceil $ определяется как наименьшее целое, большее или равное х, $u = \left( {{{u}_{1}},\;...,\;{{u}_{K}}} \right)$ – вектор невозобновимых ресурсов, ${{c}_{j}} > 0$ – цена единицы невозобновимого ресурса ${{u}_{j}}$ на j-й работе. Пусть $0 < {{{\rho }}_{j}} < {{{\rho }}_{{j + 1}}} < 1$, тогда для любого $P(u) \in \left( {0,1} \right)$ будет ${{P}^{{{{{\rho }}_{j}}}}}\left( u \right) > {{P}^{{{{{\rho }}_{{j + 1}}}}}}\left( u \right).$

8. На рассматриваемом множестве из K приоритетных проектов после нахождения решения выпуклой задачи распределения ресурсов (2.2) $u_{j}^{*} = \arg \mathop {\max }\limits_{u \in U} {{P}_{K}}$ в соответствии с достигнутой вероятностной оценкой реализуемости вместе с экспертными приоритетами $P_{j}^{{{{{\rho }}_{j}}}}(u_{j}^{*})$ ЛПР отбирает упорядоченное множество из R $ \leqslant $ K реализуемых проектов $r = \overline {1,R} $. Пересчитываются новые приоритеты для отобранных реализуемых проектов:

${{{\rho }}_{j}} = 2j{\text{/}}\left( {R\left( {R + 1} \right)} \right),\quad j = \overline {1,R} ;{\text{ }}\quad R \leqslant K;\quad {{{\rho }}_{j}} \in (0,1);\quad {{{\rho }}_{1}} + ... + {{{\rho }}_{R}} = 1,$
для которых устанавливается ресурсный норматив ${{{\kappa }}_{r}} \in \left( {0,{\text{ }}1} \right),{{{\kappa }}_{1}} + ... + {{{\kappa }}_{R}} = 1$ отчисления ассигнований на каждый проект, подлежащий реализации, когда найдены оптимальные объемы невозобновимых ресурсов, выделяемых на каждый проект:

$u_{r}^{*} = \arg \mathop {\max }\limits_{u \in U} {{P}_{R}},\quad r = \overline {1,R} .$

Далее возможно несколько стратегий финансирования отобранных проектов, подлежащих реализации:

а) пропорциональная

${{{\kappa }}_{r}} = {{c}_{r}}u_{r}^{*}{\text{/}}\sum\limits_{r = 1}^R {{{c}_{r}}u_{r}^{*}} ,$

б) преимущество для высокоприоритетных проектов

${{{\kappa }}_{r}} = P_{r}^{{{{{\rho }}_{r}}}}(u_{r}^{*}){\text{/}}\sum\limits_{r = 1}^R {P_{r}^{{{{{\rho }}_{r}}}}(u_{r}^{*})} ,$

в) высокореализуемые проекты получают бóльшую долю

${{{\kappa }}_{r}} = {{P}_{r}}(u_{r}^{*}){\text{/}}\sum\limits_{r = 1}^R {{{P}_{r}}(u_{r}^{*})} .$

9. Если ЛПР отобрал R реализуемых проектов и включил их в план, то его в равной мере интересует выполнение каждого проекта из сформированного портфеля. Находим среднее:

$\frac{1}{R}\sum\limits_{r = 1}^R {P_{r}^{{{{\rho }_{r}}}}(u_{r}^{*}) = \bar {P}.} $

В этом случае равномерное выполнение плана $u_{r}^{{{\text{**}}}}$ находится из решения задачи минимизации суммарного квадратичного отклонения от среднего значения взвешенных показателей реализуемости проектов:

(2.3)
$J = \sum\limits_{r = 1}^R {{{{[P_{r}^{{{{{\rho }}_{r}}}}({{u}_{r}}) - \bar {P}]}}^{2}}} \to \mathop {\inf }\limits_{u \in {{U}_{1}}} ;$ ${{U}_{1}} = \left\{ \begin{gathered} {{P}_{r}}({{u}_{r}}) = 1 - \exp ( - {{b}_{r}}u_{r}^{{{{{\alpha }}_{r}}}});\quad \bar {P} = \frac{1}{R}\sum\limits_{r = 1}^R {P_{r}^{{{{{\rho }}_{r}}}}(u_{r}^{*});} \hfill \\ {{U}_{0}} = \{ \left\lceil u \right\rceil \left| {{{u}_{r}} \geqslant {{{\left( {({{{\alpha }}_{r}} - 1){\text{/}}({{{\alpha }}_{r}}{{b}_{r}})} \right)}}^{{{1 \mathord{\left/ {\vphantom {1 {{{{\alpha }}_{r}}}}} \right. \kern-0em} {{{{\alpha }}_{r}}}}}}}} \right.\} ; \hfill \\ U = \left\{ {u \in {{U}_{0}}:\sum\limits_{r = 1}^R {{{c}_{r}}{{u}_{r}}} - {{C}_{K}} \leqslant 0} \right\}\,\,{\text{з а д а н о т о ч н о }}; \hfill \\ {{{\rho }}_{r}} = 2r{\text{/}}(R(R + 1)),\quad r = \overline {1,R} ;\quad {{{\rho }}_{r}} \in (0,1);\quad {{{\rho }}_{1}} + ... + {{{\rho }}_{R}} = 1. \hfill \\ \end{gathered} \right.$

Регуляризованный метод проекции градиента [22, с. 846], примененный к решению задачи (2.3), мало чем отличается от него при решении задачи (2.2). Тогда при таком равномерном выполнении плана реализации проектов ресурсные приоритеты имеют вид

${\text{г )}}\,\,{{{\kappa }}_{r}} = {{c}_{r}}u_{r}^{{{\text{**}}}}{\text{/}}\sum\limits_{r = 1}^R {{{c}_{r}}u_{r}^{{{\text{**}}}}} ,\quad {\text{г д е }}\quad u_{r}^{{{\text{**}}}} = \arg \mathop {\inf }\limits_{u \in {{U}_{1}}} J.$

Метод ресурсной приоритетности финансирования реализуемых независимых инновационных проектов может иметь четыре стратегии и выражается формулой ${{c}_{r}} = {{{\kappa }}_{r}}{{C}_{K}}$, где ${{c}_{r}}$ – стоимость r-го проекта.

Максимум монотонно возрастающей целевой функции (2.2) справа от точки перегиба по каждой компоненте достигается при первом способе а) финансирования реализуемых проектов.

Ресурсный метод отбора ПН представляет собой математически корректную формализацию, позволяющую работать с неточно известными параметрами и информацией, полученной от экспертов. В заключение готовыми программными средствами Project Management для каждого проекта находится оптимальный календарный план при ограничении на стоимость проекта, критический путь, резервы работ и оценка риска расписания.

3. Постановка задачи максимизации совместной вероятности. Для независимых проектов задача максимизации вероятности ${{P}_{K}}$ события, состоящего в одновременном осуществлении с вероятностью (2.1) всех $j = \overline {1,K} $ приоритетных проектов портфеля, с экспертными приоритетами ${{{\rho }}_{j}}$ и допустимым множеством U выражается в виде (2.2). В ней имеем

Переменные задачи: ${{u}_{j}}$ > 0 – невозобновимый ресурс, выделяемый на выполнение  j-й работы (сюда относятся: затраченное рабочее время ресурса, материалы, комплектующие, израсходованные финансовые ресурсы, израсходованная электроэнергия). Размерность $\left[ {{{u}_{j}}} \right] = {\text{ч е }}{{{\text{л }}}_{j}}{\text{ч }}$.

Параметры задачи: ${{c}_{j}} > 0$ – цена единицы невозобновимого (складируемого) ресурса ${{u}_{j}}$ на j-й работе (сюда относятся: величина оклада затраченного ресурса ${{u}_{j}}$; расценки при сдельной работе ресурса данного разряда согласно тарифной сетке; приоритетность, важность ресурса u в зависимости от работы  j; характеристика дефицита ресурса). Показывает, что стоимость потраченного ресурса зависит еще от того, на какой из работ он потрачен. При этом для цены ресурсов работ допускаются разные случаи: как ${{c}_{j}} \geqslant 1,$ так и ${{c}_{j}} \leqslant 1,{\text{ }}j = 1,\;n.$ Размерность $\left[ {{{с }_{j}}} \right] = {\text{р у б /ч е }}{{{\text{л }}}_{j}}{\text{ч }}$. Таким образом, ${{с }_{j}}{{u}_{j}}$ должно соответствовать кумулятивной плановой стоимости запланированной работы $j = \overline {1,n} $BCWS (budgeted cost of work scheduled). Размерность $\left[ {{{с }_{j}}{{u}_{j}}} \right] = {\text{р у б }}{\text{.}}$ Безразмерные величины: ${{\alpha }_{j}} \ne 1,{\text{ }}{{\alpha }_{j}} > 0$ – параметр формы, ${{b}_{j}} > 0$ – параметр масштаба распределения Вейбулла и экспертные приоритеты ${{{\rho }}_{j}} = 2j{\text{/}}(K(K + 1)),j = \overline {1,K} ,$ обладающие свойством ${{{\rho }}_{j}} \in (0,1)$; ρ1 + ... + ρK = 1.

Представим задачу (2.2) в следующем виде:

(3.1)
$\ln J(u) = - \sum\limits_{j = 1}^K {{{{\rho }}_{j}}\ln {{P}_{j}}\left( {{{u}_{j}}} \right)} \to \mathop {\inf }\limits_{u \in {{U}_{2}}} ,$
(3.2)
${{U}_{2}} = \left\{ {u \in {{U}_{0}}:\sum\limits_{j = 1}^K {{{c}_{j}}{{u}_{j}}{\text{/}}{{C}_{K}}} \leqslant 1} \right\}.$

Функция (2.1) под знаком логарифма в (3.1) справа от точки перегиба [21]

(3.3)
${{u}_{j}} \geqslant {{\left( {({{{\alpha }}_{j}} - 1){\text{/}}({{{\alpha }}_{j}}{{b}_{j}})} \right)}^{{{1 \mathord{\left/ {\vphantom {1 {{{{\alpha }}_{j}}}}} \right. \kern-0em} {{{{\alpha }}_{j}}}}}}}$
является вогнутой на отрезке
(3.4)
${{U}_{0}} = \left[ {\mathop {\max }\limits_{1 \leqslant j \leqslant K} {{{\left( {({{\alpha }_{j}} - 1){\text{/}}({{\alpha }_{j}}{{b}_{j}})} \right)}}^{{{1 \mathord{\left/ {\vphantom {1 {{{\alpha }_{j}}}}} \right. \kern-0em} {{{\alpha }_{j}}}}}}} \leqslant \left\lceil u \right\rceil \ll N} \right],$
где N – достаточно большое число. Из практических соображений нас будут интересовать значения функции распределения Вейбулла больше:

(3.5)
${{p}_{{{\text{п е р е г и б а }}}}} = 1 - \exp \left( {(1 - \alpha ){\text{/}}\alpha } \right).$

Если обозначить функцию $f(u) = - \ln [1 - \exp ( - b{{u}^{\alpha }})]$, $g(u) = 1 - \exp ( - b{{u}^{\alpha }}),$ $\varphi (z) = - \ln z$, то f(u) = $\varphi (g(u))$. Пусть a = 0, $b = N$, тогда на отрезке [a, b] функция $\varphi (z)$ выпукла и не возрастает. Область значений функции g(u) при $u \in {{U}_{0}}$ – это отрезок $\left[ {{{p}_{{{\text{п е р е г и б а }}}}},{\text{ }}1 - \varepsilon } \right]$, который принадлежит отрезку [a, b]. Тогда справедлива следующая теорема:

Т е о р е м а [23, с. 193]. Если функция $\varphi (z)$ выпукла и не возрастает на отрезке [a, b], а g(u) вогнута на выпуклом множестве ${{U}_{0}} \subseteq {{E}^{n}},{\text{ }}g(u) \in [a,b],$ при $u \in {{U}_{0}}$, то функция $f(u) = \varphi \left( {g(u)} \right)$ выпукла на U0.

4. Применение регуляризованного метода проекции градиента для решения задачи отбора портфеля проектов. Методы решения неустойчивых экстремальных задач [24] можно строить на основе обычных методов минимизации, подвергнув их некоторой процедуре регуляризации. Для построения регуляризованных методов часто поступают следующим образом: в общей схеме конкретного метода минимизации вместо целевой функции используют функцию Тихонова. Так, например, если в итерационный процесс градиентного метода ${{u}_{{k + 1}}} = {{u}_{k}} - {{{\beta }}_{k}}J{\text{'}}({{u}_{k}}),k = 0,1,...,$ вместо $J{\text{'}}({{u}_{k}})$ формально подставить градиент функции Тихонова ${{T}_{{\delta }}} = J(u) + {\alpha }({\delta }){{\left\| u \right\|}^{2}}$ в точке uk, то придем к регуляризованному градиентному методу [22, с. 846]:

${{u}_{{k + 1}}} = {{u}_{k}} - {{{\beta }}_{k}}\left( {J{\text{'}}({{u}_{k}}) + 2{{{\alpha }}_{k}}{{u}_{k}}} \right),\quad {{{\alpha }}_{k}} = {\alpha }({{{\delta }}_{k}}),\quad k = 0,1,...,$
в котором надо согласованно выбрать параметры метода, ${{{\alpha }}_{k}},{\text{ }}{{{\beta }}_{k}},$ а также параметры погрешностей исходных данных ${{{\delta }}_{k}}$. Именно по этой схеме проводится регуляризация метода проекции градиента, а для исследования возникающих здесь проблем согласования параметров исходного метода минимизации с параметрами, входящими в функцию Тихонова, для доказательства сходимости получившегося метода пользуются принципом итеративной регуляризации из [25, 26]. Допустимое множество задачи (3.1)–(3.3), являющееся следствием задачи (2.1), есть ограниченное выпуклое замкнутое множество ${{U}_{2}}$ из гильбертова пространства Н, известное точно. Регуляризованный метод проекции градиента для решения задачи (3.1)–(3.4), где
${{{\rho }}_{j}} = 2j{\text{/}}(K(K + 1)),\quad j = \overline {1,K} ;\quad {{{\rho }}_{j}} \in (0,1);\quad {{{\rho }}_{1}} + ... + {{{\rho }}_{K}} = 1;\quad {{{\alpha }}_{j}},{{b}_{j}} > 0;\quad {{{\alpha }}_{j}} \ne 1,$
имеет, таким образом, следующий вид [22, с. 846]:
(4.1)
${{u}_{{k + 1}}} = {{{\pi }}_{{{{U}_{2}}}}}({{u}_{k}} - {{{\beta }}_{k}}t_{k}^{'}({{u}_{k}})),\quad t_{k}^{'} = J_{k}^{'} + 2{{{\alpha }}_{k}}{{u}_{k}},\quad k = 0,1,\;...,$
где ${{{\pi }}_{{{{U}_{2}}}}}\left( z \right)$ – проекция точки $z \in H$ на множество ${{U}_{2}}$. Для теоремы сходимости требуются условия: U2 – выпуклое замкнутое множество из Н, минимизируемая целевая функция выпукла и дифференцируема по Фреше на U2; ${{J}_{*}}$ > –$\infty ,{\text{ }}U_{2}^{*} \ne \infty $ и справедливо неравенство
(4.2)
${{\left\| {J'(u) - J'(v)} \right\|}^{2}} \leqslant L\left\langle {J'(u) - J'(v),{\text{ }}u - v} \right\rangle {\text{ }}\forall u,v \in {{U}_{2}},$
где скалярное произведение двух элементов x и y из H обозначено через $\left\langle {x,y} \right\rangle $. Рассмотрим целевую функцию
$J(u) = - \prod\limits_{j = 1}^K {P_{j}^{{{{{\rho }}_{j}}}}({{u}_{j}})} \to \mathop {\inf }\limits_{u \in {{U}_{2}}} $
из (3.1). Поскольку в рассматриваемом случае выполнено (3.3) и (3.5), ${\rho } \in (0,1),$ то вторая производная $J{\text{''(}}u)$ определена и непрерывна на подмножестве отрезка

${{U}_{0}} = [\mathop {\max }\limits_{1 \leqslant j \leqslant K} {{(({{\alpha }_{j}} - 1){\text{/}}({{\alpha }_{j}}{{b}_{j}}))}^{{{1 \mathord{\left/ {\vphantom {1 {{{\alpha }_{j}}}}} \right. \kern-0em} {{{\alpha }_{j}}}}}}} \leqslant \left\lceil u \right\rceil \ll N].$

По теореме Вейерштрасса она ограниченна на нем. Целевая функция $J(u)$ из (3.1) является, таким образом, непрерывно дифференцируемой, а ограниченность второй производной этой функции означает, что ее градиент удовлетворяет условию Липшица, т.е. она принадлежит классу ${{C}^{{1,1}}}({{U}_{2}})$. В этом случае, согласно теореме 16 из [23, с. 197] (4.2) эквивалентно условию

$\left\| {J'(u) - J'(v)} \right\| \leqslant L\left\| {u - v} \right\|{\text{ }}\forall u,v \in {{U}_{2}},{\text{ }}L = {\text{const}} \geqslant 0,$
которое в данном случае выполняется.

Поскольку ${{\psi }^{ + }}(u) = \max \left\{ {\psi (u);{\text{ }}0} \right\} = 0$, то при некоторых $c \geqslant 0,{\text{ }}\nu > 0$ верно

${{J}_{*}} \leqslant J(u) + c{{({{\psi }^{ + }}(u))}^{\nu }}{\text{ }}\forall u \in {{U}_{0}},$
что, согласно определению 3 из [23, c. 387], означает, что задача (2.2) имеет сильно согласованную постановку.

Вместо точного градиента $J'(u)$ известно его приближение $J_{k}^{'}(u)$, удовлетворяющее неравенству

(4.3)
${\text{||}}J_{k}^{'}(u) - J{\text{'}}(u){\text{||}} \leqslant {{{\delta }}_{k}}\left( {1 + \left\| u \right\|} \right),{\text{ }}\forall u \in {{U}_{2}},\quad {{{\delta }}_{k}} > 0,\quad k = 0,1,...;$
числовые последовательности $\left\{ {{{{\alpha }}_{k}}} \right\},\left\{ {{{{\beta }}_{k}}} \right\},\left\{ {{{{\delta }}_{k}}} \right\}$ увязаны определенными условиями из [22, с. 855], нахождение которых представляло собой непростую задачу. Согласно теореме 3 из [22, с. 854], для которой вышеприведенные ее условия выполнены, при любом начальном приближении ${{u}_{0}} \in {{U}_{2}}$ последовательность $\left\{ {{{u}_{k}}} \right\}$, определяемая методом (4.1), такова, что
(4.4)
$\mathop {\lim }\limits_{k \to \infty } J\left( {{{u}_{k}}} \right) = {{J}_{*}},{\text{ }}\mathop {\lim }\limits_{k \to \infty } {\text{||}}{{u}_{k}} - {{u}_{*}}{\text{||}} = 0,$
где ${{u}_{*}}$ – нормальное решение задачи (3.1)–(3.4). Сходимость в (4.4) равномерна относительно выбора реализаций $J_{k}^{'}(u)$ из (4.3). Последнее означает, что для всех $k = 0,1...$ множество реализаций $\{ J_{k}^{'}(u)\} $, определяемое погрешностью ${{{\delta }}_{k}}$ из (4.3), таково, что для всех элементов этого множества последовательность $\left\{ {{{u}_{k}}} \right\}$, определяемая методом (4.1), такова, что выполняется (4.4).

5. Внутренняя процедура – конечный алгоритм ${\pi }_{{\varepsilon }}^{K}$ проектирования на ε-симплекс. Метод (4.1) предполагает проектирование переменной k-го шага ${{u}_{k}}$:=${\text{ }}{{u}_{k}} - {{{\beta }}_{k}}t_{k}^{'}({{u}_{k}})$ на выпуклое замкнутое множество, известное точно U2 из гильбертова пространства Н. Поскольку из практических соображений нас интересуют значения переменных справа от точки перегиба (3.3), то пусть ε1 = = $\mathop {\max }\limits_{1 \leqslant j \leqslant K} {{\left( {({{{\alpha }}_{j}} - 1){\text{/}}({{{\alpha }}_{j}}{{b}_{j}})} \right)}^{{{1 \mathord{\left/ {\vphantom {1 {{{{\alpha }}_{j}}}}} \right. \kern-0em} {{{{\alpha }}_{j}}}}}}}$. В этом случае для ${{p}_{j}}: = {{c}_{j}}{{u}_{j}}{\text{/}}{{C}_{K}}$ будем считать, что ${{p}_{j}} \geqslant \mathop {\max }\limits_{1 \leqslant j \leqslant K} {{C}_{K}}{{{\varepsilon }}_{1}}{\text{/}}{{c}_{j}} = {\varepsilon }$, ε < 1 – Δ, Δ > 0, $j = \overline {1,K} ,$ выполнено. А в силу выпуклости задачи (3.1)–(3.4) решение достигается на границе ${{p}_{1}} + ... + {{p}_{K}} = 1$ (см. (3.2)).

Пусть для любого $q \in {{E}^{K}}$ вектор ${\pi }_{{\varepsilon }}^{K}(q)$, принадлежащий ε-симплексу

$S_{{\varepsilon }}^{K} = \{ p = ({{p}_{1}},...,{{p}_{K}})\left| {{{p}_{1}} + ... + {{p}_{K}} = 1,{{p}_{j}} \geqslant {\varepsilon },j = \overline {1,K} } \right.\} $
определяется условием

${||\pi }_{{\varepsilon }}^{K}(q) - q{\text{||}} = \mathop {\min }\limits_{p \in S_{{\varepsilon }}^{K}} \left\| {p - q} \right\|$.

Для любого $q \in {{E}^{K}}$ вектор ${\pi }_{{\varepsilon }}^{K}(q)$ существует и единственен и $q = {\pi }_{{\varepsilon }}^{K}(q)$ тогда и только тогда, когда $q \in S_{{\varepsilon }}^{K}.$ Обозначим через ${\pi }_{0}^{K}$ оператор ${\pi }_{{\varepsilon }}^{K}$ при ${\varepsilon } = 0.$

У т в е р ж д е н и е [27, c. 266]. Пусть $q \in {{S}^{K}}$ и ${{q}_{{{{i}_{v}}}}} < 0{\text{ }}(v = \overline {1,k} ),$ ${{q}_{i}} \geqslant 0{\text{ }}(i \ne {{i}_{v}},\;v = \overline {1,k} ).$ Тогда ${{({\pi }_{0}^{K}\left( q \right))}_{{{{i}_{v}}}}} = 0,{\text{ }}v = \overline {1,k} .$

Д о к а з а т е л ь с т в о. Обозначим $y = \left( {{{y}_{1}},...,{{y}_{K}}} \right) = {\pi }_{0}^{K}\left( q \right)$ и предположим противное, т.е.

$\sum\limits_{v = 1}^k {{{y}_{{{{i}_{v}}}}}} > 0.$

Тогда вектор $z = \left( {{{z}_{1}},\;...,\;{{z}_{K}}} \right),$ у которого

(5.1)
${{z}_{{{{i}_{v}}}}} = 0{\text{ и }}{{z}_{i}} = {{y}_{i}} + {{\left( {K - k} \right)}^{{ - 1}}}\sum\limits_{v = 1}^k {{{y}_{{{{i}_{v}}}}}} ,\quad {\text{v}} = \overline {1,k} ,{\text{ }}i \ne {{i}_{v}},$
принадлежит симплексу SK. Кроме того, с помощью (5.1) устанавливается неравенство ${{\left\| {q - z} \right\|}^{2}} < {{\left\| {q - y} \right\|}^{2}},$ что противоречит определению ${\pi }_{0}^{K}.$

Тогда из этого утверждения следует, что операция проектирования ${\pi }_{{\varepsilon }}^{K}$ на ε-симплекс $S_{{\varepsilon }}^{K}$ сводится к комбинации простого линейного преобразования (5.1) и операции проектирования ${\pi }_{0}^{K}$ на полный симплекс SK. В свою очередь оператор ${\pi }_{0}^{K}$, как следует из утверждений в [27, с. 266], может быть реализован экономным алгоритмом из [27, с. 267]. При любом $q \in {{E}^{K}}$ этот алгоритм реализует оператор ${\pi }_{0}^{K}$ за конечное число шагов, меньшее K. Это экономный алгоритм, так как он не требует определения наименьшей отрицательной компоненты.

Заключение. Задача определения приоритетности разработок, направлений НИОКР является несомненно актуальной. Для ее решения в работе предложен подход на основе обработки экспертной информации. На начальном этапе группа экспертов составляет список из n перспективных проектов, направлений НИОКР. Автор остановился на таком способе получения информации о сравнительной предпочтительности n альтернатив, как метод векторов предпочтений, в котором для получения результирующего ранжирования следует определить медиану Кемени для векторов предпочтений. Такой способ позволяет сформулировать проблему определения приоритетности в виде эффективно разрешимой задачи о выборе или аддитивной задачи о назначении на минимум, для которой имеются подходящие специфические алгоритмы решения как для больших задач, так и для задач сравнительно небольшой размерности. Однако решение этой задачи не всегда однозначно. Поэтому на следующем этапе привлекаются эксперты, чтобы дать согласованное кластеризованное ранжирование $k = \overline {1,K} $; K < n, которое определяет приоритетность (экспертную) разработок, направлений НИОКР. При этом используется апробированная процедура минимизации суммы рангов. Применение разработанной, в том числе и автором, АСЭО позволяет получить изложенное выше решение изучаемой проблемы.

Дальнейшим этапом проводимого исследования является учет обеспечения (ресурсного, финансового), необходимого для выполнения отобранных K < n приоритетных инновационных проектов. Для этого следует сформулировать и решить ресурсную оптимизационную задачу для сформированного экспертами портфеля из K < n проектов. Был выбран такой критерий, как критерий реализуемости портфеля приоритетных проектов. Здесь рассматривается совместная вероятность выполнения портфеля независимых проектов, взятых с экспертными приоритетами, полученными на предыдущем этапе. Для этого надо понять, какова функция распределения вероятности выполнения одного проекта. Было проведено экспериментальное исследование, в котором анализировались образцы вероятностных распределений, полученных при помощи имитационного моделирования выполнения иллюстративного проекта двумя независимыми способами: 1) Stochastic Budget Simulation из [28] и 2) прикладным пакетом из семейства @RISK от Palisade Corporation (www.palisade.com). Для сравнительного восстановления зависимостей, взятых из результатов проведенного моделирования, были использованы также два независимых прикладных статистических пакета: 1) Weibull ++7 от ReliaSoft Corporation (www.reliasoft.com) и 2) из известного семейства программных средств – пакет STATISTICA v.6.0 от StatSoft, Inc. (www.statsoft.ru). Проведенный анализ наглядно показал [21], что функция распределения вероятности технического успеха проекта, т.е. степень достижения заданных технических характеристик образца, получаемого в результате реализации инновационного проекта, подчиняется 2-параметрическому распределению Вейбулла. На основании этого анализа была построена модель 2-параметрического распределения Вейбулла для функции распределения вероятности технического успеха инновационного проекта.

Таким образом, модель формирования портфеля из $R \leqslant K$ приоритетных (реализуемых) инновационных проектов состоит в выборе $R$ наиболее предпочтительных, подлежащих реализации проектов на основе максимизации совместной вероятности осуществления K приоритетных независимых проектов, образующих оптимизируемый портфель при ограничении на суммарный бюджет портфеля CK. При этом коэффициенты экспертной приоритетности каждого отдельного проекта получены в результате обработки экспертных оценок, поэтому они обладают определенной погрешностью. Параметры S-кривой Вейбулла для каждого проекта образуются в результате аппроксимации статистическими пакетами экспериментальных данных, взятых из результатов применения программных пакетов семейства @RISK или аналогичных. Найденные таким образом исходные данные для задачи оптимизации также обладают определенной погрешностью. Поэтому задача оптимизации в построенной экономико-математической модели отбора портфеля независимых проектов неустойчива к возмущениям исходных данных и является, вообще говоря, некорректной не только по аргументу, но и по функции, плюс к этому исходные данные задачи известны неточно. А поскольку целевая функция задачи в рабочей области изменения аргумента и ограничения задачи являются выпуклыми, то к ним можно, в силу принципа итеративной регуляризации [25, 26], применять регуляризованные методы решения задач при неточных исходных данных. В качестве такого метода оптимизации для задачи выбора независимых приоритетных инновационных проектов, как соответствующий специфике задачи, был использован регуляризованный метод проекции градиента. Что позволяет найти решение задачи ресурсной приоритетности финансирования реализуемых независимых инновационных проектов по формуле ${{c}_{r}} = {{{\kappa }}_{r}}{{C}_{K}}$, $r = \overline {1,R;} $$R \leqslant K < n$.

Итак, представленная методика на основе изложенного ресурсного метода отбора приоритетных направлений исследований и разработок позволяет дать ответ на проблематику, указанную в Постановлении Правительства России от 21 мая 2013 г. № 426 «О федеральной целевой программе “Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014–2020 годы”».

Список литературы

  1. Иванов Ю.Н., Токарев В.В. Формализованный подход к оцениванию новых технологий // Системные исследования. Методологические проблемы. М.: Наука, 1984.

  2. Иванов Ю.Н., Токарев В.В. Теоретическая экономика: Диапазонные оценки новшеств по балансовым моделям. М.: ЛЕНАНД, 2015. 219 с.

  3. Дубовский С.В. Научно-технический прогресс в глобальном моделировании // Системные исследования. Методологические проблемы. М.: Наука, 1988.

  4. Фостер Р. Обновление производства: Атакующие выигрывают. М.: Прогресс, 1987.

  5. Казанцев М.В. Оценка направлений НТП в методологии народно-хозяйственного планирования. Новосибирск, 1989.

  6. Глотов В.А., Павельев В.В. Векторная стратификация. М.: Наука, 1984.

  7. Покровский В.А. Повышение эффективности научных исследований и разработок. М.: Наука, 1987.

  8. Якобсон Л.И. Экономика общественного сектора: Основы теории государственных финансов. М.: Аспект Пресс, 1996.

  9. Boardman A.E., Greenberg D.H., Vining A.R. Cost-benefit Analysis: Concepts and Practice. 3 ed. Upper Saddle River. N.J.: Pearson / Prentice Hall, 2006.

  10. Дранко О.И., Ириков В.А. Метод “затраты–эффективность” как инструмент выбора приоритетных проектов предприятия // Управленческий учет. 2011. № 4. С. 15–20.

  11. Литвак Б.Г., Топка В.В., Горский П.В., Булушев П.С. Автоматизированная система экспертного оценивания (АСЭО) // Свид. о гос. регистрации программы для ЭВМ. Дата выдачи 09.07.1991.

  12. Литвак Б.Г. Экспертная информация. Методы получения и анализа. М.: Радио и связь, 1982.

  13. Пападимитриу Х., Стайглиц К. Комбинаторная оптимизация. Алгоритмы и сложность / Пер. с англ. М.: Мир, 1985. 512 с.

  14. Кофман А. Введение в прикладную комбинаторику / Пер. с франц. под ред. Б.А. Севастьянова. М.: Наука, Главная редакция физ-матем. литературы. 1975.

  15. Орлов А.И. Устойчивость в социально-экономических моделях. М.: Наука, 1979.

  16. Чеботарев П.Ю. Метод строчных сумм и приводящие к нему модели // Проблемы компьютеризации и статистической обработки данных. Сборник трудов. М.: ВНИИСИ, 1989. № 3. С. 94–110.

  17. Chebotarev P.Yu., Shamis E. Characterizations of Scoring Methods for Preference Aggregation // Annals of Operations Research. 1998. V. 80. P. 299–332.

  18. Горский В.Г., Орлов А.И., Гриценко А.А. Метод согласования кластеризованных ранжировок // А и Т. 2000. № 3. С. 159–167.

  19. Harrington E.C. Decisibility Function // Industr. Quality Control. 1965. V. 21. № 10.

  20. Dawson R.J., Dawson C.W. Practical Proposals for Managing Uncertainty and Risk in Project Planning // Intern. J. Project Management. 1998. V. 16. № 5. P. 299–310.

  21. Топка В.В. Лексикографическое решение двухкритериальной задачи планирования проекта при ограничении на показатель его надежности // Изв. РАН. ТиСУ. 2014. № 6. С. 105–123.

  22. Васильев Ф.П. Методы оптимизации: В 2-х кн. Новое изд., перераб. и доп. Кн. 2. М.: МЦНМО, 2011.

  23. Васильев Ф.П. Методы оптимизации: В 2-х кн. Новое изд., перераб. и доп. Кн. 1. М.: МЦНМО, 2011.

  24. Тихонов А.Н., Арсенин В.Я. Методы решения некорректных задач. М.: Наука, 1979.

  25. Бакушинский А.Б., Гончарский А.В. Итеративные методы решения некорректных задач. М.: Наука, 1989.

  26. Бакушинский А.Б., Гончарский А.В. Некорректные задачи. Численные методы и приложения. М.: Изд-во МГУ, 1989.

  27. Назин А.В., Позняк А.С. Адаптивный выбор вариантов: Рекуррентные алгоритмы. М.: Наука. Главная редакция физ.-матем. литературы, 1986.

  28. Elkjaer M. Stochastic Budget Simulation // Intern. J. Project Management. 2000. V. 18. № 2. P. 139–147.

Дополнительные материалы отсутствуют.