Журнал вычислительной математики и математической физики, 2021, T. 61, № 5, стр. 776-786
О ТТ-рангах приближенных тензоризаций некоторых гладких функций
1 Ин-т вычисл. матем. им. Г.И. Марчука РАН
119333 Москва, ул. Губкина, 8, Россия
2 МГУ им. М.В. Ломоносова, ВМК
119991 Москва, Ленинские горы, Россия
* E-mail: vysotskylev@yandex.ru
Поступила в редакцию 24.11.2020
После доработки 24.11.2020
Принята к публикации 14.01.2021
Аннотация
Исследуются “тензоризации” функций, т.е. тензоры с элементами $A({{i}_{1}}, \ldots ,{{i}_{d}}) = f(x({{i}_{1}}, \ldots ,{{i}_{d}}))$, где $f(x)$ – некоторая функция, заданная на отрезке, а $\{ x({{i}_{1}}, \ldots ,{{i}_{d}})\} $ – сетка на этом отрезке. Для таких тензоров ставится задача приближения тензорами, допускающими ТТ (Tensor Train)-разложение с малыми ТТ-рангами. Для класса функций, являющихся следами аналитических в некоторых эллипсах на комплексной плоскости функций комплексного переменного, получены верхние и нижние оценки ТТ-рангов оптимальных приближений. Указанные оценки применены к тензоризациям полиномиальных функций. В частности, известная верхняя граница ТТ-рангов приближений таких функций улучшена до $O(logn)$, где $n$ – степень полинома. Библ. 10.
1. ВВЕДЕНИЕ
Относительно недавние успехи по преодолению “проклятия размерности” позволяют оперировать с дискретизациями функций на очень густых сетках. Например (в духе работ [1]–[5]), заданную на отрезке $[L,R]$ функцию $f(x)$ можно дискретизировать, т.е. превратить в вектор c элементами $f(x(i))$, где $\{ x(i)\} _{{i = 0}}^{{N - 1}}$ – произвольная сетка на $[L,R]$. Если $N = {{n}_{1}} \times \ldots \times {{n}_{d}}$, то полученный вектор можно рассматривать (см. [6]) как тензор (многомерный массив) размером ${{n}_{1}} \times \ldots \times {{n}_{d}}$ с элементами:
(1)
$B({{i}_{1}}, \ldots ,{{i}_{d}}) = \sum\limits_{{{\alpha }_{1}}, \ldots ,{{\alpha }_{{d - 1}}}} \,{{H}_{1}}({{i}_{1}},{{\alpha }_{1}}) \cdots {{H}_{k}}({{\alpha }_{{k - 1}}},{{i}_{k}},{{\alpha }_{k}}) \cdots {{H}_{d}}({{\alpha }_{{d - 1}}},{{i}_{d}}),$Стоит также отметить, что в случае тензоризаций высокой размерности, когда число $N$ очень велико, вычисление и хранение в памяти элементов тензора $A$ не представляется возможным. Тем не менее иногда есть возможность получить сразу представление (1), вычисляя $f(x(i))$ лишь для небольшого количества точек $x(i)$. Например, можно использовать крестовое приближение (TT-cross approximation) из [8].
Величины ТТ-рангов играют ключевую роль для применимости ТТ-разложения, ведь требуемая для хранения тензоров ${{H}_{k}}$ память и сложность распространенных операций над тензорами в этом формате растут пропорционально полиномам малой степени от ${{r}_{k}}$ [7]. Поэтому представляется интересным исследовать, насколько малы могут быть ТТ-ранги приближений тензоризаций функций.
Для некоторых классов функций известны компактные представления для тензоризаций, например, для экспоненты, синуса и некоторых других [1], [3]. Для тензоризации полинома степени $n$ на равномерной сетке известно [2], [3], что все ее ТТ-ранги ограничены $n + 1$. В [2] было показано, что ТТ-ранги приближений тензоризаций так называемых асимптотически гладких (т.е. бесконечно дифференцируемых с “не слишком быстро” растущими при приближении к сингулярностям производными) функций ограничены числом, растущим при уменьшении требуемой погрешности $\varepsilon $ как $ - lo{{g}_{2}}(\varepsilon )$. В [5] были получены оценки ТТ-рангов приближений тензоризаций полиномов на равномерных сетках, улучшающие известную оценку $n + 1$.
В данной работе для тензоризаций вещественнозначных функций, являющихся следами аналитических в некотором эллипсе функций комплексного переменного, доказаны верхние и нижние оценки ТТ-рангов приближений. Полученные оценки были применены к тензоризациям полиномов, существенно улучшив известные результаты: вместо $O(\sqrt[3]{n})$ из [5] доказана оценка $O(lnn)$.
2. НЕОБХОДИМЫЕ ОПРЕДЕЛЕНИЯ
Определение 1. Матрицами развертки тензора $A \in {{\mathbb{R}}^{{{{n}_{1}} \times \ldots \times {{n}_{d}}}}}$ называются матрицы
Для тензора $A \in {{\mathbb{R}}^{{{{n}_{1}} \times \ldots \times {{n}_{d}}}}}$ определим нормы
В основном мы будем рассматривать “кубические” тензоризации на равномерных сетках, т.е. тензоры, все размеры которого равны одному и тому же числу $b$, а элементы заданы значениями функции $f(x)$ в равноудаленных узлах. Такие $d$-мерные тензоризации с шагом $(R - L){{b}^{{ - d}}}$ на отрезке $[L,R]$ будем обозначать через ${{T}_{{b,d,[L,R]}}}(f)$.
Для ТТ-разложения вида (1) $d$-мерного тензора $B \in {{\mathbb{R}}^{{b \times \ldots \times b}}}$ определим $\mathcal{R}({{H}_{1}}, \ldots ,{{H}_{d}})$ как максимальный из его ТТ-рангов. Далее определим $\mathcal{R}(B) = min\mathcal{R}({{H}_{1}}, \ldots ,{{H}_{d}})$, где минимум берется по всевозможным ТТ-разложениям вида (1) тензора $B$. Для оценки ТТ-рангов наилучших приближений нам понадобится функция
Определение 2. Эллипс на комплексной плоскости с центром в нуле и осями, параллельными осям координат, чьи полуоси равны $(\rho + {{\rho }^{{ - 1}}}){\text{/}}2$ и $(\rho - {{\rho }^{{ - 1}}}){\text{/}}2$ для некоторого $\rho > 1$, будем называть эллипсом Бернштейна и обозначать через ${{\Gamma }_{\rho }}$. Также эллипс Бернштейна можно рассматривать (см. [9]) как образ окружности $\{ \rho {{e}^{{i\varphi }}}\,:\varphi \in [0,2\pi )\} $ под действием отображения Жуковского $w \to (w + {{w}^{{ - 1}}}){\text{/}}2$. Такой же эллипс, но с центром в точке $z \in \mathbb{C}$, будем обозначать через ${{\Gamma }_{\rho }}(z)$.
Определение 3. Чебышёвской сеткой на $[ - 1,1]$ с числом узлов $n$ будем называть упорядоченное множество точек $\{ {{x}_{0}}, \ldots ,{{x}_{{n - 1}}}\} $, где ${{x}_{j}} = cos(\pi {\text{/}}(2n) + \pi j{\text{/}}n)$. Известно [9], что числа ${{x}_{j}}$ являются корнями полинома Чебышёва степени $n$, т.е. ${{T}_{n}}(x) = cos(arccos(nx))$.
Круг радиуса $r$ с центром в точке $z$ на комплексной плоскости будем обозначать через $U(r,z)$.
3. ВЕРХНИЕ ОЦЕНКИ
Докажем некоторые верхние оценки ТТ-рангов и связанных с ними величин для приближений тензоризаций функций на равномерных сетках. Основная лемма 1 уточняет известную (см., например, [9]) оценку точности приближения функции, являющейся следом аналитической в эллипсе Бернштейна. Теорема 1 демонстрирует возможность низкорангового приближения матриц развертки тензоризаций функций, аналитических в круге, чей диаметр является отрезком дискретизации. Следствие 1 дает оценку непосредственно для величины ${{\mathcal{R}}_{\epsilon }}({{T}_{{b,d,[L,R]}}}(f))$ для функций $f$ с указанным свойством. Наконец, теорема 2 рассматривает более простой случай, когда функция является аналитической в достаточно большом эллипсе. Заметим, что теорему 1 может иметь смысл применять даже для функций, являющихся аналитическими в произвольно больших множествах, так как в оценку теоремы 2 входит максимум модуля $f(z)$ на некотором эллипсе – число, которое может быть нежелательно велико для интересующей нас функции $f(z)$. Эта особенность будет использована ниже при применении полученных результатов к полиномам.
Лемма 1. Пусть $f(x)$ – след аналитической внутри эллипса Бернштейна ${{\Gamma }_{\rho }}$, $\rho > 1$, функции $f(z)$, причем ${\text{|}}{\kern 1pt} f(z){\kern 1pt} {\text{|}} \leqslant M$ на ${{\Gamma }_{\rho }}$. Пусть также ${{P}_{n}}(x)$ – полином Лагранжа степени $n$ для $f(x)$ на чебышёвской сетке на $[ - 1,1]$ с $(n + 1)$ узлом $\{ {{x}_{0}}, \ldots ,{{x}_{n}}\} $. Тогда для всех $x \in [ - 1,1]$ выполнено следующее:
Доказательство. Зафиксируем произвольное $x \in [ - 1,1]{{\backslash }}\{ {{x}_{0}}, \ldots ,{{x}_{n}}\} $. Далее рассмотрим функцию
и, применяя теорему о вычетах и домножая на $\prod\nolimits_j {(x - {{x}_{j}})} $ (т.е. рассуждая аналогично [9, Теорема 13.6]), придем к представлению:Используя доказанное в [9, Теорема 13.6] для $z \in {{\Gamma }_{\rho }}$ неравенство $\left| {{{T}_{{n + 1}}}(z)} \right| \geqslant ({{\rho }^{{n + 1}}} - {{\rho }^{{ - n - 1}}}){\text{/}}2$, а также очевидное для $x \in [ - 1,1]$ неравенство $\left| {{{T}_{{n + 1}}}(x)} \right| \leqslant 1$, при $x \in [ - 1,1]$ получаем
Для оценки длины эллипса ${{\Gamma }_{\rho }}$ воспользуемся упомянутым фактом, что первый является образом окружности ${{S}_{\rho }} = \{ \rho {{e}^{{i\varphi }}}\,:\varphi \in [0,2\pi )\} $ под действием отображения $w \to (w + {{w}^{{ - 1}}}){\text{/}}2$:
Далее вычислим $min{{\left| {z - x} \right|}^{2}}$ для $z \in {{\Gamma }_{\rho }}$ и $x \in [ - 1,1]$. Обозначим через ${{r}_{1}}$ и ${{r}_{2}}$ большую и меньшую полуоси эллипса ${{\Gamma }_{\rho }}$ соответственно. Тогда точки этого эллипса параметризуются углом $\varphi {\kern 1pt} :\;z = {{r}_{1}}cos\varphi + i{{r}_{2}}sin\varphi $. Преобразуем минимизируемое выражение
(2)
${{\left| {z - x} \right|}^{2}} = {{({{r}_{1}}cos\varphi - x)}^{2}} + {{({{r}_{2}}sin\varphi )}^{2}} = (r_{1}^{2} - r_{2}^{2})co{{s}^{2}}\varphi - 2{{r}_{1}}xcos\varphi + {{x}^{2}} + r_{2}^{2}.$В итоге имеем
Теорема 1. Пусть $f{\kern 1pt} :\;[L,R] \to \mathbb{R}$ является следом аналитической в круге с диаметром $[L,R]$ функции $f(z)$, причем $\left| {f(z)} \right| \leqslant M$ для всех $z$ из этого круга.
Тогда для произвольного $\varepsilon > 0$, каждой матрицы развертки ${{A}_{k}} \in {{\mathbb{R}}^{{{{b}^{k}} \times {{b}^{{d - k}}}}}}$ тензора ${{T}_{{b,d,[L,R]}}}(f)$ и любого натурального $\mu \in [1,{{b}^{k}} - 1]$ существует матрица ${{B}_{k}} \in {{\mathbb{R}}^{{{{b}^{k}} \times {{b}^{{d - k}}}}}}$ такая, что
Доказательство. Обозначим через $h$ шаг дискретизации: $h = (R - L){{b}^{{ - d}}}$. Строка матрицы ${{A}_{k}}$ с индексом $j$ соответствует отрезку $[L + jh,L + (j + 1)h]$.
Рассмотрим функцию
а также соответствующую функцию комплексного аргумента ${{g}_{j}}(w)$, $w \in U((\rho + {{\rho }^{{ - 1}}}){\text{/}}2,0)$.Отображение $w \mapsto \alpha + \beta w$ переводит круг $U((\rho + {{\rho }^{{ - 1}}}){\text{/}}2,0)$ в $U(\beta (\rho + {{\rho }^{{ - 1}}}){\text{/}}2,\alpha )$. В нашем случае $\alpha = L + jh + h{\text{/}}2$, $\beta = h{\text{/}}2$.
Покажем, что при $j = \mu ,\mu + 1, \ldots ,{{b}^{k}} - \mu - 1$ круг $U(\beta (\rho + {{\rho }^{{ - 1}}}){\text{/}}2,\alpha )$ лежит внутри круга с диаметром $[L,R]$, т.е.
Действительно, для заданного в условии значения $\rho $ верно равенство $\rho + {{\rho }^{{ - 1}}} = 4\mu + 2$, поэтому указанная пара условий переписывается в виде
Внутри круга с диаметром $[L,R]$ по условию выполнено неравенство $\left| {f(z)} \right| \leqslant M$, поэтому и $\left| {{{g}_{j}}(w)} \right| \leqslant M$ для $w \in U((\rho + {{\rho }^{{ - 1}}}){\text{/}}2,0)$, а значит, и для $w \in {{\Gamma }_{\rho }}$. Поэтому из леммы 1 следует, что для полинома Лагранжа ${{\hat {P}}_{{s,j}}}(y)$ степени $s$ на чебышёвской сетке для $g(y)$ верно неравенство:
(3)
$\begin{gathered} \left| {{{g}_{j}}(y) - {{{\hat {P}}}_{{s,j}}}(y)} \right| \leqslant \frac{{\rho + {{\rho }^{{ - 1}}}}}{{\tfrac{1}{2}(\rho + {{\rho }^{{ - 1}}}) - 1}}\frac{M}{{{{\rho }^{{s + 1}}} - {{\rho }^{{ - s - 1}}}}} = \frac{{4\mu + 2}}{{2\mu }}\frac{M}{{{{\rho }^{{s + 1}}} - {{\rho }^{{ - s - 1}}}}} \leqslant \\ \leqslant \frac{{3M}}{{{{\rho }^{{s + 1}}} - 1}} \leqslant \frac{{3M}}{{3M{\text{/}}\varepsilon + 1 - 1}} = \varepsilon . \\ \end{gathered} $Пусть ${{P}_{{s,j}}}(x) = {{\hat {P}}_{{s,j}}}\left( {\tfrac{2}{h}(x - L - jh) - 1} \right)$. Из неравенства (3) получаем, что $\left| {f(x) - {{P}_{{s,j}}}(x)} \right| \leqslant \varepsilon $ на отрезке $[L + jh,L + (j + 1)h]$ для $j = \mu $, $\mu + 1, \ldots ,{{b}^{k}} - \mu - 1$. Поэтому строки $a_{j}^{{\text{T}}}$ с этими индексами приблизим строками:
Строки $a_{j}^{{\text{T}}}$ матрицы ${{A}_{k}}$ с индексами $j \in \{ 0, \ldots ,\mu - 1\} \cup \{ {{b}^{k}} - \mu , \ldots ,{{b}^{k}} - 1\} $ “приблизим” ими самими, т.е. матрицу ${{B}_{k}}$ построим в виде
Следствие 1. В условиях теоремы 1 для любого $\hat {\varepsilon } > 0$ выполнено
Доказательство. Положим в теореме 1 $\mu = 1$ (чтобы удовлетворить условию $\mu \in [1,{{b}^{k}} - 1]$ для всех $k = 1, \ldots ,d - 1$) и
и рассмотрим приближения ${{B}_{k}}$ к матрицам развертки ${{A}_{k}}$ со свойствами $rank{{B}_{k}} \leqslant \hat {s} + 3$ и ${{\left\| {{{A}_{k}} - {{B}_{k}}} \right\|}_{\infty }} \leqslant \varepsilon $. Из последнего неравенства следует, что ${{\left\| {{{A}_{k}} - {{B}_{k}}} \right\|}_{F}} \leqslant \varepsilon {{b}^{{d/2}}}$.Теорема 2.2 из [8] гарантирует существование тензора $\widehat B$ с ТТ-рангами ${{r}_{k}}$, приближающего тензор $A$ в норме Фробениуса с точностью:
где ${{r}_{k}}$ суть ${{\varepsilon }_{k}}$-ранги матриц развертки ${{A}_{k}}$.Положим ${{\varepsilon }_{k}} = \varepsilon {{b}^{{d/2}}}$, тогда ${{r}_{k}} \leqslant rank{{B}_{k}} \leqslant \hat {s} + 3$ и при этом
Теорема 2. Пусть $\widehat \Gamma $ – образ эллипса ${{\Gamma }_{\rho }}$ под действием линейного отображения
а $f(z)$ – аналитическая внутри $\widehat \Gamma $ функция, для которой $\left| {f(z)} \right| \leqslant M$ для $z \in \widehat \Gamma $ и имеющая вещественнозначный след на $[L,R]$.Тогда для произвольного $\varepsilon > 0$ и натуральных $b$ и $d$ существует тензор $B$ такой, что
Доказательство. Будем обозначать через $(f \circ \xi )(x)$ композицию функций $f$ и $\xi $, т.е. $(f \circ \xi )(x) = f(\xi (x))$. Заметим, что $(f \circ \xi )(z)$ аналитична в ${{\Gamma }_{\rho }}$ как композиция аналитических функций $f$ и $\xi $. Приблизим $(f \circ \xi )(x)$ полиномом Лагранжа ${{\hat {P}}_{s}}(x)$ степени $s$ на чебышёвской сетке на $[ - 1,1]$, $(f \circ \xi )(x)$ – след аналитической в ${{\Gamma }_{\rho }}$ функции $(f \circ \xi )(z)$. Аналогично доказательству теоремы 1 можно показать, что для параметра $s$ из условия выполнено неравенство:
4. НИЖНИЕ ОЦЕНКИ
Рассмотрим пример функции $f(x)$, являющейся следом аналитической в $\mathbb{C}$ функции. Для приближенных ТТ-рангов тензоризации этой функции будет доказана нижняя оценка (теорема 3).
Зафиксируем натуральные $b \geqslant 2$, $d \geqslant 2$ и $k \geqslant d{\text{/}}3$. Определим $f(z) = sin(2\pi {{b}^{{2k}}}{{z}^{2}})$, $z \in \mathbb{C}$, и обозначим через $f(x)$ ее (вещественнозначный) след на $\mathbb{R}$. Пусть $A = {{T}_{{b,d,[0,1]}}}(f)$.
Введем в рассмотрение функции:
Для всех $s,t \in \{ 0, \ldots ,{{b}^{k}} - 1\} $ определим интегралы
Для тех же $s,t$ введем величины (здесь ${{a}_{{s,i}}}$ – элементы матрицы ${{A}_{k}}$):(4)
${{\hat {d}}_{{s,t}}} = \frac{{2\pi }}{{{{b}^{{d - k}}}}}\frac{1}{\pi }\sum\limits_{i = 0}^{{{b}^{{d - k}}} - 1} \,{{a}_{{s,i}}}{{a}_{{t,i}}}.$Лемма 2. Для всех $s,t \in \{ 0, \ldots ,{{b}^{k}} - 1\} $ верно неравенство
где ${{\delta }_{{s,t}}}$ – символ Кронекера.Доказательство. Преобразуем выражения для ${{f}_{s}}(\xi )$:
(5)
$\begin{gathered} {{d}_{{s,t}}} = \frac{1}{\pi }\int\limits_0^{2\pi } \,{{f}_{s}}(\xi ){{f}_{t}}(\xi )d\xi = \frac{1}{{2\pi }}\int\limits_0^{2\pi } \,cos(2(s - t)\xi ) - cos\left( {2(s + t)\xi + \frac{1}{\pi }{{\xi }^{2}}} \right)d\xi = \\ \, = \frac{1}{{2\pi }}\left\{ \begin{gathered} 2\pi - \int\limits_0^{2\pi } \,cos\left( {4s\xi + \tfrac{1}{\pi }{{\xi }^{2}}} \right)d\xi ,\quad {\text{если}}\;s = t, \hfill \\ - \int\limits_0^{2\pi } \,cos\left( {2(s + t)\xi + \tfrac{1}{\pi }{{\xi }^{2}}} \right)d\xi ,\quad {\text{если}}\;s \ne t. \hfill \\ \end{gathered} \right. \\ \end{gathered} $Лемма 3. Для всех $s,t \in \{ 0, \ldots ,{{b}^{k}} - 1\} $ верно неравенство
Доказательство. Напомним, что формулой левых прямоугольников для вычисления интеграла $\int_{{{x}_{i}}}^{{{x}_{{i + 1}}}} {\varphi (x)dx} $ называется выражение $({{x}_{{i + 1}}} - {{x}_{i}})\varphi ({{x}_{i}})$, а составной формулой для сетки $\{ {{x}_{0}}, \ldots ,{{x}_{n}}\} $ с шагом $h$ называется сумма $\sum\nolimits_{i = 0}^{n - 1} {\varphi ({{x}_{i}})h} $. Простая формула имеет погрешность:
Ясно видно, что выражение (4) для ${{\hat {d}}_{{s,t}}}$ есть в точности составная формула левых прямоугольников для вычисления интеграла ${{d}_{{s,t}}}$ на отрезке $[0,2\pi ]$. Погрешность аппроксимации интеграла оценивается (подразумевается норма ${{\left\| {\, \cdot \,} \right\|}_{{C[0,2\pi ]}}}$) в виде
Лемма 4. Пусть $F$ – главная подматрица матрицы $\hat {D}$, находящаяся на пересечении строк и столбцов с индексами $s,t \in [\ell ,u)$, где
причем ${{b}^{{d - k}}} \geqslant {{2}^{{10}}}$. Тогда младшее сингулярное число ${{\sigma }_{{min}}}(F) > 1{\text{/}}2$.
Доказательство. Обратим внимание, что заявленное в началe раздела условие $k \geqslant d{\text{/}}3$ гарантирует, что $\ell ,u < {{b}^{k}}$, поэтому выбирать подматрицу с указанными индексами в матрице $\hat {D} \in {{\mathbb{R}}^{{{{b}^{k}} \times {{b}^{k}}}}}$ корректно.
Пусть $G = F - I$. Заметим, что
(6)
$\begin{gathered} {{\sigma }_{{min}}}(F) = {{\sigma }_{{min}}}(I + G) = \left\| {{{{(I + G)}}^{{ - 1}}}} \right\|_{2}^{{ - 1}} = \left\| {I - G + {{G}^{2}} - {{G}^{3}} + \ldots } \right\|_{2}^{{ - 1}} \geqslant \\ \, \geqslant {{({{\left\| I \right\|}_{2}} + {{\left\| G \right\|}_{2}} + \left\| G \right\|_{2}^{2} + \ldots )}^{{ - 1}}} = \mathop {\left( {\frac{1}{{1 - \left\| G \right\|}}} \right)}\nolimits^{ - 1} = 1 - {{\left\| G \right\|}_{2}}. \\ \end{gathered} $Из лемм 2 и 3 следует, что все элементы матрицы $\hat {D} - I$, а значит, и $F - I$, по модулю не превосходят
Поэтому имеемПо условию ${{b}^{{d - k}}} \geqslant {{2}^{{10}}}$, тогда получаем
Отсюда и из неравенства (6) следует утверждение леммы.Теорема 3. Пусть $b \geqslant 2$, $d \geqslant 2$ и $k \geqslant d{\text{/}}3$ – натуральные числа, удовлетворяющие условию ${{b}^{{d - k}}} \geqslant {{2}^{{10}}}$, а $f(x) = sin(2\pi {{b}^{{2k}}}{{x}^{2}})$, $x \in [0,1]$. Тогда верно неравенство
Доказательство. Исследуем сингулярные числа ${{\sigma }_{s}}({{A}_{k}})$ матрицы ${{A}_{k}}$. Для этого воспользуемся известным фактом, что
(7)
${{\sigma }_{s}}({{A}_{k}}) = \sqrt {{{\lambda }_{s}}(A_{k}^{{\text{T}}}{{A}_{k}})} = \sqrt {{{\sigma }_{s}}(A_{k}^{{\text{T}}}{{A}_{k}})} .$Из определения (4) матрицы $\hat {D}$ следует, что $A_{k}^{{\text{T}}}{{A}_{k}} = {{b}^{{d - k}}}\hat {D}{\text{/}}2.$ Далее, для главной подматрицы $F$ матрицы $\hat {D}$ из леммы можно применить теорему о чередовании сингулярных чисел симметричной матрицы [9] и получить, что ${{\sigma }_{{u - \ell }}}(\hat {D}) \geqslant 1{\text{/}}2$. Отсюда и из равенства (7) вытекает
Рассмотрим теперь произвольный тензор $B$ со свойством ${{\left\| {A - B} \right\|}_{F}} \leqslant \tfrac{1}{2}{{b}^{{(d - k)/2}}}$. Аналогичное неравенство верно и для матриц развертки ${{A}_{k}}$ и ${{B}_{k}}$. По теореме Эккарта–Юнга [10] наилучшее приближение в норме Фробениуса ранга $u - \ell - 1$ имеет погрешность как минимум
Рассмотрим произвольное ТТ-разложение тензора $B$ вида (1). Для $k$-й матрицы развертки можно написать
Чтобы наглядно связать верхнюю оценку из данного раздела и нижние оценки из предыдущего, имеет смысл зафиксировать некоторые величины и перейти к асимптотической нотации. Именно, зафиксируем натуральное $b \geqslant 2$, произвольно малое $\varepsilon > 0$ и отрезок $[L,R]$ на вещественной прямой. Определим функцию
Следствие 1 гарантирует оценку ${{\mathcal{R}}_{{b,\varepsilon ,[L,R]}}}(M,d) = O(lnM + d)$ при $M,d \to \infty $. С другой стороны, для функции $f(z)$ из данного раздела несложно оценить максимум модуля на единичном круге:
(8)
$\left| {f(z)} \right| = \left| {sin(2\pi {{b}^{{2k}}}{{z}^{2}})} \right| = \left| {\frac{1}{{2i}}\left( {{{e}^{{2\pi i{{b}^{{2k}}}{{z}^{2}}}}} - {{e}^{{ - 2\pi i{{b}^{{2k}}}{{z}^{2}}}}}} \right)} \right| \leqslant {{e}^{{2\pi {{b}^{{2k}}}\left| {{{z}^{2}}} \right|}}} \leqslant {{e}^{{2\pi {{b}^{{2k}}}}}}.$5. ПРИМЕНЕНИЕ К ПОЛИНОМАМ
В работе [5] рассматривались ТТ-ранги приближений к тензоризациям полиномов. В данном разделе мы применим результаты предыдущих разделов к полиномам, существенно улучшив верхние оценки из указанной работы. Также мы получим нижние оценки ТТ-рангов $\varepsilon $-приближений для этого класса функций.
Утверждение 1. Пусть $p(x) = {{p}_{0}} + {{p}_{1}}x + \ldots + {{p}_{n}}{{x}^{n}}$ – полином с вещественными коэффициентами. Пусть $A = {{T}_{{b,d,[0,1]}}}(f)$ и $M = \sum\nolimits_{i = 0}^n {\left| {{{p}_{i}}} \right|} $. Зафиксируем произвольное $\varepsilon > 0$.
Тогда для каждой матрицы развертки ${{A}_{k}}$ тензора $A$, $k = 1, \ldots ,d - 1$, и натурального $\mu \in [1,{{b}^{k}} - 1]$ существует матрица ${{B}_{k}}$ такая, что
Доказательство. Достаточно заметить, что на единичном круге на комплексной плоскости (а тем более, в круге с диаметром $[0,1]$) аналитическое продолжение $p(z)$ полинома $p(x)$ ограничено по модулю суммой $\sum\nolimits_i {\left| {{{p}_{i}}} \right|} $, и применить теорему 1.
Замечание. Если в духе работы [5] ограничить коэффициенты ${{p}_{i}}$ по модулю фиксированной константой и поинтересоваться асимптотическим поведением $\varepsilon $-рангов матриц развертки при стремлении $n$ к бесконечности, то доказанное утверждение даст оценку вида $O(lnn)$ в отличиe от оценки $O(\sqrt[3]{n})$, полученной в [5].
Утверждение 2. Пусть $b \geqslant 2$, $d \geqslant 2$ и $k \geqslant d{\text{/}}3$ – натуральные числа, удовлетворяющие условию ${{b}^{{d - k}}} \geqslant {{2}^{{10}}}$.
Тогда для любого $n \geqslant \left\lfloor {lo{{g}_{2}}(1 + 14{{b}^{{k/2}}}{{e}^{{10{{b}^{{2k}}}}}})} \right\rfloor $ существует полином ${{P}_{n}}(x) = {{p}_{0}} + \ldots + {{p}_{n}}{{x}^{n}}$ такой, что верно следующее:
1. $\sum\limits_{i = 0}^n \,{\text{|}}{{p}_{i}}{\kern 1pt} {\text{|}} \leqslant {{2}^{{2n}}}{{(n + 1)}^{2}}$;
2. ${{\mathcal{R}}_{\varepsilon }}({{T}_{{b,d,[0,1]}}}({{P}_{n}})) \geqslant \tfrac{1}{{16}}{{b}^{{\tfrac{{d - k}}{2}}}} - 2$, где $\varepsilon = \tfrac{1}{4}{{b}^{{\tfrac{{d - k}}{2}}}}$.
Доказательство. Возьмем функцию $f(x)$ из теоремы 3. Обозначим через ${{P}_{n}}(x)$ полином Лагранжа степени $n$, интерполирующий $f(x)$ на чебышёвской сетке с $n + 1$ узлом на $[ - 1,1]$.
Сначала оценим коэффициенты $p(x)$. Полином Лагранжа можно записать в следующем виде [9]:
Применим лемму 1 для оценки отклонения $f(x)$ от ${{P}_{n}}(x)$ на $[ - 1,1]$:
Теперь возьмем произвольный тензор $B$, приближающий ${{T}_{{b,d,[0,1]}}}({{P}_{n}})$ с ошибкой не более $\varepsilon $. Заметим, что по неравенству треугольника для нормы он дает приближение ${{T}_{{b,d,[0,1]}}}(f)$ с ошибкой не более $2\varepsilon $. Из теоремы 3 сразу получаем неравенство
а в силу произвольности $B$ и свойство из условия.Автор выражает благодарность Виктории Владимировне Высоцкой за помощь в оформлении статьи.
Список литературы
Oseledets I. Constructive representation of functions in low-rank tensor formats // Constructive Approximat. 2013. V. 37. № 1. P. 1–18.
Grasedyck L. Polynomial approximation in hierarchical Tucker format by vector–tensorization. Marburg: Philipps-Universität, 2010.
Khoromskij B. $O(dlogN)$-Quantics approximation of $N$-d tensors in high-dimensional numerical modeling // Constructive Approximat. 2011. V. 34. № 2. P. 257–280.
Tyrtyshnikov E.E. Tensor approximations of matrices generated by asymptotically smooth functions // Mat. Sb. 2003. V. 194. I. 6. P. 941–954.
Vysotsky L. On tensor-train ranks of tensorized polynomials // Large-Scale Scientific Computing. LSSC 2019. Lect. Notes in Comp. Sc. 2020. V. 11958. P. 189–196.
Oseledets I. Approximation of ${{2}^{d}} \times {{2}^{d}}$ matrices using tensor decomposition // SIAM Journal on Matrix Anal. and Appl. 2009. V. 31. № 4. P. 2130–2145.
Oseledets I. Tensor-train decomposition // SIAM Journal on Scientific Comp. 2011. V. 33. № 5. P. 2295–2317.
Oseledets I., Tyrtyshnikov E. TT-cross approximation for multidimensional arrays // Linear Algebra and Its Appl. 2010. V. 432. № 1. P. 70–88.
Тыртышников Е.Е. Методы численного анализа. М.: Академия, 2007.
Eckart C., Young G. The approximation of one matrix by another of lower rank // Psychometrika. 1936. V. 1. № 3. P. 211–218.
Дополнительные материалы отсутствуют.
Инструменты
Журнал вычислительной математики и математической физики