1. На главную
  2. Электронные версии
  3. Известия РАН. Теория и системы управления
  4. № 3, 2023

Известия РАН. Теория и системы управления, 2023, № 3, стр. 14-37

УЛУЧШЕНИЕ НЕПОЛНОЙ МНОГОАСПЕКТНОЙ КЛАСТЕРИЗАЦИИ ТЕНЗОРНЫМ ВОССТАНОВЛЕНИЕМ ГРАФА СВЯЗНОСТИ

Х. Жанг a, С. Чен a, *, Ю. Жу b, И. А. Матвеев c, **

a Колледж математики Нанкинского ун-та аэронавтики и космонавтики
Нанкин, КНР

b Факультет экспериментального фундаментального обучения, Нанкинский ун-т аэронавтики и космонавтики
Нанкин, КНР

c ФИЦ ИУ РАН
Москва, Россия

* E-mail: lyandcxh@nuaa.edu.cn
** E-mail: matveev@ccas.ru

Поступила в редакцию 21.12.2022
После доработки 08.01.2023
Принята к публикации 06.02.2023

Аннотация

С развитием технологий сбора данных появляется множество многоаспектных данных, и их кластеризация стала актуальной темой. Большинство методов многоаспектной кластеризации (multi-view clustering) предполагают, что все аспекты полностью наблюдаемы. Но во многих случаях это не так. Для работы с неполными многоаспектными данными были предложены некоторые тензорные методы. Однако традиционная тензорная норма требует больших вычислительных затрат, и такие методы, как правило, не могут обрабатывать неполные выборки и дисбаланс различных аспектов. Предлагается новый метод кластеризации неполных многоаспектных данных. Определяется новая тензорная норма для восстановления графа связности, графы регуляризируются до согласованного низкоразмерного представления образцов. Затем веса итеративно обновляются для каждого аспекта. По сравнению с существующими, предложенный метод не только определяет согласованность между аспектами, но и получает низкоразмерное представление образцов с помощью полученной проекционной матрицы. Для решения разработан эффективный оптимизационный алгоритм на основе метода неопределенных множителей Лагранжа. Экспериментальные результаты на четырех наборах данных демонстирируют эффективность метода.

Список литературы

  1. Zhao J., Xie X., Xu X., Sun S. Multi-view Learning Overview: Recent Progress and New Challenges // Information Fusion. 2017. V. 38. P. 43–54.

  2. Liu Y., Fan L., Zhang C., Zhou T., Xiao Z., Geng L., Shen D. Incomplete Multi-modal Representation Learning for Alzheimer’s Disease Diagnosis // Medical Image Analysis. 2021. V. 69. P. 101953.

  3. Qiao L., Zhang L., Chen S., Shen D. Data-driven Graph Construction and Graph Learning: A Review // Neurocomputing. 2018. V. 312. P. 336–351.

  4. Wen J., Xu Y., Liu H. Incomplete Multiview Spectral Clustering with Adaptive Graph Learning // IEEE Trans. Cybernetics. 2020. V. 50. № 4. P. 1418–1429.

  5. Wen J., Zhang Zheng, Zhang Zhao, Fei L.K., Wang M. Generalized Incomplete Multiview Clustering with Flexible Locality Structure Diffusion // IEEE Trans. Cybernetics. 2021. V. 51. № 1. P. 101–114.

  6. Zhang N., Sun S. Incomplete Multiview Nonnegative Representation Learning with Multiple Graphs // Pattern Recognition. 2022. V. 123. P. 108412.

  7. Wen J., Yan K., Zhang Z., Xu Y., Wang J.Q., Fei L.K., Zhang B. Adaptive Graph Completion Based Incomplete Multiview Clustering // IEEE Trans. Multimedia. 2021. V. 23. P. 2493–2504.

  8. Liu J., Teng S., Zhang W., Fang X., Fei L., Zhang Z. Incomplete Multiview Subspace Clustering with Low-rank Tensor // Proc. IEEE Intern. Conf. Acoustics, Speech and Signal Processing. Toronto, Canada, 2021. P. 3180–3184.

  9. Wen J., Zhang Zheng, Zhang Zhao, Zhu L., Fei L.K., Zhang B., Xu Y. Unified Tensor Framework for Incomplete Multiview Clustering and Missing-view Inferring // Proc. 35th AAAI Conf. Artificial Intelligence. AAAI Press: Palo Alto, CA, USA. 2021. V. 35. P. 10273–10281.

  10. Xia W., Gao Q., Wang Q., Gao X. Tensor Completion-based Incomplete Multiview Clustering // IEEE Trans. Cybernetics. 2022. V. 52. № 12. P. 13635–13644.

  11. Blaschko M.B., Lampert C.H., Gretton A. Semi-supervised Laplacian Regularization of Kernel Canonical Correlation Analysis // Proc. Joint Europ. Conf. Machine Learning and Knowledge Discovery in Databases. Antwerp, Belgium, 2008. P. 133–145.

  12. Chen X., Chen S., Xue H., Zhou X. A Unified Dimensionality Reduction Framework for Semi-paired and Semi-supervised Multiview Data // Pattern Recognition. 2012. V. 45. № 5. P. 2005–2018.

  13. Zhou X., Chen X., Chen S. Neighborhood Correlation Analysis for Semi-paired Two-view Data // Neural Processing Letters. 2013. V. 37. № 3. P. 335–354.

  14. Yuan Y., Wu Z., Li Y., Qiang J., Gou J., Zhu Y. Regularized Multiset Neighborhood Correlation Analysis for Semi-paired Multiview Learning // Intern. Conf. Neural Information Processing. Vancouver, Canada, 2020. P. 616–625.

  15. Yang W., Shi Y., Gao Y., Wang L., Yang M. Incomplete Data Oriented Multiview Dimension Reduction via Sparse Low-rank Representation // IEEE Trans. Neural Networks and Learning Systems. 2018. V. 29. № 12. P. 6276–6291.

  16. Zhu C., Chen C., Zhou R., Wei L., Zhang X. A New Multiview Learning Machine with Incomplete Data // Pattern Analysis and Applications. 2020. V. 23. № 3. P. 1085–1116.

  17. Li S., Jiang Y., Zhou Z. Partial Multiview Clustering // Proc. AAAI Conf. artificial intelligence. Québec City, Canada, 2014. V. 28. № 1.

  18. Xu C., Tao D., Xu C. Multiview Learning with Incomplete Views // IEEE Trans. Image Processing. 2015. V. 24. № 12. P. 5812–5825.

  19. Wen J., Zhang Z., Xu Y., Zhong Z. Incomplete Multiview Clustering via Graph Regularized Matrix Factorization // Proc. European Conf. Computer Vision Workshops. Munich, Germany, 2018. P. 1–16.

  20. Hu M., Chen S. Doubly Aligned Incomplete Multiview Clustering // Proc. Intern. Joint Conf. Artificial Intelligence. Stockholm, Sweden, 2018. P. 2262–2268.

  21. Hu M., Chen S. One-pass Incomplete Multiview Clustering // Proc. AAAI Conf. Artificial Intelligence. Honolulu, Hawaii, USA, 2019. V. 33. P. 3838–3845.

  22. Liu J., Teng S., Fei L., Zhang W., Fang X., Zhang Z., Wu N. A Novel Consensus Learning Approach to Incomplete Multiview Clustering // Pattern Recognition. 2021. V. 115. P. 107890.

  23. Liu X., Zhu X., Li M., Wang L., Zhu E., Liu T., Kloft M., Shen D., Yin J., Gao W. Multiple Kernel k-means with Incomplete Kernels // IEEE Trans. Pattern Analysis and Machine Intelligence. 2019. V. 42. № 5. P. 1191–1204.

  24. Wen J., Sun H., Fei L., Li J., Zhang Z., Zhang B. Consensus Guided Incomplete Multiview Spectral Clustering // Neural Networks. 2021. V. 133. P. 207–219.

  25. Zhuge W., Luo T., Tao H., Hou C., Yi D. Multiview Spectral Clustering with Incomplete Graphs // IEEE Access. 2020. V. 8. P. 99820–99831.

  26. Liu X., Zhu X., Li M., Wang L., Tang C., Yin J., Shen D., Wang H., Gao W. Late Fusion Incomplete Multiview Clustering // IEEE Trans. Pattern Analysis and Machine Intelligence. 2018. V. 41. № 10. P. 2410–2423.

  27. Zheng X., Liu X., Chen J., Zhu E. Adaptive Partial Graph Learning and Fusion for Incomplete Multiview Clustering // Intern. J. Intelligent Systems. 2022. V. 37. № 1. P. 991–1009.

  28. Xie M., Ye Z., Pan G., Liu X. Incomplete Multiview Subspace Clustering with Adaptive Instance Sample Mapping and Deep Feature Fusion // Applied Intelligence. 2021. V. 51. № 8. P. 5584–5597.

  29. Zhao L., Chen Z., Yang Y., Wang Z.J., Leung V.C. Incomplete Multiview Clustering via Deep Semantic Mapping // Neurocomputing. 2018. V. 275. P. 1053–1062.

  30. Zhang C., Han Z., Fu H., Zhou J.T., Hu Q. CPM-nets: Cross Partial Multiview Networks // Advances in Neural Information Processing Systems. 2019. V. 32.

  31. Wang Q., Ding Z., Tao Z., Gao Q., Fu Y. Partial Multiview Clustering via Consistent GAN // Proc. IEEE Intern. Conf. Data Mining. Singapore, 2018. P. 1290–1295.

  32. Xu C., Liu H., Guan Z., Wu X., Tan J., Ling B. Adversarial Incomplete Multiview Subspace Clustering Networks // IEEE Trans. Cybernetics. 2022. V. 52. № 10. P. 10490–10503.

  33. Goodfellow I., Pouget-Abadie J., Mirza M., Xu B., Warde-Farley D., Ozair S., Courville A., Bengio Y. Generative Adversarial Networks // Comm. ACM. 2020. V. 63. № 11. P. 139–144.

  34. Lin Y., Gou Y., Liu Z., Li B., Lv J., Peng X. Completer: Incomplete Multiview Clustering via Contrastive Prediction // Proc. IEEE/CVF Conf. Computer Vision and Pattern Recognition. Nashville, TN, USA, 2021. P. 11174–11183.

  35. Zhang B., Hao J., Ma G., Yue J., Shi Z. Semi-paired Probabilistic Canonical Correlation Analysis // Intelligent Information Processing VII. IFIP Advances in Information and Communication Technology. Berlin, Heidelberg: Springer, 2014. V. 432.

  36. Matsuura T., Saito K., Ushiku Y., Harada T. Generalized Bayesian Canonical Correlation Analysis with Missing Modalities // 15th Europ. Conf. Computer Vision (ECCV). Munich, Germany, 2018. V. 11134. P. 641–656.

  37. Li P., Chen S. Shared Gaussian Process Latent Variable Model for Incomplete Multiview Clustering // IEEE Trans. Cybernetics. 2018. V. 50. № 1. P. 61–73.

  38. Kamada C., Kanezaki A., Harada T. Probabilistic Semi-canonical Correlation Analysis // Proc. 23rd ACM Intern. Conf. Multimedia. Brisbane, Australia, 2015. P. 1131–1134.

  39. Wang C. Variational Bayesian Approach to Canonical Correlation Analysis // IEEE Trans. Neural Networks. 2007. V. 18. № 3. P. 905–910.

  40. Kimura A., Sugiyama M., Nakano T., Kameoka H., Sakano H., Maeda E., Ishiguro K. SemiCCA: Efficient Semi-supervised Learning of Canonical Correlations // Information and Media Technologies. 2013. V. 8. № 2. P. 311–318.

  41. Luo Y., Tao D., Ramamohanarao K., Xu C., Wen Y. Tensor Canonical Correlation Analysis for Multiview Dimension Reduction // IEEE Trans. Knowledge and Data Engineering. 2015. V. 27. № 11. P. 3111–3124.

  42. Wong H., Wang L., Chan R., Zeng T. Deep Tensor CCA for Multiview Learning // IEEE Trans. Big Data. 2021. V. 8. P. 1664–1677.

  43. Cheng M., Jing L., Ng M.K. Tensor-based Low-dimensional Representation Learning for Multiview Clustering // IEEE Trans. Image Processing. 2018. V. 28. № 5. P. 2399–2414.

  44. Zhang C., Fu H., Liu S., Liu G., Cao X. Low-rank Tensor Constrained Multiview Subspace Clustering // Proc. IEEE Intern. Conf. Computer Vision. Santiago, Chile, 2015. P. 1582–1590.

  45. Wu J., Lin Z., Zha H. Essential Tensor Learning for Multiview Spectral Clustering // IEEE Trans. Image Processing. 2019. V. 28. № 12. P. 5910–5922.

  46. Carroll J. Generalization of Canonical Correlation Analysis to Three or More Sets of Variables // Proc. 76th Annual Convention of the American Psychological Association. 1968. V. 3. P. 227–228.

  47. Chen J., Wang G., Giannakis G.B. Graph Multiview Canonical Correlation Analysis // IEEE Trans. Signal Processing. 2019. V. 67. № 11 P. 2826–2838.

  48. Nie F., Li J., Li X. Self-weighted Multiview Clustering with Multiple Graphs // Intern. Joint Conf. Artificial Intelligence. Melbourne, Australia, 2017. P. 2564–2570.

  49. Fan K. On a Theorem of Weyl Concerning Eigenvalues of Linear Transformations // Proc. National Academy of Sciences. 1949. V. 35. № 11. P. 652–655.

  50. van Breukelen M., Duin R.P.W., Tax D.M.J., den Hartog J.E. Handwritten Digit Recognition by Combined Classifiers // Kybernetika. 1998. V. 34. № 4. P. 381–386.

  51. Greene D. 3 Sources Dataset // Электронный ресурс: http://erdos.ucd.ie/datasets/3sources.html. Дата доступа: 7 января 2023 г.

  52. Greene D., Cunningham P. Practical Solutions to the Problem of Diagonal Dominance in Kernel Document Clustering // Proc. 23rd Intern. Conf. Machine Learning. Pittsburgh, PA, USA, 2006. P. 377–384.

  53. Samaria F.S., Harter A.C. Parameterisation of a Stochastic Model for Human Face Identification // Proc. IEEE Workshop on Applications of Computer Vision. Sarasota, FL, USA, 1994. P. 138–142.

  54. Zhao H., Liu H., Fu Y. Incomplete Multi-modal Visual Data Grouping // Proc. Intern. Joint Conf. Artificial Intelligence. N.Y., USA, 2016. P. 2392–2398.

  55. Xie Y., Gu S., Liu Y., Zuo W., Zhang W., Zhang L. Weighted Schatten p-norm Minimization for Image Denoising and Background Subtraction // IEEE Trans. Image Processing. 2016. V. 25. № 10. P. 4842–4857.

Дополнительные материалы отсутствуют.

Инструменты

следующая статья выпуска предыдущая статья выпуска содержание выпуска

Известия РАН. Теория и системы управления

Архивы выпусков Информация о журнале Отправить рукопись в журнал