認知行動支援技術（CB-AT）チームは、認知症の予防に向けて、社会的相互作用の質を向上させることにより、高齢者の認知的健康を維持するための介入技術の開発に焦点を当てています。そのような社会的相互作用を実現するために、共想法と呼ばれる会話支援方法を開発してきました。
認知症の罹患率が社会的問題となっている今、認知的健康および知能を育成し維持することを可能にする人間を補助する人工知能（ＡＩ）を開発することが必要となっています。今世紀における最大の健康および社会的ケアの課題の一つは認知症であり、これは主に65歳以上の人々に起こります。特に中低所得国では高齢化が進んでいるため、認知症の人の数は急増しています。認知症の危険因子の一つは社会的孤立です。この危険因子に注目し、共想法は支援技術とAIを組み合わせて開発されてきました。共想法は、対話型の写真を用いた会話に基づく認知的回復力へのアプローチであり、軽度の認知機能障害レベルで低下し始める認知機能を活用させるものです。それはチームリーダー大武美保子によって提案され、行動研究を通して多様な状況で高齢者に適用されています。
共想法とそのシステムの開発と評価に向けて、現在3つの研究テーマが進行中です。
System: 認知的健康のための会話支援システム
この研究テーマの目的は、会話サポートシステムを開発することによって、大規模な社会的実装のために持続可能なサービスを提供するのに最適なテクノロジとプラットフォームを明らかにすることです。行動研究と実験室ベースの実験の組み合わせは、これらのシステムの開発と評価を可能にしました。特に、グループ会話を促すための商業レベルの会話支援ロボットを、スタートアップ企業と共同で開発しており、現在以下の分析方法を用いて評価しています。
代表的な出版物:
Tokunaga, S., Tamura, K., & Otake-Matsuura, M. (2021). Implementation and Evaluation of Home-based Dialogue System for Cognitive Training of Older Adults. In E. Pardede, M. Indrawan-Santiago, P. D. Haghighi, M. Steinbauer, I. Khalil, & G. Kotsis (Eds.), iiWAS2021: The 23rd International Conference on Information Integration and Web Intelligence, Linz, Austria, 29 November 2021 - 1 December 2021 (pp. 458–461). ACM. Cite
Tokunaga, S., Tamura, K., & Otake-Matsuura, M. (2021). A Dialogue-Based System with Photo and Storytelling for Older Adults: Toward Daily Cognitive Training. Frontiers in Robotics and AI, 8. Cite
Tokunaga, S., & Otake-Matsuura, M. (2019). Design of Coimagination Support Dialogue System with Pluggable Dialogue System - Towards Long-Term Experiment. In V. G. Duffy (Ed.), Digital Human Modeling and Applications in Health, Safety, Ergonomics and Risk Management. Healthcare Applications (Vol. 11582, pp. 404–420). https://doi.org/10.1007/978-3-030-22219-2_31 Cite
Tokunaga, S., Seaborn, K., Tamura, K., & Otake-Matsuura, M. (2019). Cognitive Training for Older Adults with a Dialogue-Based, Robot-Facilitated Storytelling System. Proceedings of the 2019 International Conference on Interactive Digital Storytelling, 11869, 405–409. https://doi.org/10.1007/978-3-030-33894-7_43 Cite
Otake-Matsuura, M. (2018). Conversation Assistive Technology for Maintaining Cognitive Health. Journal of Korean Gerontological Nursing, 20(Suppl 1), 154–159. https://doi.org/10.17079/jkgn.2018.20.s1.s154 Cite Download
Tokunaga, S., Nakamura, M., & Otake, M. (2018). Using a smart ICT system for supporting elderly at home. Gerontechnology, 17(s), 144–144. https://doi.org/10.4017/gt.2018.17.s.140.00 Cite
Analysis: 脳データおよび行動データから認知機能を推定するための方法
この研究テーマの目的は、家庭内または病院内で収集できるマルチモーダルデータセットを使用して、認知機能低下および認知症を早期に検出・評価するための技術を提案することです。脳データとしてＥＥＧによる脳波およびＭＲＩによる脳画像、行動データとして会話データおよび活動データを用いています。テンソルネットワークとディープラーニングを組み合わせることによって異なる認知レベルを区別するための分析方法を提案し、脳波データに適用しました。この結果は、理研AIPのTensor Learning Unitと共同で得られたものです。さらに、認知機能に関連する言語学的特徴を会話データの分析を通して明らかにしています。
代表的な出版物:
Derezinski, K., Tolpa, K., Furman, L., Rutkowski, T. M., & Duch, W. (2022). Time-frequency Analysis Combined with Recurrence Quantification for Classification of Onset of Dementia Using Data from the Oddball BCI Paradigm. Proceedings of the 2022 Joint 12th International Conference on Soft Computing and Intelligent Systems and 23rd International Symposium on Advanced Intelligent Systems (SCIS&ISIS), (accepted, in press). Cite
Rutkowski, T. M., Narebski, S., Bekier, P., Komendzinski, T., Sugimoto, H., & Otake-Matsuura, M. (2022). Cross-cultural Evaluation of Dementia Passive BCI Neuro-biomarker Candidate. Proceedings of the 2022 Joint 12th International Conference on Soft Computing and Intelligent Systems and 23rd International Symposium on Advanced Intelligent Systems (SCIS&ISIS), (accepted, in press). Cite
Rutkowski, T. M., Abe, M. S., Tokunaga, S., Komendzinski, T., & Otake-Matsuura, M. (2022). Dementia Digital Neuro-biomarker Study from Theta-band EEG Fluctuation Analysis in Facial and Emotional Identification Short-term Memory Oddball Paradigm. 2022 44th Annual International Conference of the IEEE Engineering in Medicine Biology Society (EMBC), 4129–4132. Cite
Rutkowski, T. M., Abe, M. S., Tokunaga, S., Sugimoto, H., Komendzinski, T., & Otake-Matsuura, M. (2022). Passive BCI Oddball Paradigm for Dementia Digital Neuro-biomarker Elucidation from Attended and Inhibited ERPs Utilizing Information Geometry Classification Approaches. 2022 IEEE International Conference on Systems, Man and Cybernetics (SMC), 2654–2659. Cite
Rutkowski, T. M., Abe, M. S., & Otake-Matsuura, M. (2021). Neurotechnology and AI Approach for Early Dementia Onset Biomarker from EEG in Emotional Stimulus Evaluation Task. The 43rd Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), 6682–6685. Cite
Rutkowski, T. M., Abe, M. S., Komendzinski, T., & Otake-Matsuura, M. (2021). Older Adult Mild Cognitive Impairment Prediction from Multiscale Entropy EEG Patterns in Reminiscent Interior Image Working Memory Paradigm. The 43nd Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), (accepted, in press). Cite
Rutkowski, T. M. (2021). Passive BCI Paradigm to Elucidate Early Dementia Onset. The 43rd Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), 5403. Cite
Rutkowski, T. M., Abe, M. S., Tokunaga, S., Komendziński, T., & Otake-Matsuura, M. (2021). Classifying Mild Cognitive Impairment from EEG Patterns for Dementia Onset Prediction. Proceedings of 14th International Neural Coding Workshop, abstract #20. Cite
Rutkowski, T. M., Abe, M. S., Tokunaga, S., & Otake-Matsuura, M. (2021). Dementia Prediction in Older People through Topic-cued Spontaneous Conversation. MedRxiv, 2021.05.18.21257366. https://doi.org/10.1101/2021.05.18.21257366 Cite
Rutkowski, T. M., Abe, M. S., & Otake-Matsuura, M. (2020). Passive BCI for Dementia Onset Detection and Cognitive Intervention Monitoring. International Symposium on Artificial Intelligence and Brain Science 2020, 47. Cite
Rutkowski, T. M., Abe, M. S., & Otake-Matsuura, M. (2020). EEG and fNIRS Biomarkers of Dementia Prediction and Monitoring. The 42nd Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), Mini-Symposia: Brain-computer Interfaces for Neuromodulation, Language, Decoding, high-gamma Mapping, and Control., 6. Cite
Rutkowski, T. M., Abe, M. S., Koculak, M., & Otake-Matsuura, M. (2020). Classifying Mild Cognitive Impairment from Behavioral Responses in Emotional Arousal and Valence Evaluation Task - AI Approach for Early Dementia Biomarker in Aging Societies -. The 42nd Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), 5537–5543. Cite
Rutkowski, T. M., Abe, M. S., Koculak, M., & Otake-Matsuura, M. (2019). Cognitive Assessment Estimation from Behavioral Responses in Emotional Faces Evaluation Task - AI Regression Approach for Dementia Onset Prediction in Aging Societies -. NeurIPS Joint Workshop on AI for Social Good, Track 1-Producing Good Outcomes, 1–4. Cite
Rutkowski, T. M. (2019). Cognitive Assessment Estimation from Brainwave and Behavioral Responses in Emotional Faces Evaluation Task - AI Regression Approach for Dementia Onset Prediction in Aging Societies. Japan-China Science and Technology Forum - Greater Bay Area Summit on AI and Robotics (GBAS2019), 137–148. Cite
Rutkowski, T. M. (2019). Multisensory reactive and passive BCIs - applications for robotics, VR/AR and dementia diagnostics. The 5th International Conference BCI: Science and Practive - Samara 2019, 1. Cite
Rutkowski, T. M. (2019). Machine learning approaches in brain correlates of dementia elucidation - tensor machine learning and beyond. In A. Deza, S. Pokutta, & T. Maehara (Eds.), Abstract Booklet of the Second Conference on Discrete Optimization and Machine Learning, RIKEN AIP (p. 12). RIKEN AIP. Cite
Rutkowski, T. M., Zhao, Q., Abe, M. S., & Otake-Matsuura, M. (2019). Passive BCI for task-load and dementia biomarker elucidation. 41st Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), ThC01.1. Cite
Rutkowski, T. M., Koculak, M., Abe, M. S., & Otake-Matsuura, M. (2019). Brain correlates of task–load and dementia elucidation with Tensor machine learning using oddball BCI paradigm. 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 8578–8582. https://doi.org/10.1109/ICASSP.2019.8682387 Cite
Rutkowski, T. M. (2018). Multisensory BCIs in applications for robotics, VR/AR, art and dementia monitoring. Workshop on Brain-Machine Interface Systems 2018, 18–19. Cite
Rutkowski, T. M. (2018). From Active Multisensory Brain-computer Interface Applications for Robotics and Artistic AR/VR Environments to Dementia Monitoring in a Passive Mode - A Human Intelligence Augmentation Approach. Proceedings of the 8th International Symposium for Sustainability by Engineering at Mie University (IS2EMU2018-C), 1–2. Cite
Rutkowski, T. M., Zhao, Q., Abe, M. S., & Otake, M. (2018). AI neurotechnology for aging societies – Task-load and dementia EEG digital biomarker development using information geometry machine learning methods –. Proceedings of the 32nd Conference on Neural Information Processing Systems, 1–5. Cite
Evaluation: 認知的健康に対するシステムの影響の解明
この研究テーマの目的は、介入システムと共想法の有効性のエビデンスを集めることです。健康な高齢者とのグループ会話による認知介入の世界初のランダム化比較試験（RCT）を我々の研究室で行いました。これにより、我々は、上記の分析方法および手段を用いた介入によって改善可能な認知機能および言語学的特徴を明らかにしました。この成果は、大阪大学および慶應義塾大学の医師と共同で得られました。
代表的な出版物:
Otake-Matsuura, M., Tokunaga, S., Watanabe, K., Abe, M. S., Sekiguchi, T., Sugimoto, H., Kishimoto, T., & Kudo, T. (n.d.). Photo-Integrated Conversation Moderated by Robots for Cognitive Health in Older Adults: A Randomized Controlled Tria. https://doi.org/10.1101/19004796 Cite