硕士论文

发布时间：2026年02月05日作者:aiycxz.cn

基于深度学习的多模态情感分析研究RESEARCH ON MULTIMODAL SENTIMENT ANALYSIS BASED ON DEEP LEARNING李明哈尔滨工业大学2020 年 6 月国内图书分类号：TP391.1 学校代码：10213国际图书分类号：004.8 密级：公开# 工学硕士学位论文基于深度学习的多模态情感分析研究硕士研究生：李明# 导师：张宇教授# 申请学位：工学硕士# 学科：计算机科学与技术# 所在单位：计算机科学与技术学院# 答辩日期：2020年6月# 授予学位单位：哈尔滨工业大学Classified Index: TP391.1U.D.C: 004.8Dissertation for the Master Degree in EngineeringRESEARCH ON MULTIMODAL SENTIMENT ANALYSIS BASED ON DEEP LEARNINGCandidate: Li MingSupervisor: Prof. Zhang YuAcademic Degree Applied for: Master of EngineeringSpeciality: Computer Science and TechnologyAffiliation: School of Computer Science and TechnologyDate of Defence: June, 2020Degree-Conferring-Institution: Harbin Institute of Technology哈尔滨工业大学工学硕士学位论文摘要随着互联网的快速发展，越来越多的用户通过社交媒体平台分享自己的观点和情感，这些数据中蕴含着巨大的商业价值。情感分析技术旨在从海量的文本、图像、视频等多媒体数据中挖掘出用户的情感倾向，从而为商业决策提供支持。然而，传统的情感分析技术大多只利用文本信息，忽略了图像、音频等模态信息，导致情感分析结果不够准确。因此，多模态情感分析技术逐渐成为研究热点。多模态情感分析技术旨在融合多种模态信息，从而获得更加准确的情感分析结果。然而，多模态情感分析技术仍然面临着许多挑战：1）如何从不同模态中提取出有效的特征；2）如何将不同模态的特征进行融合；3）如何解决多模态数据中存在的噪声问题。针对以上问题，本文基于深度学习技术，对多模态情感分析任务进行了研究，主要工作如下：（1）针对多模态情感分析任务中特征提取的问题，本文提出了一种基于多模态特征提取网络的多模态情感分析模型。该模型首先使用卷积神经网络提取图像特征，使用双向长短期记忆网络提取文本特征，然后使用注意力机制将图像特征和文本特征进行融合，最后使用全连接层对融合后的特征进行分类。实验结果表明，该模型在公开数据集上的性能优于现有的多模态情感分析模型。（2）针对多模态情感分析任务中特征融合的问题，本文提出了一种基于多模态特征融合网络的多模态情感分析模型。该模型首先使用卷积神经网络提取图像特征，使用双向长短期记忆网络提取文本特征，然后使用多模态特征融合网络将图像特征和文本特征进行融合，最后使用全连接层对融合后的特征进行分类。实验结果表明，该模型在公开数据集上的性能优于现有的多模态情感分析模型。（3）针对多模态情感分析任务中噪声的问题，本文提出了一种基于多模态噪声抑制网络的多模态情感分析模型。该模型首先使用卷积神经网络提取图像特征，使用双向长短期记忆网络提取文本特征，然后使用多模态噪声抑制网络对图像特征和文本特征进行噪声抑制，最后使用全连接层对抑制后的特征进行分类。实验结果表明，该模型在公开数据集上的性能优于现有的多模态情感分析模型。关键词：情感分析；多模态；深度学习；特征提取；特征融合；噪声抑制- 1 -哈尔滨工业大学工学硕士学位论文AbstractWith the rapid development of the Internet, more and more users share their opinions and emotions through social media platforms. These data contain huge commercial value. Sentiment analysis technology aims to mine users' emotional tendencies from massive multimedia data such as text, images, and videos, so as to provide support for business decisions. However, most traditional sentiment analysis technologies only use text information, ignoring modal information such as images and audio, resulting in inaccurate sentiment analysis results. Therefore, multimodal sentiment analysis technology has gradually become a research hotspot. Multimodal sentiment analysis technology aims to fuse multiple modal information to obtain more accurate sentiment analysis results. However, multimodal sentiment analysis technology still faces many challenges: 1) how to extract effective features from different modalities; 2) how to fuse features of different modalities; 3) how to solve the noise problem in multimodal data.Aiming at the above problems, this paper studies the multimodal sentiment analysis task based on deep learning technology. The main work is as follows:(1) Aiming at the problem of feature extraction in multimodal sentiment analysis tasks, this paper proposes a multimodal sentiment analysis model based on multimodal feature extraction network. The model first uses convolutional neural network to extract image features, uses bidirectional long

硕士论文

相关文章