文章摘要:社交网络已经成为人们日常生活中不可分割的一部分，对社交媒体信息进行情感分析有助于了解人们在社交网站上的观点、态度和情绪。传统情感分析主要依赖文本内容，随着智能手机的兴起，网络上的信息逐渐多样化，除了文本内容，还包括图像。通过研究发现，在多数情况下，图像对文本有着支持增强作用，而不独立于文本来表达情感。文中提出了一种新颖的图像文本情感分析模型（LSTM-VistaNet），具体来说，LSTM-VistaNet模型未将图像信息作为直接输入，而是利用VGG16网络来提取图像特征，进一步生成视觉方面注意力，赋予文档中核心句子更高的权重，得到基于视觉方面注意力的文档表示；此外，文中使用LSTM模型对文本情感进行提取，得到基于文本的文档表示。最后，将两组分类结果进行了融合，以获得最终的分类标签。在Yelp餐馆评论的数据集上，所提模型在精确度上达到了62.08%，比精度较高的模型BiGRU-mVGG提高了18.92%，验证了将视觉信息作为方面注意力辅助文本进行情感分类的有效性；比VistaNet模型提高了0.32%，验证了使用LSTM模型可以有效弥补VistaNet模型中图像无法完全覆盖文本的缺陷。

文章关键词:视觉方面注意力,LSTM,多模态,情感分析,社交图像,

项目基金:国家社会科学基金（15BGL048）,

论文作者:袁景凌 丁远远 盛德明 李琳 

作者单位:武汉理工大学计算机科学与技术学院 

论文分类号: TP391.41

相似文献:基于社交关系增强的短文本情感分析方法.....作者:刘树栋,王磊,武璟珑,徐亮,刊载期刊：《武汉大学学报(工学版)》
文本情感分析方法及应用综述.....作者:钟佳娃,刘巍,王思丽,杨恒,刊载期刊：《数据分析与知识发现》
融合知识图谱的文本情感分析.....作者:林世平,林松海,魏晶晶,吴运兵,廖祥文,刊载期刊：《福州大学学报(自然科学版)》
融合左右双边注意力机制的方面级别文本情感分析.....作者:马远,程春玲,刊载期刊：《计算机应用研究》
结合新闻和评论文本的读者情绪分类方法.....作者:严倩,王礼敏,李寿山,周国栋,刊载期刊：《山东大学学报(理学版)》
结合新闻和评论文本的读者情绪分类方法.....作者:严倩,王礼敏,李寿山,周国栋,刊载期刊：《山东大学学报(理学版)》
基于BiGRU-Attention神经网络的文本情感分类模型.....作者:王伟,孙玉霞,齐庆杰,孟祥福,刊载期刊：《计算机应用研究》
考虑评级信息的音乐评论文本自动生成.....作者:严丹,何军,刘红岩,杜小勇,刊载期刊：《计算机科学与探索》
融合知识图谱与注意力机制的短文本分类模型.....作者:丁辰晖,夏鸿斌,刘渊,刊载期刊：《计算机工程》
基于语义分割的食品标签文本检测.....作者:王建新,王子亚,田萱,刊载期刊：《农业机械学报》

相关文章:大数据的技术创新和应用—以人口普查为例.....作者:冯乃林
大数据融合应用技术框架与行业应用.....作者:段飞虎
大数据人工智能驱动图书馆知识服务和学科建设.....作者:姜爱蓉
基于大数据的知识共享与协同创新.....作者:顾新建
敦煌莫高窟文化遗产数字化保护——数字敦煌.....作者:夏生平
Looking at People Through the Lens of Images 透过镜头理解人物行为.....作者:Li CHENG
The Role of Digitization in Post COVID Scenarios 数字化在后疫情场景中的角色.....作者:Rafiq Ahmad
Computational Analysis of the Voynich Manuscript 十五世纪伏尼契码的智能解析.....作者:Greg Kondrak