From Codebooks to VLMs: Evaluating Automated Visual Discourse Analysis for Climate Change on Social Media<br>从编码本到视觉语言模型:社交媒体上气候变化视觉话语的自动化评估分析<br>[摘要](abstracts/2604.21786.html)

Abstract (EN)

Abstract not available.

摘要 (ZH)

社交媒体平台已成为气候传播的主要舞台,产生了数百万张图像和帖子——如果系统地分析这些内容,可以揭示哪些传播策略能调动公众关注,哪些则效果不佳。我们旨在通过分析计算机视觉方法如何用于社交媒体话语分析来推动此类研究。这一分析包括基于应用的分类设计、模型选择、提示工程和验证。我们在来自X(原Twitter)的两个数据集上对六个可提示的视觉语言模型和15个零样本类CLIP模型进行了基准测试——一个包含1038张图像的专家标注集,以及一个包含超过120万张图像的大规模语料库,其中50000个标签经过人工验证——涵盖五个标注维度:动物内容、气候变化后果、气候行动、图像场景和图像类型。在基准测试的模型中,Gemini-3.1-flash-lite在所有超级类别和两个数据集上均表现最佳,而与中等规模开放权重模型的差距仍然相对较小。除了实例级指标,我们提倡分布评估:即使每张图像的准确性适中,视觉语言模型的预测也能可靠地恢复总体趋势,这使其成为大规模话语分析的可行起点。我们发现,思维链推理会降低而非提升性能,而特定于标注维度的提示设计能提升性能。我们在https://github.com/KathPra/Codebooks2VLMs.git发布了推文ID和标签以及我们的代码。

← Back