长期以来，城市研究一直在探究如何通过城市外观来理解城市。如同生物学如今可以通过人的面部照片推测生理年龄和某些疾病，城市科学也迫切希望探索：城市物质环境在多大程度上可以表达和量化城市的社会经济环境？

北京时间6月27日，《美国科学院院刊》（PNAS）在线发表题为“Urban visual intelligence: Uncovering hidden city profiles with street view images”的论文。该研究通过计算机视觉模型对美国七大区域的2700万张街景图像进行分析，通过街景图像中识别到的视觉特征（如街道设施、人行道、建筑物立面和植被）的空间分布来估计其附近社区的健康、交通、犯罪、贫困等方面指标，探索了使用街景大数据和人工智能方法来全方位估计城市社会经济状况的潜力。

论文第一作者为香港大学在读博士范庄媛，通讯作者为香港科技大学张帆助理教授；香港大学、江西师范大学Becky P.Y. Loo教授以及麻省理工学院Carlo Ratti教授为论文合作作者。

图1 方法框架：基于街景视觉特征(SVF)构建模型，解释健康、出行、犯罪、贫困等方面18个居民日常生活与社会经济指标(Y)，并与基于兴趣点(POI)数据的模型的解释能力作对比。

图2 街景视觉特征（SVF）与兴趣点（POI）数据对社会经济状况的解释能力对比，研究结果显示，仅仅基于构成城市景观的视觉特征（SVF），就能解释人们出行行为的83%、贫困状况62%、犯罪率的64%以及健康状况的68%。这些结论在城市间呈现一致性规律。

图3 基于视觉特征模型的解释能力在大部分的实验中超过了基于兴趣点（POI）、人口和其他人口统计数据建立的经典模型。不仅如此，从街景图像中提取的城市视觉特征与经典模型相结合，可以提高经典模型解释能力的5%-25%。

该工作提出“城市视觉智能”，旨在基于计算机视觉和街景图像来量化城市物质环境，并进一步揭示“可视的”物质环境背后隐藏的“不可视的”城市社会经济状况，揭示人与地之间的复杂关系，重访经典城市问题。随着街景数据全球覆盖和计算机视觉方法的广泛应用，城市视觉智能可以帮助更精细地理解和表达城市的方方面面，弥补数字鸿沟，助力可持续发展目标的实现。

作者信息

第一作者介绍：

范庄媛，香港大学地理系在读博士，麻省理工学院感知城市实验室研究员。浙江大学建筑学学士，宾夕法尼亚大学景观建筑硕士，麻省理工学院城市规划硕士，美国注册景观建筑师。

通讯作者介绍：

张帆，香港科技大学土木与环境工程系助理教授，博士生导师。曾任麻省理工学院高级研究员，感知城市实验室(MIT Senseable City Laboratory)视觉智能组负责人。担任国际摄影测量协会会刊ISPRS Journal of Photogrammetry and Remote Sensing客座编辑，Transactions in Urban Data, Science, and Technology副主编。曾获 Geospatial World 50 Rising Stars、WGDC全球前沿科技青年科学家称号，入选2022年度全球前2%顶尖科学家榜单。

论文信息：

Fan, Z., Zhang, F., Loo, B. P.Y., & Ratti, C. (2023). Urban visual intelligence: Uncovering hidden city profiles with street view images. Proceedings of the National Academy of Sciences, 120(27), e2220417120. https://doi.org/10.1073/pnas.2220417120

论文链接：

https://www.pnas.org/doi/10.1073/pnas.2220417120

论文下载：

https://www.pnas.org/doi/epdf/10.1073/pnas.2220417120