深度学习领域的Empirical Study

  • An Empirical Study on TensorFlow Program Bugs (ISSTA’18) [PDF]

    内容：探究使用TensorFlow框架的程序中bug产生的原因、检测bug的挑战、用户如何应对检测bug的挑战、定位bug的挑战、用户如何应对定位bug的挑战。

    方法：挖掘Stack Overflow和github中的数据。

  • A Comprehensive Study on Deep Learning Bug Characteristics (ESEC/FSE’19)[PDF]

    内容：探究使用5种流行的深度学习框架会遇到的bug类型、根本原因、产生的影响、Bug出现的阶段、共性以及bug的演变。

    方法：挖掘Stack Overflow和github中的数据。

  • An Empirical Study on Program Failures of Deep Learning Jobs (ICSE’20 Distinguished Paper Award) [PDF]

    内容：深度学习任务failure的种类、根本原因和现有测试/诊断方法。

    方法：通过研究微软集群中实际遇到的fault，并对6位微软的开发者进行访问。

  • Taxonomy of Real Faults in Deep Learning Systems (ICSE’20) [PDF]

    内容：探究在使用深度学习系统中会遇到的错误。

    方法：挖掘Stack Overflow和github中的数据，并通过20位科研工作者/从业人员进行label。

  • Repairing Deep Neural Networks: Fix Patterns and Challenges (ICSE’20) [PDF]

    内容：探究在深度神经网络中中bug的fix pattern和挑战。

    方法：挖掘Stack Overflow和github中的数据。

  • An Empirical Study on Bugs inside TensorFlow (DASFAA’20) [PDF]

    内容：探究TensorFlow框架内部bug的症状、根本原因和位置。

    方法：挖掘2017-2019年之间github上的bug。

  • A Comprehensive Study on Challenges in Deploying Deep Learning Based Software (ESEC/FSE’20) [PDF]

    内容：探究部署深度学习应用的挑战。

    方法：挖掘Stack Overflow的数据。

  • An Empirical Study on Deployment Faults of Deep Learning Based Mobile Applications (ICSE’21) [PDF]

    内容：探究在移动端部署深度学习应用时的错误的症状和解决办法。

    方法：挖掘Stack Overflow和github中的数据。

其他领域的相关工作

  • A Characteristic Study on Failures of Production Distributed Data-Parallel Programs (ICSE’13) [PDF]

    内容：探究分布式数据并行程序中数据和代码的缺陷的symptom、root cause、fix以及debugging practice。

    方法：挖掘Microsoft集群中的SCOPE job。

  • Software Documentation Issues Unveiled (ICSE’19) [PDF]

    内容：对文档中的问题进行分类。

    方法：挖掘emails, github issue, GitHub pull-requests和 Stack Overflow中的数据。

  • Going Big: A Large-Scale Study on What Big Data Developers Ask (ESEC/FSE’19) [PDF]

    内容：探究大数据开发者所关心的主题、主题分类、主题流行度、主题难度、主题流行度和难度之间的关联度。

    方法：挖掘Stack Overflow的数据。

  • Understanding Privacy-Related Questions on Stack Overflow (CHI’20) [PDF]

    内容：探究SO用户会将什么话题与“隐私”问题关联，以及用户为什么要参与到隐私相关话题中。

    方法：挖掘Stack Overflow的数据。

  • Understanding Build Issue Resolution in Practice: Symptoms and Fix Patterns (ESEC/FSE’20) [PDF]

    内容：探究构建（build）中用户所关心的话题、遇到问题的症状及根本原因。

    方法：挖掘Stack Overflow的数据。

  • Interpreting Cloud Computer Vision Pain-Points: A Mining Study of Stack Overflow (ICSE’20) [PDF]

    内容：分析探究Cloud CV领域研究者遇到的痛点。

    方法：挖掘Stack Overflow的数据。

  • An Empirical Study on API Usage (TSE’19) [PDF]

  • An Empirical Study on API-Misuse Bugs in Open-Source C Programs (COMPSAC’19) [PDF]