1、天文学中的数据挖掘张彦霞国家天文台2014.2.24概要必要性概念技术问题展望天文学、天体物理学、天文统计学、天文学信息学天文学 是研究宇宙空间天体、宇宙的结构和发展的学科。内容包括天体的构造、性质和运行规律等。主要通过观测天体发射到地球的辐射，发现并测量它们的位置、探索它们的运动规律、研究它们的物理性质、化学组成、内部结构、能量来源及其演化规律。天文学是一门古老的科学，自有人类文明史以来，天文学就有重要的地位。天体物理学 是研究宇宙的物理学，这包括星体的物理性质（光度、密度、温度、化学成分等等）和星体与星体彼此之间的相互作用。应用物理理论与方法，天文物理学探讨恒星结构、恒星演化、太阳系的起源
2、和许多跟宇宙学相关的问题。天文统计学 是用统计学的知识来解决天文问题 .天文信息学是用信息技术来解决天文学所面临的各种大数据问题 .Astronomy facing“data avalanche”IRAS 25m 2MASS 2m DSS Optical IRAS 100m WENSS 92cmNVSS 20cm GB 6cm ROSAT keVNecessity Is the Mother of InventionDM&KDD大数据 -巨信息 量 -全波段天文时代大型巡天导致天文学步入一个新的时代大多数数据大的人们无法看这就需要存储技术、网络技术、数据库相关技术和标准等许多知识被数据的复杂性
3、所掩盖而难以获得大多 (不是所有的 )经验关系是建立在 3维参数空间基础上的，如椭圆和核球星系的基平面。宇宙就是这么简单还是人类认知 的偏见？大部分数据人们是无法直接理解的这就需要数据挖掘、知识发现、数据理解技术、超高维可视化、人工智能 / 机器帮助的发现数据挖掘是帮助和加速科学发现过程的利器 大数据 机器学习 可视化 云服务Credit： Tony Hey天文数据的特点空间性多波段性多波段性海量性海量性非线性异构性缺值性或坏标记分布性高维性高维性时序性时序性开放性海量数据NVO (IVOA) 注册的数据资源有 14,000一些大型的天文数据库包括 NASA空间天文项目已经完成或正在进行的大型
4、天文巡天项目，如 : MACHO 和相关的暗物质巡天 : 1 TB DPOSS: 3 TB 2MASS: 10 TB GALEX: 30 TB SDSS: 40 TB将来的巨型巡天项目，如 : PanSTARRS:每晚 10 TB， ,预计最终 40 PB SKA： 2020年中期运行 ， 每天约 0.5-10PBLSST (Large Synoptic Survey Telescope): 2020开始运行 , with 3-Gigapixel camera 每 30秒 10 GB 每晚 30 TB，持续十年 预计最终的图像数据 100 PB 预计最终的星表数据 30 PB 每三晚巡全天一次 : 制作天体的电影数据的大小和增长速度都在持续增长人类基因序列由约三十亿个碱基对组成。存储要求：约 750兆15亿个传感器每秒传输四千万次数据流：约每秒 700MB，约每天 15PB 来自 34个国家的 1000名科学家参与该 项目成千上万的小型天线阵分布在三千多米范围内数据流：约每秒 60GB，一天一百万 PBSKA超级计算机约 1亿台，每秒要执行 1018次操作
