1、 校 级大学生创新训练项目申报书项目名称 基于图像处理的足球越位自动判别系统 主 持 人 胡晓斌 所在学院 计算机与信息学院 联系电话 18855147417 指导教师 张旭东 起止年月 2016 年 5 月至 2017 年 5 月 创新创业教育中心填 表 须 知一、合肥工业大学大学生创新训练项目申报书（注明国家级或校级）要按顺序逐项填写，内容要实事求是，表达要明确、严谨。空缺项要填“ 无” 。要求一律用 A4 纸 正反页打印，于左侧装订成册。 二、申请参加合肥工业大学大学生创新训练项目团队人数不得超过 5 人（1 人为立项负责人，参与合作研究者 1-4 人）。三、合肥工业大学大学生创新训练项
2、目申报书由申报学生所在学院初审，签署意见后，一式二份报送创新创业教育中心。四、如填表有不明事宜，请与创新创业教育中心联系和咨询。（ 联系电话：62901107）申请者情况姓名 胡晓斌 性别男出生年月1995 年 11月所在院（系） 计算机与信息学院专业年级电子信息工程 14-3 班学号 2014211794项目组成员情况姓名学号 性别出生年月专业年级分工罗鹏宇 2014211803 男 1996 年 1月电子信息工程 14-3 班程序设计，图像处理软件开发叶宇 2014211793 男 1996 年 5月电子信息工程 14-3 班程序设计，软件纠错何旭东 2014211776 男 1996 年
3、 1月电子信息工程 14-3 班程序设计，文案撰写 指导教师情况姓名 张旭东 职称 教授 学历/学位 博士讲授课程 硬件描述语言、模式识别研究方向 图像处理、模式识别、智能信息处理所在院（系） 计算机与信息学院电子信息工程系E-mail 地址 电话 13013086121课题来源：科研 教学 设计 工程 自选 其他（ ）一、申请理由（知识条件，特长、兴趣，相关经历等）1.知识条件(1)在过去的两年间，我们学习过 C 语言、c+、Java、数据结构等相关专业课程，这些课程的学习内容为我们所做的项目提供了一定的基础，有助于我们更好更快的掌握本项目相关编程知识。(2)在过去的两年时间，我们均有编程
4、实验的经历，并对图像的处理有了大体的了解与认识。(3)我们对于判断足球越位有一定的了解，在平时生活中也有接触，可以帮助我们更好地将其运用到处理系统中去。2. 成员简介：胡晓斌：本项目组申报人，爱好编程，学习了 C 语言、C+、Java 等相关课程，并已通过国家计算机二级 Java 考核。为人坦率、热情、处事乐观、做事勤奋求实，富有责任心。学习踏实认真，有较强的动手能力，并且善于观察老师在教学期间教导的细节内容。学习表现优异，善于团队合作，具有较强的集体意识和责任感。 罗鹏宇：对计算机科学及其科研工作有着强烈的兴趣，已完成 C+，Java，数据结构，数据库等编程课程的学习，曾自学 Matlab，
5、做事考虑周到，具有较强的组织能力和团队责任感，已通过国家计算机二级 Java 考试。叶宇：态度认真，做事积极。有较强的自学能力；对于科研工作很有兴趣。已经完成 Java，c+，数据结构等基本编程课程。已经进行过单片机的训练。具有很强的团队精神与责任感，有恒心有毅力。已经通过国家计算机 c+考试和英语四级考试。何旭东：已完成 C+，Java，数据结构等编程课程的学习，并通过计算机二级考试。在学生会任职,具有较强的组织与团结团队的能力，且创新意识较强，善于发现问题，分析问题和总结问题。本组成员对于图像处理有浓厚的兴趣，并在平时学习和实验中刻苦认真，能够很好的完成 C 语言，Java 等相关的实验设
6、计。对于不懂或者未知的领域勇于去尝试，并有所收获。国际足球比赛规则规定足球比赛由一名主裁判和两名助理裁判在犯规及违例行为进行判罚，当球员发生越位行为时，助理裁判需举旗向主裁判示意。这说明在判罚过程中人为控制比赛的因素很大，对裁判的道德品质和专业素质提出了很高的要求。正是基于这样的目的，我们致力于开发一套基于图像处理的足球越位自动判别系统，协助裁判员对越位行为进行判别，最大程度地减少误判和黑哨对于足球运动的公平性的影响，促进足球运动的发展。利用图像处理来对足球越位进行自动判别能够很好地解决该问题，切实维护了足球比赛的公平性，这些都是我们的动力与目标，将会激励和促进我们不断实现和完善项目。二、项目
7、研究内容（目前研究的现状、研究方法、实验方案、解决的关键技术和创新点等）1.项目意义 随着体育运动的深入开展，越来越多的人致力于体育分析的研究。实践表明仅仅依靠人员判别不能够保证比赛的公平展开，而多媒体技术的快速发展使得机器自动判别成为可能。科技在大型体育赛事中扮演的角色正变得越来越重要，大到体育场的智能系统，小到门检处的防伪芯片，无不渗透着现代科技的成果。机器自动判别系统就是将现代科技应用于足球赛场上，从而弥补人工裁判的不足，实现实时、准确、客观的判断。自动判别技术可以对现场进行实时监控，严格地按照相应体育竞赛规则判断球员是否进球或者越位，球是否压线等，这对体育比赛的公平进行起到了重要的辅助
8、作用。本文以足球运动视频为切入点，针对足球比赛中频繁出现的越位判罚失误现象，在深入理解足球比赛越位规则基础上，提出了足球越位自动判别的相关算法并通过程序实现。研究方向涉及了图像处理和图像识别领域的相关知识，这也可以广泛于其他领域。近些年来，多媒体信息的快速增长趋势促进了视频索引和检索技术的发展，大量的工作人员致力于体育场景的研究。例如，探测和跟踪体育视频中球员和球。特别是对于足球比赛视频的场景分析，这些广泛应用于 3D 视频的重建和电视广播技术。因此发展更高效的视频处理技术和体育分析技术势在必行。在门类众多的体育比赛中，足球比赛拥有的人数最多和受关注的程度最高。实践表明，比赛中与裁判员因素有关
9、而造成的混乱局面和斗殴事件，大多数是因为裁判员对犯规的判罚不准而引起的，特别是对越位的判罚。在 2010 年南非世界杯中，裁判员的多次判罚失误就再一次引起了全世界范围内球员和球迷的不满。尤其对于越位现象大多发生在禁区内部，判罚的结果可能直接影响到比分改写，涉及球队乃至国家的战绩和荣誉。此外，误判不利于比赛的公平开展，因此这迫切要求我们应使用先进的科学技术协助裁判进行判罚比赛。此外由裁判判罚不公平所引发的黑哨现象一直没有得到有效的遏制，这引起了上至国家领导关注、下至普通观众的强烈不满。目前的电视转播的技术手段尚不能作到实时性取证，只能在比赛结束后对争议较大的比赛录像做人为判读。在如今的商品经济时
10、代，体育竞赛越来越多与金钱和权力相联系，裁判员能否公正执行规则，而不受外界其它因素左右已是人们普遍关注的问题。而与人为判罚相结合的机器自动判别系统则可以有效地杜绝判罚不公现象，更好地为大众服务。在足球比赛中，是否越位主要是由助理裁判来判断，但是助理裁判除了判断越位还要监视球员的犯规等各种行为，例如足球出界、球员拉拽及恶意犯规等。在对越位的判别上，是以传球的瞬间为依据的，因为足球在空中飞行需要一定的时间，并不是以足球落地那一刻来判断，裁判的奔跑距离以及体能的限制，这对于判别较长时间传球的越位关系提出了更大的挑战。图 1 足球比赛中的越位争议示例举个例子，图 1 是最近进行的一场中超联赛中引起很大
11、争议的一个越位判罚，蓝方河南建业队员在禁区外长传，用红线标示的蓝方球员接球后将球打进，图像远端的边裁却举旗示意该队员处在越位位置，这样的争议判罚引发了河南建业球员强烈的不满。很明显，通过肉眼即使在静态图像中我们也无法判断该蓝方球员是否处于越位位置，何况边裁的判断是在一瞬间决定的，所以，由于人工裁判受到自身注意力、反应能力、身体机能、个人素质各方面的限制，仅靠人工裁判不能对越位的判断做到客观公正，利用计算机技术设计相应自动判别越位的技术是必要的，势在必行的。正是基于这样的目的，我们致力于开发一套基于图像处理的足球越位自动判别系统，协助裁判员对越位行为进行判别，最大程度地减少误判和黑哨对于足球运动
12、的公平性的影响，促进足球运动的发展。2.国内外研究的现状90 年代初，国际上对基于内容的体育视频分析方面开始了研究，由于文化背景和需求的不同，大部分体育视频内容分析系统集中于网球、篮球和棒球领域，另外在足球方面更多的人员热衷于分析智能机器人的颜色识别和策略实施。国内的研究始于 90 年代末。主要研究热点集中在视频语义对象的提取，包括球场的检测、球和球员的检测以及场景的三维重建，这些技术都集中在视频分析而没有体现在判罚比赛上。近几年来，为了维护比赛的公平合理，机器判别技术越来越多的应用于比赛的当中，以此来辅助人工裁判进行更准确无误的判罚。随着时代的不断进步，自动判别技术发挥着越来越重要的作用。因
13、此基于视频分析的足球越位自动判别系统属于一个全新的，有生命力的课题方向。目前被提出的越位自动检测的解决方案主要有:（1）日本 Keio 大学的 Sadatsugu Hashimoto 提出采取多摄像机定位计算球员的世界坐标，然后根据人体模型做队服识别，另外通过多摄像机定标计算和跟踪足球的 3D 坐标以此判断其是否参与进攻，最后计算得到越位线，通过综合分析这些结果来做出越位的判罚。但是对于越位判断仅仅考虑了球员是否在越位位置上，没有对其是否参与进攻影响比赛进行判断(根据越位规则，如果处在越位位置上的球员没有卷入比赛，则不能判罚越位)。此外输入检测的图像是通过手动方式。正如作者的提到的那样:“这些
14、都需要在未来的工作中考虑到。”（2）意大利国家研究理事会自动化智能所的 Tiziana DOrazio 等人提出了实时越位探测的可行性分析，采用六架高分辨率摄像机实时检测和跟踪足球和球员，从而减少视角以及球员重合的误差;使用非监督聚类的方法对球员组别分类;采用多视角分析评估越位行为;在此基础上重建二维虚拟球场，模拟越位球员的射门行为，从而根据球员坐标相对位置判断是否越位。此外他们开发了一套适用于监测足球视频序列的半自动系统，一方面可以自动估计并生成球场目标的实时数据信息，另一方面提供了友好用户接口用来人工校对检测和跟踪的结果。这不仅适用于科学领域，还适用于其他监察场景。此外，国外也开发了一些体
15、育分析的软件。英国著名的体育数据分析公司ProZone 开发了 ProZone3 软件，对数据进行整合分析和处理。它通过在球场上架设摄影机，把球场上的所有球员拍摄下来，然后在电脑上详细标记每名球员的位置和发生的事件，向分析人员提供大量的数值和可视化信息，包括比赛模拟三维动画、运动员奔跑距离、运动轨迹、铲球、犯规、过人次数、传球次数、射门次数等，同时也包括对球员越位的统计，被称为绿茵球场“百科全书”。此软件不仅广泛应用于职业球坛为球队提供专业的数据分析，而且己经投入游戏的运营和开发。3.研究方案（1）足球越位规则简介：足球越位中有两个非常重要的概念:越位位置和越位。国际足联足球比赛规则对越位位置
16、和越位做出了明确解释。在防守方半场内，当进攻球员踢或触球的一刹那，同队队员较球更接近对方球门线，并且在他与对方球门线之间，防守方队员不足两人时，称为该队员处于越位位置。下列情况除外:该队员在本方半场内；至少有对方队员两人比该队员更接近于对方的球门线(是指头、躯干和脚的任何部分比球和对方最后第二名队员更接近球门线，手臂不包含在内，因为仅手臂在前是不能获利的)。当队员踢或触及球的一瞬间，同队队员处于越位位置时，裁判员认为该队员有下列行为，则应判为越位:正在干扰比赛或干扰对方;企图从越位位置获得利益从而得球进攻。下列情况，队员不应被判为越位:1.队员仅仅处在越位位置而并未卷入比赛，这里卷入比赛是指处
17、在越位位置上的球员参与进攻触及到队友传递的足球，或者做出裁判员认为有犯规行为的明显的移动或姿势干扰对方。2.队员直接接到球门球、角球或界外掷球时裁判员也无需判断越位。越位位置判决的关键问题有两个:是判决的时刻是进攻球员踢或触球的一刹那;是进攻队员和防守方球门线之间的防守队员至少有两个。从这个分析来看，检测到球和球员在欧氏世界坐标系下的位置，并区分出球员的队别，就可以准确地判断是否处于越位位置，我们需要设计相应的算法对队员是否越位进行判断，即越位行为检测。（2）比赛视频图像中运动员与足球的检测1)场地的提取现有成熟的算法是对球场使用统计分类方法检测球场主色。我们使用的算法是将图像的颜色模型从 R
18、GB 空间转换到 HSV 空间，这样有利于突出球场的主色特征。在计算过程中我们采用的是色度值和饱和度的值，忽略了亮度分量。这样做是因为光照会引起亮度分量的明显变化，但对色度和饱和度的影响却很小，采用忽略亮度分量的方法可以解决球场因为光照不均产生的阴影的问题，并且提高了计算速度。由足球比赛视频镜头的分类可知，帧图像中的主要颜色区域是球场草地区域，长镜头中具有最大范围的球场草地像素点，并且从视频中能最多的反映出得球员和足球的位置属性。在一般体育比赛节目中，视频图像的颜色主要分布在颜色模型空间中的几个比较密集的区域。针对于此，可以在视频图像相应的颜色直方图中寻找数值较大，出现峰值的密集区域，则该区域
19、即为球场的主色区域。在 HSV 颜色模型中，对图像进行 Hue 分量提取和统计，生成 Hue 直方图，由于长镜头图像中足球场地占绝大部分，所以在直方图中会出现峰值，这样同时解决了球场颜色是其他不正规球场颜色的问题，可以选取以直方图峰值为中心对称区域反投影得到场地。具体算法如下: 读入视频图像选取关键帧，将 RGB 颜色空间转换成 HSV 模型; 提取图像的 H 分量得到 H 分量的直方图; 在直方图中寻找峰值点的位置，其峰值点的值为 M1; 在峰值点周围查询数值大于 kM1 的像素点（k 为比例因子），计算该部分，将这部分从直方图中去除，接着寻找下一个峰值点进行类似的操作; 将去除的这些峰值部分进行比较取最大部分的向量进行反投影变换，重建以 RGB 为颜色模型的图像。至此我们可以获得足球的场地，为以后的越位检测工作进行准备和铺垫。我们对一帧原始 RGB 图像进行 Hue 分量提取和统计，生成了 Hue 直方图。如图 2 所示，色调 H 主要分布在两个明显的峰值范围内。图 2 色调 H 的直方图如图 3 所示，按照算法实现了反投影提取场地，去除了场外观众区域产生的干扰，为下一步的检测提供了便利。
