索尼黑科技——鹰眼的可视化技术如何颠覆体育赛事的欣赏方式

    “建立在坚实技术基础上的创意娱乐公司”索尼，始终以人为本，在前沿技术领域不断探索进取。后疫情时代，索尼黑科技正式确立了3R战略（真实（Reality）、实时（Real-time）和远程（Remote），致力于为内容创作赋能，共同开创前所未有的娱乐表达方式。 “索尼黑科技”专栏将定期为您介绍最具代表性的索尼技术创新成果，探索如何“用创意和科技的力量感动世界”。本期将为您带来的是——索尼旗下鹰眼创新公司的可视化技术。

    在专业体育竞技中，总有一些因为动作速度过快或过于复杂而无法用肉眼追踪的时刻。本期的#索尼黑科技#专栏将通过独家采访全面起底索尼旗下的鹰眼创新公司（Hawk-Eye Innovations），看它的可视化技术如何帮助裁判员做出判断，并令体育竞技更加安全、公平、可靠和精彩。

    受访人资料：

    让裁判员们无法判断的时刻清晰显现

    Q：首先，请您介绍一下鹰眼的技术及其应用的领域。

    Edward Hawke：鹰眼提供的两项主要技术是球体跟踪和同步多角度回放技术（SMART）支持的视频回放。球类追踪技术已被整合到各种服务中，如电子司线技术（ELC）以及球门线技术（GLT），SMART视频回放已被足球视频助理裁判（VARs）和橄榄球电视比赛官员（TMOs）采用。

    Q：鹰眼服务发展的背后有什么故事吗？

    山本太郎：鹰眼创新公司成立于2001年，由鹰眼公司的创始人保罗-霍金斯制定了基于导弹跟踪技术的球类追踪理念。最初开发这项技术是为了让观众更愉快的观看板球运动，但很快就扩展到其他各种球类运动中，如网球、足球、羽毛球和排球。我们开展业务的愿景仍然是让观众更好地欣赏体育赛事。2006年，在国际网球比赛中引入新的挑战规则后，鹰眼才真正进入了全球视野。这一规则允许每个球员在一场比赛中最多质疑三次裁判员的判断。如果因为质疑被叫停，球的轨迹和落点将通过安装在球场周围的多台摄像机拍摄的视频资料进行分析，并在短短几秒钟内通过计算机图形（CG）在会场的屏幕上进行回放。这项技术可以准确地分析网球中高速球的轨迹，这当然会使比赛更加公平，但也可能会严重影响比赛进行。

    Mathew Richards：球类追踪技术有两个主要组成部分——光学 2D 视觉处理（寻找球的中心）和 3D 三角测量（模拟球的飞行时间）。 通常，这会使用 8 到 12 台以高达每秒 340 帧的帧速率运行的摄像机。 捕获的数据被输入中央控制系统，该系统可以提供各种实时服务，包括裁判解决方案、直播效果支持和数据流。

    Q：SMART技术的使用是如何推广的？

    Mathew Richards：为了使视频平台能够同时渲染和提供多个不同的视频流，我们开发了一种技术，可以以高达每秒 340 帧的速度实时编码视频，同时将画质退化率降到最低，并编码多种分辨率，使输出设备可以基于每帧选择最佳视频大小。因此，裁判员、医务人员和广播公司可以同时从任何角度获取他们想要的视频片段，这就是SMART Replay。

    带来巨大的创新是鹰眼的优势

    Q：有哪些因素促成了鹰眼在体育界的广泛应用与成功发展？

    Mathew Richards：鹰眼在提供球体和球员追踪服务方面拥有20多年的经验，我们的主要优势之一是我们能够不断创新和完善我们的方法。球类追踪在2001年首次被用作板球的广播效果支持，现在我们已经为球体和球员的追踪开发了最先进的机器学习算法。我们目前正在扩大其使用范围，不仅追踪人，而且还能追踪球棒（拍）和汽车等物体。

    Edward Hawke：鹰眼也非常重视与使用者之间的沟通交流。我们密切参与了足球视频助理裁判的初始阶段，利用我们在裁判技术方面的专业知识来帮助利益相关者，建立对比赛结果产生最大影响并对比赛过程破坏最小的规则与程序。目的是确保更公平的结果，同时保持球迷的高度参与和享受。

    山本太郎：索尼的广播技术被广泛应用于各种体育赛事，由于鹰眼的一些员工总是出现在这些体育场馆，我们在提供支持的同时能够获得反馈，使鹰眼能够为每项运动开发与提供更好的解决方案。鹰眼的另一个优势是我们始终在一线，一年365天倾听意见，我们相信我们所积累的专业知识是能够引领这个行业的原因之一。

    在裁判以外的领域为体育运动提供支持

    Q：我了解到你们目前正在开设新的服务？

    山本太郎：是的。 为了取消场内的司线裁判,鹰眼的实时司线系统 (Hawk-Eye Live)现已在多个国际网球赛事中使用。 这有效避免了对裁判员的质疑过程，缩短和提高了比赛效率，让球员的注意力高度集中在比赛本身。鹰眼不会取代裁判长或裁判员，它只是一项旨在支持他们的服务，但我们相信它可以代替司线裁判员做出决定，以降低新冠疫情的传播。 网球比赛中最多可部署 9 名司线裁判员，但通过鹰眼的司线技术可以减少球场上的人以确保社交距离。在2020年美国网球公开赛中，13个球场中有11个使用了Hawk-Eye Live。

    Edward Hawke：随着新冠疫情的爆发，鹰眼已经开始为新的体育内容制作流程以提供远程回放服务，允许回放操作员在家里使用该系统进行现场直播剪辑。我们为高尔夫比赛开发了一个系统，将官方数据链接到视频源，并自动标记哪个高尔夫球手在哪个球洞，使操作员能够快速跳转到他们想要回放的视频资料。 这个系统，加上运营商现在可以在家中通过 10Mbps 消费级互联网连接提供广播重播的事实，极大地改变了行业的工作流程。

    Q：最后，你能告诉我们你的未来前景吗？

    山本太郎：鹰眼的服务目前被用于20多种运动，除了球类运动，它们还被用于田径、赛马，甚至是赛车运动。球类追踪技术已经开始应用于球队的战略分析和选才，在电视和视频中提供比赛的多角度观看体验也在考虑之中，显然，鹰眼具有未来发展潜力。体育总能带给人们无限感动，而通过技术感动人正是我们的使命。利用索尼的技术能力，我们将继续提供观看和享受体育的新方式，激发人们的热情和感动。

    鹰眼创新公司简介

    自 2001 年以来，鹰眼创新公司一直处于体育裁判和广播支持技术的前沿。鹰眼的视觉处理、视频回放和创意图形技术使体育运动更加公平、安全、智能化，同时更具吸引力。该公司是索尼体育创新集团的重要组成部分，其共同使命是为体育界提供一流的裁判、广播和数字解决方案。

    鹰眼创新公司的技术被应用在哪些体育领域？

    网球领域 电子司线技术 (ELC)

    即使顶级网球选手的发球速度超过 200 公里/小时，鹰眼的追踪功能也可以准确判断球是否越线。 该系统不仅具有令人难以置信的误差小于 2 毫米的精准度，还可以通过处理追踪数据在短短的几秒钟内制作出 CG 回放。 球员对裁判员的质疑会极大影响比赛的进行，但是通过CG 回放让每个人都能看到虚拟回放，包括在家里观看的人，使比赛变得更加公平。 此外，图形回放片段可以作为数字广告素材出售给赞助商，为赛事组织者创造更多商机。

    足球 球门线技术 (GLT)

    从裁判和追踪的角度来看，足球是一项需要克服多重挑战的运动。例如，裁判需要实时判断球是否越过球门线，以及实时以更高的帧率和分辨率进行视频处理。与此前的球体追踪技术相比，该技术实现最大的突破是追踪球体运动，球体追踪中最困难的挑战之一是被遮挡，如此将很难模拟球体飞行（因为守门员可能将球带过线）。再加上嘈杂场景的问题，球可能会被球员遮挡，使得裁判员对门球的追踪变得极其困难。为了解决所有这些问题，鹰眼工程团队与索尼合作，创新了独特的球体模式识别和方向建模算法，在只有部分球体可见时也能确定球在图像中的位置。

    足球 视频助理裁判(VAR)

    鹰眼独特的解决问题能力也深深扎根于VAR技术中，这是鹰眼在国际足球赛事中提供了最前沿的技术。将VAR作为一个概念引入足球赛事的最初契机是提高沟通效率。在比赛中，裁判和视频助理裁判必须不断地使用对讲机相互沟通，共同决定何时是停止比赛的最佳时机。鹰眼解决了这一低效率问题，不仅建立了具有多个摄像机的系统，以确保判断的适当角度，而且还为使用该系统的裁判提供培训，此外还支持裁判培训系统的资格和认证。

    橄榄球 电视比赛官员(TMO)

    鹰眼还为橄榄球TMO提供视频判断的辅助工具，在橄榄球比赛中，进攻性的阻挡和激烈的冲撞并不罕见。根据比赛情况，来自30多台摄像机的画面可能会被汇总，输入服务器，进行同步，然后显示在操作屏幕上。裁判员想要详细检查和判断可以拖放画面提取静止图像，并且可以流畅地进行缩放和慢动作等操作。裁判员们可以检查是否有阻挡犯规，或是否有达阵得分的情况。橄榄球比赛中的医务人员可以使用平板电脑来检查球员受伤的位置和方式，这有助于实现更精准的治疗。在提高比赛安全性的同时，更好的治疗也能让球员更快恢复，为球队带来巨大的战略和经济利益。

    棒球 视频判决支持系统

    在美国职业棒球大联盟 (MLB) 中，有一个挑战系统，允许球队经理质疑裁判员判断的准确性。 通过鹰眼的 SMART 技术查看视频回放，经理可以决定是否质疑裁判。 鹰眼的追踪系统已经引入 30 个美国职业棒球大联盟球场。

    棒球 比赛分析服务

    在2020年赛季，美国职业棒球大联盟也采用了鹰眼的运动追踪平台进行比赛分析。鹰眼的视觉处理技术和光学追踪系统被用来捕捉整个体育场内的球体和球员的运动，并以毫米级的精确度对数据进行分析。通过对12台高分辨率、高帧率的摄像机所拍摄的图像进行同步和分析，可以跟踪球员的三维躯干模型。这使得实时分析球员的姿势和动作成为可能，从而对每场比赛进行更精确的评估，包括投手/击球手的发力，球和球棒的跟踪，以及外野手和跑手的动作。根据多年的合同，该服务可在所有30个美国职业棒球大联盟球场和多个训练设施中使用。这些数据也将反映在美国职业棒球大联盟的Statcast系统中，因此它也被使用于比赛转播，并允许球迷在美国职业棒球大联盟官方网站上查看实际数据。