《高新项目后评估自评报告.docx》由会员分享,可在线阅读,更多相关《高新项目后评估自评报告.docx(186页珍藏版)》请在课桌文档上搜索。
1、一、项目基本情况和要求42. 主要建设内容:43. 94. /*105. 10二、项目总体目标完成情况111、项目总体目情况112、项目建设内容完成情况14三、项目科技攻关目标完成情况171. 1三年累计申请国家专利171.1. 1已授权国家专利15项171.1.2已有受理通知国家专利43项18L2三年累计申请国家软件著作权16项201.3三年累计申请商标权1项202、项目技术路线、技术创新性特点等情况212.1212.2核心技术来源342.3与同类技术区别362.4创新点及创新点体现382.4.1总体架构及说明392.4.2海量电视云计算数字内容加工厂具体建设内容402.3.2电视云搜索引擎
2、具体建设内容492.5IlE*513、项目形成核心自主知识产权情况52利申rH清单.53授权专利清单55申请商标清单5657软件著作权清单.4、项目相关技术在国际国内行业中所处水平分析58四、项目产业化目标完成情况594.1产业化攻关创新特色591 .1.1产业化攻关目标和任务概述592 .1.2产业化攻关目标及创新技术特点593 .产业化攻关目标和任务概述604 .产业化攻关目标及创新技术特点614.2四年累计产业化攻关效益对比622、项目实施后形成的产能规模623、项目实施后取得的销售及财务效益分析644.对产业链和产业群形成的带动效应等795、项目市场发展前景及项目可持续发展能力80五、
3、组织管理情况851、项目管理制度建设情况851.1项目组织机构85l851.3.1项目理机制911.3.2项目资金管理机制922、项目产学研用合作机制建设与成效933、项目领军人物及团队介绍错误!未定义书签。(一)组织结构错误!未定义书签。(二)项目主要负责人及团队简介错误!未定义书签。4、项目进度管理办法97六、项目资金到位与投资情况1041、项目资金到位情况:分时间节点说明1042、项目投资完成、投资控制情况、投资结构与计划对比情况1053、专项资金使用管理情况173七、项目效益情况1741、项目实施后形成的财务效益1742、项目形成的社会效益1757.2.1本项目产业化带来的社会效益17
4、57.2.2打造中国的“*”,产生巨大经济效益1767.2.3潜力无限的行业电视资讯市场1767.2.4本项目计划带动的社会化效益:“万人云就业计划”177八、项目后续发展规划1788.1拟突破的技术方向1788.2希望最终达到的行业地位182九需要解释和说明的问题185L环境逐利版权交易陷入“冰冻期”1852 .对项目发展制约影响1863 .4G带来突围希望1871 .1视频搜索市场的逐渐成熟1873 .2在线视频服务用户向移动端渗透1883.4短视频市场重新定义1894.未来项11兀善构想190一、项目基本情况和要求1、项目概况项目名称:新媒体电视内容云计算服务平台承担单位:*文化传媒有限
5、公司前期立项支持时间:批次及相关批复文件:见附件2.主要建设内容:“新媒体电视内容云计算服务平台”将围绕新媒体产业,建成全球最大的视频资源库,电视搜索平台及电视内容交换平台,将其打造成新媒体产业内容服务链上的最为重要的三个服务引擎。具体拟构建: 海量电视内容云计算加工厂 新媒体海量视频物流港 海量云电视搜索引擎总体架构及说明如上图总体结构及业务链流程所示:本项目所规划的建设内容为新媒体产业制播环节提供的内容服务平台,从基础内容加工到物流交换乃至上层的应用搜索,揭示了新媒体产业服务链的内核。我们将上述三大核心服务体系确立为本项目产业化的建设目标。在原有技术和规模的基础上,后期主要的工作将围绕“提
6、高服务质量,降低服务成本,扩大服务规模,创新服务模式”展开。海量电视云计算数字内容加工厂具体建设内容女项文仲 Ift看片段 IiFttMIV 次明片海量电视云计算数字内容加工厂系统结构和流程示意图作为本项目的第一大核心服务体系,是整体项目成功的基础,为各大电视台及内容服务单位提供点对点的电视媒体精细化数字加工服务,包括从各类节目源的采集、自动化处理、审核入库等一系列处理环节。(2)云计算生产流水线云计算生产流水线主要包括以下主要模块:海量电视实时采集处理模块:利用分布式部署的数字化收录设备,将开路信号(卫星,有线)中的电视信号实时收录为视频文件,目前已具备国内外近百个电视频道实时收录的能力。智
7、能化的视频特征提取模块:利用模式识别算法,自动化地对视频特征进行抽取,并利用图像比对技术实现关键帧画面的定位。电视语音文本化识别模块:利用模式识别算法,自动提取视频文件中的音频特征,并利用语音识别引擎,将音频识别成文本内容,并详细记录识别出文字在视频中的时间点对应,以实现对视频语义内容的索引和精确定位。电视画面识别与匹配模块:利用视频特征提取出关键帧信息,加上特定的图片比对模式识别算法,可以对多个视频片段的视频特征进行快速比对,以发现其中出现的相同内容。可以用来进行自动的广告或片头发现,以便快速去除广告,自动识别节目等。高清视频资源压缩存储模块:具备符合行业标准H.264编码技术的高清采集能力
8、,可以在1.5M码流上承载广播级标清内容。批量化信息分拣和推送模块:对于电视内容,根据不同客户的要求,实现类似传统物流行业的分拣、分发和推送系统,从而实现视频内容的高效准确交付。云计算生产管理模块:包括生产计划管理、云加工资源管理、质量检验管理、入库管理、在线结算管理等模块(3)新媒体海量媒资库内容导入模块:该服务提供给生产系统调用,完成内容的入库归档操作。该服务为异步操作,当入库请求提交给中心媒资服务平台后,接口立即返回,服务平台在后台完成入库操作,并以定义的回馈消息通知调用端入库的执行情况。内容回调模块:该模块是在资源云存储模式下,专门提供给委托加工方生产媒资系统调用,完成内容的回调。内容
9、管理模块:内容管理子系统作为媒资库的核心,承担对内容资源的宏观业务规划与调度、内容管理监控、节目资料的入库、元数据资料存储等关键性业务。系统管理模块:系统管理实现媒资库的全部系统管理功能。按照功能划分,系统管理分为系统业务管理和系统网络管理两大块,系统业务管理实现业务系统的监控、状态信息显示、系统参数调整等系统管理任务,系统网络管理承担系统整体硬件平台的管理、监控及配置任务。(4)加工厂攻关目标根据本项目的总体规划,云计算加工厂的技术攻关目标主要聚焦在云生产流水线的设计建设和云加工资源的开发、培训和管理上,二者需要在生产运营中达到完美的统一。具体将在2.3章节产业化攻关创新特色中描述。(5)建
10、设数字视频物流港基础平台数字视频物流港(以下简称“物流港”),主要为会员单位提供一个新媒体资源和节目的贸易平台,目标是汇集全国各大电视台的数字加工内容,面向新媒体产业提供一个个性化的贸易社区。从纯粹的商业模式出发,与大量新媒体产业关联的制作方和渠道方和商业合作伙伴构成网上贸易市场,专业做信息流和数码物流,汇聚大量的新媒体市场数码供求信息,使上下游企业用户获得有效的信息和数码物流服务,特别是许多创意企业特别是中小型的新媒体服务企业,由于信息闭塞,无法及时掌握供求方面的信息,以及获取创意资源,即使有了创作内容,也找不到合适的播出渠道,而物流港则可以成为供需双方之间一个信息的桥梁、物流的港湾。其系统
11、结构如下图所示:(6)建设电视云搜索引擎电视云搜索引擎是新媒体产业发展到海量阶段后必然出现的一种业态,但是这种业态的出现必然需要有前期的行业积累,包括电视数码加工业的兴起、新媒体内容交换业的发达,创意制作产业的不断发展,硬件终端的升级换代等等。但同时,电视搜索引擎带给上述业态的回报和促进也是巨大的,对电视搜看模式的影响和改变也是显而易见的,可以说,海量电视搜索引擎的出现,将带动一场新媒体的新的革命。我们正是预见到了这一趋势,所以在整体的产业化规划中,将海量电视云搜索引擎定位在我们为新媒体产业提供的内容服务链中最有价值的服务引擎,是服务三部曲的高潮。以下是电视云搜索的结构示意图。从上述结构可以看
12、出,本项目的电视云搜索引擎基于视频物流港的服务输出对象,如各大渠道运营商、视频网站等,它完成了各新媒体终端的嵌入,带给渠道以访问的回报,云搜索技术将是带来共赢并促进发展的关键。3.实施周期原定实施周期为: 2010年8月-2011年1月:海量电视云计算数字内容加工厂建设 2011年2月-2011年7月:海量电视云计算内容加工厂商用化部署 2011年8月-2012年1月1)新媒体视频物流港设计建设2)物流港固定资产投资 2012年2月-2012年7月:新媒体视频物流港商用部署 2012年8月-2013年1月电视云搜索设计开发电视云搜索固定资产投资2013年2月-2013年7月:电视云搜索商用部署
13、4 .总投资计划投资总额54463.75万元,已完成投资总额2000万元,其中银行贷款30000万元。5 .新增投资自有资金24463.75万元,银行贷款30000万元,申请专项资金7354万元。二、项目总体目标完成情况1、项目总体目标完成情况目标L建设全国乃至全球最大“海量电视云计算数字内容加工厂”1建设一条海量电视数字内容加工的云计算流水线完成说明:海量电视云计算加工厂基于10大自主产权的音视频自动化处理技术,通过对采集设备、计算、存储设备及云计算设施进行整合,实现了来料音视频的流程化处理,并将云加工资源有效组织为资源池,为上层加工服务提供足够的计算服务弹性,从而大大降低了生产成本,满足了
14、生产的动态化管理。具有以下设计特点: 全自动的流瘟化处理:满足了音视频从来料到入库的一体化自动处理 多任务生产计划管理:满足并发及突发生产任务下的生产线安排 云计算加工资源动态化管理:满足了云计算加工资源的弹性管理 在线劳动力结算体系:满足了面向云计算加工资源的结算服务。2创建一个国内最大海量电视媒体资源库完成说明:开放式软件系统架构,高扩展性;多级存储结构,强大的容灾容错能力。视频多码流采集、存储与传输技术,适应多种场景的综合应用。视频信息的碎片化处理,无信息死角,配合高可效率的搜索引擎,在资源应用时达到随用随取,海量媒资库现有数据:频道:310个.覆盖栏目数:9100个视频总时长:100万
15、小时视频总条数:1500万条增量:600小时/天,9000条/天存储:总存储量:3PB,增量:1TB/天3铺设一个覆盖全球卫星电视的数字采集网完成说明:目前我们收录的频道数共有206个,其境外频道44个。IDC机房分布在*、*、*、*、*等地。服务器的总量600台左右,存储总量1.5P0采集服务器基本可以接收市面主流的信号源,例如:UDP组播流、SDbHDMKAV模拟信号。采集视频格式主要是ts文件,后期我们可以通过转码,生成多种视频格式,例如:ts、mp4flv等。目标2:建设数字视频物流港1建设一个数字视频交换平台预期设想完成: 信息发布模块:提供商业机会发布、每日最新滚动、商情特快邮件、
16、视频工坊、人才热线等行业栏目相关信息的发布和更新。 媒资浏览模块:按分类陈列展示物流港会员的各类新媒体视听资源,汇集了海量加工厂的媒资库资源。可以通过媒资内容搜索对应寻找媒体伙伴,了解其详细资讯。 样片室模块:会员可建立和编辑自己的样片室,每个样片室均拥有一定容量的虚拟空间以免费放置并展示样片视频、图文信息。 洽谈室模块:用于会员间的贸易在线洽谈。 交易管理模块:用于定价交易、订单驱动、资源授权和物流结算。2建设和开发数字贸易、仓储和加工系统完成说明:我们目前已经在无锡国家软件园建成了拥有400台服务器的国内最大的海量电视加工平台,拥有2000平方米的采编中心,拥有400多名专业化技术人员和采
17、编人员,能够处理国内外近百套电视节目,达到日均近万条电视内容的处理能力,支持100多种视频输出格式,可同时向近百家机构提供365天不间断服务。3运作一个立足*、面向全国乃至全球的数字电视视频物流转运、结算体系预期设想完成:物流转运模块:用于会员贸易成交后,物流港根据供应方的授权,为购买方提供的按需转码、切片下载的服务。下载的视频内容,会按照客户的个性化要求,实现近百种视频格式的快速适配,以满足用户的最终需求。物流结算模块:物流转运后,根据成交内容或资源自动根据时长实现费用计算和结算。目标3:电视云搜索1建立基于内容的电视搜索标准完成说明:基于内容的视频搜索引擎,通过语音文本化识别,获取了视频的
18、语义特征,利用基于模式识别算法的搜索引擎技术,实现对于海量视频内容的索引和内容的视频搜索。模式识别算法是一种高度可扩展的多线程进程,可对目标内容进行分析并交付给用户,可实现下列核心操作: 概念识别:引擎接受一段内容或关键词输入,并根据相关性或概念差异程度对概念上相关的文档进行相关的排序,然后将其返回。 自动摘要:引擎接受内容并返回内容中最重要概念的摘要。另外,可以生成与原始查询相关的上下文摘要-从而可以根据给定查询的结果提供最适当的动态摘要 有效识别:引擎可以接受描述当前用户任务的文字信息并返回与当前任务相关的文档列表。 自动超链接:引擎将内容动态链接到上下文相似的信息上,无须手工插入链接。
19、自然语言检索:引擎接受自然语言查询并返回与所查概念相关的结果。同时支持布尔查询及关键词查询。 涉及的模块有内容采集、内容索引、内容聚类、内容分类、内容查询等。2实现分布式网络电视搜索体系完成说明:完成分布式索引和分布式的请求响应,该系统负责和部署在各云存储节点上搜索模块进行通信,及时将搜索结果返回给请求方。涉及的模块有分布式采集、分布式索引、分布式响应。3实现和手机电视、IPTV、互联网电视的整合完成说明:(1)当前已经服务于网易、搜狐、腾讯、土豆网等几乎所有的主要网络门户(2)在广电方面中国教育电视台、北京电视台、*文广等主要机构也均已采用了本项目的云计算服务。云媒资库转码后视频流智能匹配智
20、能移动终端、PAD端、笔记本和各类互联网电视端。现已覆盖用户数为4亿用户。2、项目建设内容完成情况核心技术创新:实现电视内容的标弓用玉结构信息的智能处理技术相结吾丁从而实现电视碎化的可搜索。A.视音频加工与标引技术本项目需要开发一套高效的电视新闻和节目的加工与标引系统,并构建于自动分析技术之上。编辑人员可以通过本系统利用视音频智能分析的结果快速对电视内容进行加工处理和标引。利用说话人聚类技术实现电视新闻快速分段:利用说话人聚类技术,将电视新闻中播音员切换时间点自动标注,以帮助编辑更快速的定位新闻的切断点。利用固定音视频检索定位实现电视节目自动分段:某些具有规律性的特定场景,通常以特定的声音或视
21、频片段为背景,通过对于音频和视频特征的分析,可以自动发现预置好的场景,比如综艺节目片头过场等。为了更好对音视频定位检索,还需考虑对音频和视频特征进一步结合。B.海量电视内容索引及音视频搜索技术基于自动分析的高精度,我们将研发针对这些高精度标引信息的搜索技术,我们将采用一种视频媒体自动化智能索引方法深入到视频信息中获取更多内部信息,可以从多维度详细的搜索视频中某个时间点所出现的场景和事件,使用户能通过简单的文本方式从冗长海量的电视数据中迅速定位到自己所需要的一段视频、一个场景、一句话甚至是一个人以及利用光学字符识别(OCR)引擎,自动发现、定位并跟踪电视视频中出现的字幕信息,并将字幕信息识别为文
22、字,作为快速标引的依据,同时字幕信息还可以与语音识别结果互为补充。这一技术能实现更精准搜索定位,以及进一步提升系统自动标引能力30%以上。利用先进的模式识别技术,本平台将构建一个智能化云分析子系统,对各地的生成的直播流内容进行分析,自动发现电视内容中的关键点,将将分析结果信息提供给编辑作为参考。本子系统将会对直播流进行以下分析:精确EPG分析与定位:电视节目片头片尾模版化识别;疑似广告智能定位分析:利用镜头与场景分析技术,快速发现电视内容中疑似广告部分;新闻片段分析:对于新闻内容,按照场景、说话人切换、新闻标题定位与识别等方式,进行自动化分段提示;关键字幕定位与识别:利用画面中文本检测技术与O
23、CR技术,实现视频中关键字幕信息(主持人、嘉宾信息,关键标题等)的定位与识别;语音分段与语音识别:利用语音分析与模式识别技术,将直播流中的语音进行分段,并对标准普通话发音的内容进行语音识别,转换为可供搜索的文本信息;模版化广告识别:通过与广告模版比对,发现直播流中确切的广告片段内容,是什么品牌,什么产品,什么公司的哪款广告。详见后文:三、项目科技攻关目标完成情况加工手段创新:云物料采集和云加工,通过全国各地区部署的电视云采集设备,经一系列自动化流程将来自各地的电视信号实时采集,通过互联网传送到“海量电视云计算加工厂”,调配云计算加工处理和智能分析,将连续播出的电视信号碎片化为一个独立完整的视频
24、片段,并完成视频编目索引。C.对大规模多格式电视信号收录技术当前已有的电视信号采录体系具有一定局限性,下一步研发将实现针对常见的广播电视信号包括多种格式,如数字有线电视信号(DVB-C)、卫星信号(DVB-S).SDk模拟信号等;而且除卫视内容可通过卫星接收设备集中采集外,地面频道都需要进行本地布点采集,各地信号格式和环境有很大的差异,对技术的普适性、容错性、稳定性及管理精度要求极高。我们需要研发建立可分布部署的云计算任务分发系统和可适应各类编码的采集技术来解决这一问题。D.视频数据模式识别技术电视中所蕴涵的信息非常丰富,本项目前期已使用包括标准普通话语音识别、关键帧分析、字幕跟踪与识别、场景
25、识别等多项模式识别技术,在下一步将继续深入研究,提升准确度,来最大限度的从视音频内容中提取有价值的标引信息,有效地提高编辑人员处理电视内容的速度。E.视音频分布式转码及处理技术为了更好的适配各类型媒体以及政企客户的服务终端,还需要将成品数据针对PC,Pad,Phone等各类型终端进行批量化的分布式转码,以实现最快在电视播出10分钟内就可以将数据发布到目的终端。F.大规模并行编辑体系研发通过采用音视频素材无损颗粒化、智能任务生成及分配技术来实现理论上可无限扩展的大规模并行编辑处理。改变传统电视内容加工系统串行工作的方式,从而可以实现动态调配编辑人员,在生产时效性与大规模编辑上,彻底解决传统加工方
26、式的不足。详见后文:三、项目科技攻关目标完成情况应用模式创新通过电视物流港解决新媒体行业版权的尴尬通过促进内容交换,拉动产业供应链的发展和完善暂缺应用模式面J新:(2)电视可搜索能力的赋予,将现今的手机电视、互动电视从直播模式带入互动模式,创造新的共赢渠道产业链。模式识别算法是一种高度可扩展的多线程进程,可对目标内容进行分析并交付给用户,可实现下列核心操作: 概念识别:引擎接受一段内容或关键词输入,并根据相关性或概念差异程度对概念上相关的文档进行相关的排序,然后将其返回。 自动摘要:引擎接受内容并返回内容中最重要概念的摘要。另外,可以生成与原始查询相关的上下文摘要-从而可以根据给定查询的结果提
27、供最适当的动态摘要 有效识别:引擎可以接受描述当前用户任务的文字信息并返回与当前任务相关的文档列表。 自动超链接:引擎将内容动态链接到上下文相似的信息上,无须手工插入链接。 自然语言检索:引擎接受自然语言查询并返回与所查概念相关的结果。同时支持布尔查询及关键词查询。涉及的模块有内容采集、内容索引、内容聚类、内容分类、内容查询等。详见后文:三、项目科技攻关目标完成情况三、项目科技攻关目标完成情况序号科技攻关目标实际完成情况1三年累计申请国家专利10项以获得授权15项,已受理43项2三年累计申请国家软件著作权15项具体指标实现情况:163三年累计申请商标权5项具体指标实现情况:14申报部级和国家级
28、科研成果3项具体指标实现情况:05发表论文6篇具体指标实现情况:01.1 三年累计申请国家专利1.1.1 已授权国家专利15项科技攻关目标实际完成情况证明材料三年累计申请国家专利10项三年累计申请国家专利15项序号发明名称申请号1一种播放流媒体的方法和系统20101061014022一种从RGB色彩空间到YUV色彩空间的图像转换方法20111005448633一种固定音频检索方法201110028979X4一种语音识别的方法20111005446515一种多媒体信息模糊检索方法20111007304816一种新闻节目的分段方法20111007304967一种多媒体信息检索方法201110073
29、05098一种数据库缓存的方法20111008344769一种演播室播控系统201110083459910一种音视频文件播放方法、系统及传输控制装置201110073057011一种数据库查询方法201110030626312一种分布式数据库连接方法201110093332513一种电视新闻编辑方法和系统201110028368514一种新闻视频字幕标注方法201210106534315一种视频播放的后台控制方法和系统20121010653391.1.2 已有受理通知国家专利43项序号发明名称申请号1一种播放流媒体的方法和系统20101061014022一种切割视频文件的方法201110054
30、46473一种信息同步的方法和系统20111002896394一种视频格式转换的方法20111005468885一种在视频中叠加图片的方法20111009330966一种实现蒙层画笔的方法和系统20111008344617一种无线屏控屏遥控系统和方法20111002969678一种定制新闻内容同步分拣推送方法20111002967899一种网络视频广告投放方法和系统201110093335910一种电视节目归档方法和系统201110083424511一种内容发布方法和系统201110073047712一种地理位置信息的电视应用呈现方法和系统201110073059X13一种视频关键帧展示方法和
31、系统201110029740414一种文件访问方法和系统201110093561715一种异步任务分发系统及调度分发计算单元201110093334416一种终端显示图片的方法和系统201110093339717一种音视频数据标引的方法和系统201110083425X18一种视频直播负载均衡方法和系统201110054689219一种移动设备播放视频的方法和装置201110029771X20一种电子书实现方法及制作系统201110029774321一种搜索信息的方法和系统201110029775822一种视频即时发布系统和方法201110029798923一种支撑电视活动的网台互动系统和方法2
32、01110073058524一种对PHPMYSQL数据库进行分表的方法201110093336325一种视频播放系统和方法201110028370226一种M3U8直播流防盗链方法和系统201110028367027一种任务分配方法和系统201110030729X28一种移动设备上用户行为追踪的方法和系统201110093308129一种手机电视电脑互动的方法和系统201110093337830一种搜索网络信息的方法和系统201110093338231一种MPEG-2传输流解码音视频同步方法和系统201110194343232一种播放M3U8流媒体的方法201110262307533一种新闻视
33、频场景生成方法201110262304134一种文本的候选关键词的提取方法201110337333X35一种广告视频检测方法201210214583936一种实现三维饼状图动态呈现的方法201210106535837一种视频直播流汇聚分发方法201210106536238一种播放流媒体的系统和方法201210194086739一种视频编码系统和方法201210194094140一种音视频编码同步方法和系统201210194095641一种三维曲线的动画展示方法和装置201210194088642一种广告监播方法和系统201210131696243一种电视直播流中的广告段检测方法20121019
34、496831-2三年累计申请国家软件著作权16项科技攻关目标实际完成情况证明材料三年累计申请国家软件著作权15项累计申请16项序号名称登记号1eMeeting移动终端遥控软件2013R11L0432862eMeeting无线交互终端软件2013R11L0432763eMeeting无线客户端软件2013R11L0432664eMeeting终端交互操控软件2013R11L0431985eMeeting前端交互展示软件2013R11L0431886eMeeting资源管理服务器软件2013R11L0431707iStreaming流媒体直播编码软件系统2012R11L0706908多媒体互动演播
35、会议软件系统2012R11L0706839手机多媒体资源摄录软件系统2012R11L07067510媒资管理软件系统2012R11L07053811触控播报互动展示软件系统2012R11L07045712移动视频智能播放系统软件2012R11L07044613IP全媒体互动演播软件系统2012R11L07010414多媒体统一教学管理平台软件系统2012R11L07009015全媒体视频连线软件系统2012R11L07007116ScreenShot全媒体播控软件系统2012R11L0700631.3三年累计申请商标权1项科技攻关目标实际完成情况证明材料三年累计申请商标权5项累计申请1项序号商
36、标注册号177236262、项目技术路线、技术创新性特点等情况2.1技术路线图本项目的一个目标是建设一个遍布全国乃至全球主要城市的电视数据智能采集处理及分析平台,能同时为数百个电视频道提供海量信息托管的智能处理及索引系统。系统能够通过画面模式识别、画面关键信息提取、自动语音识别、文本语义分析等智能手段实现90%准确率的自动信息标引,并满足每天5万条数据的处理能力,同时针对内容进行深入的数据分析与挖掘,来发掘视频内部的信息和彼此关联。这样一系列的处理流程实现了各种内容的自动化属性标引,满足电视资源的快速化传播和消费,并能最大程度发掘信息的利用价值和增值服务能力。本项目的另一个目标是为专业用户提供
37、所需要的针对收敛范围内站点的分析、统计和挖掘,在电视数据之外,为用户同时提供互联网内容的舆情分析,实现与电视搜索类似的网络定向搜索与统计服务。作为电视服务的增值配套功能,每个用户都能在看电视的同时,了解到互联网的类似舆情,将这两种主要的媒介资源进行整合,为客户提供更全面的服务。在海量电视数据智能采集处理及分析平台的建设过程中,为提升视频服务的可靠性及时效性,主要对大规模多格式电视信号收录技术、视音频智能分析技术、视音频加工与标引技术、视音频分布式转码及处理技术、海量电视内容索引及音视频搜索技术、大规模并行编辑体系研发等6项关键技术进行研发:A.对大规模多格式电视信号收录技术当前已有的电视信号采
38、录体系具有一定局限性,下一步研发将实现针对常见的广播电视信号包括多种格式,如数字有线电视信号(DVB-C)、卫星信号(DVB-S)SDk模拟信号等;而且除卫视内容可通过卫星接收设备集中采集外,地面频道都需要进行本地布点采集,各地信号格式和环境有很大的差异,对技术的普适性、容错性、稳定性及管理精度要求极高。我们需要研发建立可分布部署的云计算任务分发系统和可适应各类编码的采集技术来解决这一问题。B.视频数据模式识别技术电视中所蕴涵的信息非常丰富,本项目前期已使用包括标准普通话语音识别、关键帧分析、字幕跟踪与识别、场景识别等多项模式识别技术,在下一步将继续深入研究,提升准确度,来最大限度的从视音频内
39、容中提取有价值的标引信息,有效地提高编辑人员处理电视内容的速度。C.视音频加工与标引技术本项目需要开发一套高效的电视新闻和节目的加工与标引系统,并构建于自动分析技术之上。编辑人员可以通过本系统利用视音频智能分析的结果快速对电视内容进行加工处理和标引。利用说话人聚类技术实现电视新闻快速分段:利用说话人聚类技术,将电视新闻中播音员切换时间点自动标注,以帮助编辑更快速的定位新闻的切断点。利用固定音视频检索定位实现电视节目自动分段:某些具有规律性的特定场景,通常以特定的声音或视频片段为背景,通过对于音频和视频特征的分析,可以自动发现预置好的场景,比如综艺节目片头过场等。为了更好对音视频定位检索,还需考
40、虑对音频和视频特征进一步结合。D.视音频分布式转码及处理技术为了更好的适配各类型媒体以及政企客户的服务终端,还需要将成品数据针对PC,Pad,PhOne等各类型终端进行批量化的分布式转码,以实现最快在电视播出10分钟内就可以将数据发布到目的终端。现行的视频转码技术采用全解全编的方式进行,运算量最大的运动估计等模块将进行多次,这耗费了大量的计算资源。本课题将采取编码信息复用的级联转码框架进行视频转码(如下图所示),降低计算开销。解码模块输入 VLD编码模块块式换宏模转VLC输出卜 Q 尸 H IDCT FQ编码信息复用的级联转码框架级联转码器的核心模块结构分解如下图所示。在视频转码的关键技术运动
41、矢量复用以及宏块模式判决中,利用数据挖掘技术发现转码前后宏块类型和运动矢量的相关信息,提高宏块模式判断和运动预测的准确性。在此基础上,进一步采用判决树查找方法进行宏块类型判决和运动矢量查找,以此降低决策的计算复杂度。视频转码器的主要模块结构图在工程上,进一步利用GPU加速机制,提高视频转码速度。2)HTTP上的动态自适应音视频数据流封装技术音视频数据封装上除了继续支持现有的主流数据封装如FLV、MP4、HLV等之外,考虑研制符合MPEG组织去年制定的基于HTTP的动态自适应流(DynamicAdaptiveStreamingofHTTP,DASH)草案规范的音视频封装技术。2)智能视频内容分析
42、与理解视频自动编目及内容检索在已有的高准确率的镜头边界检测及场景分割技术的基础上,实现视频的结构化分析与描述:a)在图像的全局、局部及兴趣点多种层次描述视频内容;b)基于光流分析视频的运动特征;c)提出了基于多类支持向量机的镜头分类算法将视频节目分割成独立的镜头;d)提出了基于时间约束的聚类算法将镜头聚合成场景;e)提出了基于视觉感知的视频关键帧提取算法,在镜头及场景中提取代表性的关键帧;f)提出基于LSH和倒排哈希的视频索引技术,实现基于特征、图像及视频段的快速视频浏览及检索。基于多模态特征融合的视频广告自动发现及定位本项目提出的视频广告自动发现及定位框架如下图所示:识别结果列表指纹融合视频
43、广告自动发现及定位框架a)针对广告与正常节目在音频和视频内容上存在较大差异这一特点,在视频结构化的基础上,分别提取统计性的镜头切换率、节奏等一系列中高层音视频指纹;提出分别采用HMM以及随机森林的方法建立广告的音视频概率模型;b)提出了基于贝叶斯决策的音频和视频广告的融合判决算法,实现广告的定位。E.海量电视内容索引及音视频搜索技术基于自动分析的高精度,我们将研发针对这些高精度标引信息的搜索技术,我们将采用一种视频媒体自动化智能索引方法深入到视频信息中获取更多内部信息,可以从多维度详细的搜索视频中某个时间点所出现的场景和事件,使用户能通过简单的文本方式从冗长海量的电视数据中迅速定位到自己所需要
44、的一段视频、一个场景、一句话甚至是一个人以及利用光学字符识别(OCR)引擎,自动发现、定位并跟踪电视视频中出现的字幕信息,并将字幕信息识别为文字,作为快速标引的依据,同时字幕信息还可以与语音识别结果互为补充。这一技术能实现更精准搜索定位,以及进一步提升系统自动标引能力30%以上。利用先进的模式识别技术,本平台将构建一个智能化云分析子系统,对各地的生成的直播流内容进行分析,自动发现电视内容中的关键点,将将分析结果信息提供给编辑作为参考。本子系统将会对直播流进行以下分析:精确EPG分析与定位:电视节目片头片尾模版化识别;疑似广告智能定位分析:利用镜头与场景分析技术,快速发现电视内容中疑似广告部分;新闻片段分析:对于新闻内容,按照场景、说话人切换、新闻标题定位与识别等方式,进行自动化分段提示;关键字幕定位与识别:利用画面中文本检测技术与OCR技术,实现视频中关键字幕信息(主持人、嘉宾信息,关键标题等)的定位与识别;语音分段与语音识别:利用语音分析与模式