| fish's profileDeep&Blue&Wide oceanPhotosBlogLists | Help |
Deep&Blue&Wide ocean8/10/2006 世界范围的广电领域标准化组织介绍广播电视领域内,各种制式、格式、标准、规范纷繁复杂,令人眼花。世纪之交,广播电视领域正在进行一场数字化革命。各大国际标准化组织制定了(或正在制定)各种新的广播电视及其相关标准。 我国有关部门将这些“国际标准”划分为国际标准和国际先进标准。国际标准指经国际标准化组织(ISO)、国际电工委员会(IEC)制定或认可的标准。国际先进标准指未经ISO确认并公布的其他国际(或国家)标准化组织的标准。这些组织有: 1、区域性标准化组织:如欧洲电工标准化委员会(CENELEC)、欧洲电信标准协会(ETSI)、欧洲广播联盟(EBU)等; 2、国家标准 技术委员会(Technical Committees)共有214个,代号从TC1 — TC214,(还有一个与IEC联合建立的JTC1),各有自己的研究领域。每个技术委员会下设数个分委会(Sub-Committe),每个分委会下设数个工作组(Working Group),它们都有自己特定的研究方向。以下以JTC1为例说明: JTC1的内容是“信息技术”,共有21个分委会,从SC1到SC33(序号不连续),其中SC29的内容是“音频、图像、多媒体和超媒体信息编码”;SC29下设三个工作组(WG1、WG11、WG12):WG1的研究内容是“静止图像编码”,召集人为美国的ANSI;WG11(即 MPEG)的内容是“活动图像和音频编码”,召集人为意大利的UNI;WG129(即MHEG)的内容是“多媒体与超媒体信息编码”,召集人为英国的BSI。 ISO的技术工作是高度分散的,由2850个技术委员会、分委会和工作组完成。在这些委员会中,代表们(来自全世界的工业界、研究机构、政府权威、消费团体、国际组织)作为平等的伙伴来到一起解决全球标准化问题。 管理一个标准委员会的工作主要由一个成员体负责。该成员体通过掌握委员会的秘书处(如由中国担任秘书处工作的有TC202“微束分析”)来指派一至两人担任委员会主席完成技术和管理工作。每个对该项目有兴趣的成员都有权出任委员会代表(如JTC1有参与国26个,观察国36个)。 日内瓦的中央秘书处的工作是:确保各项目文件的“流动”;向秘书长和主席澄清“技术要点”;确保各技术委员会提交的协定作为“国际标准草案”被编辑、印刷、分发给各成员体(用于表决和出版);召集技术委员会和分委会开会——由于大多数ISO技术工作要征求反应,所以每个工作日世界各处几乎要开“一打”ISO会议。 ISO的资金筹集(财政)工作也直接反映了它的“分散”模式: 1、中央秘书处资金来源:来自成员的“认捐”(80%)和出售标准及其他出版物收入(20%)。货币单位用瑞士法郎计算;每个成员“被邀请支付”的具体数目通过两个基本经济指标计算:国民生产总值(GNP)和进、出口总值。每年这两个数字由ISO行政委员会(council)确定。 2、一些单独的技术秘书处运作经费由其负责的ISO成员体承担。 通常的估算是:中央秘书处动作费用占整个ISO管理动作费用的1/5。 另外,每年约30000名专家在交涉中义务地“贡献”他们的时间及其在ISO工作中的基本知识,这个价值肯定有数亿瑞士法郎/每年(这大概就是所谓“无形资产”的一部分吧!) ISO的标准被广泛地采用,很大程度地改变了我们的生活。ISO的一些著名成就有:ISO电影速度码,电话卡和信用卡、ISO9000质量管理和质量认证体系,ISO14000系列环境管理体系、飞行器国际标准、通用测量系统(SI)、纸张尺寸、汽车控制标志、线缆安全性、国家名称、货币和语言的ISO国际码等。ISO虽然是一个非官方组织,由于其成员大多为各国的国家标准化机构(官方机构),其标准广为各国采用,成为事实上的“世界标准”。 ISO的标准化活动覆盖了所有的技术领域,除了电气和电子工程。ISO友好地将这块蛋糕让IEC独享(当时)。随着时代发展,“各技术领域互相渗透”,1987年双方在“信息技术”领域内合作,成立了JTC1。几年后,诞生了MPEG系列标准,奠定了电视数字化的基础。这就是说ISO在其从未涉足的领域内初试身手即大获成功。其“队伍建设”水平之高,管理、工作能力之强由此可见一斑。ISO无疑是众标准化组织中的“领袖”。 二、国际电工委员会IEC(International Electrotechnical Commission) 1904年,在美国圣路易斯召开的国际电气大会(International Electrical Congress)决定成立世界上第一个标准化组织——IEC。IEC的任务是:“通过其成员,推动电气学、电子学及相关技术领域内电工科学标准化及相关事物(比如评估和认可标准)的国际合作。”电工科学包括:电子学、磁学、电声学、电讯和电力生产与分配以及“通用辅助”规则(包括术语、符号、测量、性能、可靠性、设计、扩展性、安全性和环境保护)。现在IEC成员来自50多个国家。 IEC的成员也分为三类:固定成员(即National Committee)有完全的参与权与表决权;准成员(Associate membership)有“有限参与权”,预备成员(Pre-Associate membership) ——须经5年“考验”才能“入党”(成为准成员)。各类成员的资格要求和权利、义务与ISO大同小异。我国的“广播科学研究院标准与规划研究所”是 IEC 的准会员。 IEC和 ISO机构设置类似,某些名称有些不同。IEC共有104个技术委员会,其中TC100负责“音频,视频和多媒体系统和设备”,1997年国家技术监督局已授权原广播电影电视部标准化规划研究所为TC100的“国内第二技术归口单位” IEC和 ISO有类似的标准审定程序(共七个阶段): 1、开始阶段:相应的文件名称为初始工作项目(PWI); 2、建议阶段:文件名称为新工作项目建议(NP); 3、准备阶段:文件名称为工作草案(WD); 4、委员会阶段:文件名称为委员会草案(CD); 5、征求意见阶段:文件名称ISO称为国际标准草案(IDIS),IEC称为“用于表决的委员会草案”(CDV); 6、批准阶段:文件名称为国际标准最后草案(FDIS); 7、公布阶段:文件名称为国际标准(CIS);可以是ISO的,也可是IEC的或 ISO/IEC的; IEC的许多标准是消费电子产品标准,主要的专业广播电视标准工作在 “TC100”和 “JTC1”中。 另外,采纳IEC标准,不论是否其成员——都是零折大派送(无偿)。 IEC作为世界上最早的标准化组织而且是电工领域内的,本来应该在广播电视标准方面具有无上权威 ,可现在这种权威好象是建立在与ISO的合作基础上—— JTC1。感觉上, IEC的工作能力与效率与 ISO相比有不小的差距。对现在广播电视标准纷杂负有不可推卸的责任。 三、国际电信联盟ITU(international telecommunication Union) 国际电信联盟和前两者不同,它是联合国组织的一部分,成立于1965年,是制定电信和广播电视业务的国际标准化组织。现在492个成员来自政府、研究机构和工业界等组织。总部设在日内瓦。1993年,ITU进行重组,下设三个机构:原分支机构国际无线电咨询委员会(CCIR)更名为ITU-R(无线电通信部门),原分支机构国际电报电话咨询委员会(CCITT)更名为ITU-T(电信标准部门),另外还有ITU-D(电信发展部门)。 ITU-R的主要工作是确保无线电频率和卫星轨道为所有国家平等、有效和经济地利用,和召开世界性和地区性大会来制定无线电法规和地区性协议,起草并通过有关技术、业务和系统的建议。世界无线电通信大会(WRC)每两年召开一次。某些问题也可由地区性会议来协调。全世界1500名专家组成了八个研究组(StudyGroup),每个研究组下面设有工作组(WP)和任务组(TG);研究组的任务是:审议各工作组,任务组提交、需由研究组会议批准的新建议书、新报告、课题,以及对原有建议、报告书、课题等的修订。 ITU与广播电视有关的标准可谓“丰富”,其中ITU-R的BT(电视广播业务)系列建议书中有一系列有关数字电视的最基本标准,如: BT.601-5:幅型为4:3和16:9的数字电视演播室的编码参数; BT.654-4:工作在ITU-R BT.601建议书(A部分)4:2:2级别上的525行和625行电视系统数字分量视频信号接口; BT.799-3:工作在ITU-R BT.601建议(A部分)4:4:4级别上的525行和625行电视系统的数字分量视频信号接口; BT.802-1:传送符合ITU-R BT.601制作信号的数字编解码器进行主观评价的测试图像和序列。 我国正在研究这些标准并将之转化为我们的国家标准。 联合国给人的感觉一向是效率低下,但ITU的工作似乎效率颇高。它的建议虽非强制性的,但被广大国家、厂家采用。现在ITU-R正在审定DVB有关数字电视标准。 ITU的官方地位也是ISO和IEC无法取代的。在某些领域内的协调工作(如卫星轨道和无线电频率分配)也是ISO和IEC无法完成的。 四、各标准化组织间相互关系; 如前所述,许多国家标准化组织是ISO/IEC、ITU的成员,也是一些区域性国际标准化组织(如CENELEC、ETSI等)的成员。 国际性标准化组织间也是密切合作的。以ISO为例,它和IEC的关系自不用说,和ITU-T在信息技术领域研究合作紧密,ISO/IEC所制定的一些信息技术方面的标准,ITU-T等同采用(如ISO/IEC 13818-2即ITU-T H.262)。在与区域性标准化组织交往方面,ISO和欧洲标准委员会(CEN)签署了长期信息交换和合作协议。各区域性标准化组织也将它们的标准提交ISO/IEC审定,期盼认可。 7/13/2006 非线性编辑系统的选购科技的发展正日益改变着影视制作的手段,非线性编辑系统近年来出现了百花齐放的局面。涉足影视制作多年,工作中接触到了许多不同类型的非线性编辑系统,也积累了一些经验。 什么样的非线性编辑系统才能是好的系统呢?我们认为:始终要站在使用者的角度考虑,技术的发展归根结底是要为人服务的,一言蔽之,越是贴近使用者的要求,越是符合技术发展的潮流,这样的系统才是好的系统。 目前市场上有许多不同类型的非线性编辑系统,同时这些产品也不同程度的暴露了一些问题,归纳起来有以下几点: 第一、稳定性差。在数字视频行业,没有什么比“死机”和数据丢失更糟糕的事情了。一个好的系统应该能够长时间稳定的运行,故障的原因主要有以下几种: 1、操作系统版本过低。一般来说版本高的系统出错的机率要低于版本低的系统。这些由于底层操作系统故障引起的错误将使用户后患无穷,且没有什么好的办法解决。所以,选择系统时要注意先看看软件基于的操作系统是不是稳定的、版本是不是较新的。 2、硬件系统搭配不合理。目前的非线性编辑系统在构建上主要有下面几种: ⑴以CPU+GPU实现实时或通过生成编辑,通过I/O卡或1394卡进行输入输出,这也是非线性编辑发展的主流方向。 ⑵主要以视频板卡内置的资源编辑,并配合CPU和GPU,最后通过视频板卡进行输入输出。 一旦购买了硬件搭配不合理的系统将会遇到一个非常大的困难,造成硬件搭配不合理的因素一方面是非线性系统集成商在技术力量上有欠缺,另一方面是为了降低成本厂家选用价格低的杂牌配件。所以在选购时一定要问清楚系统的详细规格,如果经销商用模糊的语言搪塞或以种种理由拒绝说明,必要时应征得生产厂家的同意拆开机器看个明白。选购时我们一定要看清厂家使用I/O卡或视频板卡的详细参数以及所需的系统配置,然后看厂家的系统配置是否符合要求,这些信息在板卡的官方网站上会有详细的说明。关于系统我们要看的有:CPU的详细参数(型号、主频、缓存等)及配套使用的主板芯片、型号等;主板的详细参数(型号、芯片、扩展槽、集成附件等);内存的详细参数(容量、品牌、型号、外频以及是否有奇偶校验功能等);显卡的详细参数(类型是AGP还是PCIE、品牌、芯片、显存等)。 3、非线性编辑软件不完善。现在非线性编辑软件多的让你眼花缭乱,但并不是所有的软件都有良好的稳定性,造成软件稳定性差的因素主要有:软件设计人员本身的研发实力较低和对产品的负责程度也不理想。我们选购时应看一看非线性编辑软件由什么公司开发的,另外有些厂商为了降低成本,缩短了软件的开发周期,还没有对软件进行完全测试就推向市场,这等于把测试的工作交给了用户,由于不同的用户会在各种各样的环境下使用软件,测试片面的软件只能让用户在使用过程中充当厂家的“试验品”,结果不稳定的问题就会暴露无疑。如果我们不慎选用了这样的软件,会经常遇到:画面不能正常播放甚至停顿、两段素材的交接处出现闪烁或者黑场、视频和音频不同步、画面或声音无故消失、若干素材的剪辑信息丢失、工程文件无法打开等许多问题,这些看起来并不起眼的毛病会给我们的工作带来很大麻烦。因此这就要求我们选购产品时应尽最大可能的设想自己可能遇到的操作环境,不厌其烦的逐项进行测试,用暂时的麻烦换取以后工作的顺利。 第二、在综合了以上这样问题的基础上,在系统稳定的基础上,我们要考虑的是选购的非线性编辑系统还要尽可能提供更多的功能,先做纵向比较,特别是根据自己承担的节目制作需求来确定需要那些功能,每一分钱都要花的值。再横向比较,选择厂家,厂家会告诉你一分钱一分货,你可以拿货比三家来衡量,寻找提供更多功能的厂家。我们怎样选择具有合适功能的非线性编辑系统呢?功能问题是我们每天都要面临的问题,所以要考虑我们的系统要承担多少个、多少种节目的制作,从具体实际出发考虑功能问题: 1、新闻类的节目的制作。⑴以功能稳定、易于操作为重点,以确保新闻的实效性和安全播出;⑵要有很好的网络共享的解决方案,能够实现采编审播一体化;⑶操作方便快速,因为新闻从制作角度来说相对比较程式化,系统应该可以让用户自定义工具,把许多流程的命令操作集成到一个工具上,简化操作程序;⑷字幕功能要强大,唱词的操作要简便,易于修改,并且可以存储多种固定的参数及模板;⑸系统对素材的采集、删除管理方案应该智能化。 2、电视剧的剪辑。⑴先考虑信号指标,巨资拍摄的电视剧应该从效果上是不折不扣的;⑵稳定也很重要,几天几夜编辑完成的作品,一旦数据损坏,后果不堪设想; 3、娱乐类节目的制作应选购能提供漂亮实时特技的系统,并且在设计结构上应该具有完全的开放性,因为在后期的节目包装中不可避免的要用到第三方软件和第三方效果插件,要具备很好的兼容性。 用于节目包装的设计和广告片的制作则对系统的开放性要求更高,应考虑选用硬件接口齐全的,常用的有SDI 、1394、模拟分量、S-Video、复合等,而且支持“真正的混合编辑”(真正的混合编辑指的是系统应该可以直接把文件拖到时间轨上进行编辑,而不是通过所谓的“转码软件”事先进行转码,转码其实是一个没有办法的办法,转码的工作不应该有人来完成,应该由系统在后台完成)。一个好的非线性编辑系统应该可以直接导入现在广泛使用的文件,包括各种压缩格式的avi、wmv、mov、wav、mp3文件等。例如有些厂商在自己的广告宣传上经常会用到“兼容”这个词,其实这是一个非常模糊的词,我们应该搞清楚到底兼容多少文件格式,并且应该把具体的操作方式问清楚,究竟是人工转化还是系统后台处理,做到心中有数。另外在节目包装中常常会用到“无压缩”视频或序列文件,这就需要系统的CPU和内存等资源足够强大,以保障功能的实现。 同时,我们还要考虑设备和人才的因素,有好的设备没人才等于浪费设备,有人才没好设备等于浪费人才,两种浪费都要不得。 第四,关于售后服务,最好的服务莫过于没有故障可供服务,与其发现问题解决不如杜绝问题的产生。 总之,我们选购一台非线性编辑系统总是希望它什么都可以去做,但是,两全其美的事情总是很少,因而这就需要我们综合考虑,权衡利弊,以最大程度的满足自己的需求。
总之,在选购非线性编辑系统时,一定要从使用者的角度出发,以人性化为标准,以性能稳定为基础,不要单纯听商家的宣传,要注重功能的细节测试,货比三家,选购性价比合理的系统,为我们的节目制作提供强有力的技术保障。 基于单网结构的数字媒体存储解决方案媒体素材数字化网络化存储的需求与挑战
随着整个电视行业数字化改造进程的不断深入,媒体素材,尤其是广播级视音频素材的数字化存储和共享,被越来越多的人认定为未来行业发展的必然趋势。 与通常的文字、图片或数据库的存储相比较,媒体素材有很多特性。 首先,数字化的视音频信号码率很大。PAL制的视频数据,如果不压缩,其码率为20MB/s,经过目前比较常用的压缩算法处理后,通常码率仍在25~50Mb/s。由于在视音频编辑制作过程中,经常会出现多个画面叠加的情况,总带宽为多个原始素材码率的叠加,因此码率通常会达到100Mb/s以上。 其次,高码率必然造成对存储空间的大量占用。一个时长为1h的MPEG-2 I帧(50i)的视频素材,需要占用22GB的存储空间。因此在视音频系统中,存储容量通常是以TB为单位进行计算的。 最为特别是,视音频的采集、回放等应用要求网络带宽必须实时、恒定、可靠的。以PAL制视频为例,每秒25帧画面,也就是说每帧画面的传输时间不能长于40ms,否则画面就会出现丢帧抖动。因此网络带宽的不稳定性对于视音频应用来说是致命的。 此外,由于在视音频系统中,需要多人同时进行编辑制作,因此对于数据共享有很高的要求,系统必须能够支持大量并发用户的访问,并且能够方便地进行规模扩展。
基于FC+以太的双网结构解决方案
双网结构的提出与发展
为了满足海量视音频素材数字化存储和再利用的需求,存储区域网(Storage Area Network,SAN)技术在广电行业内得到了大量的应用。最初的SAN是基于SCSI协议的小型系统,由于受到SCSI协议寻址空间、传输距离、安全机制等方面的限制,很快就被基于FC的SAN取代,目前FC已经基本成为SAN的代名词。FC实际是一种网络传输层的协议,它的特点是假设物理层链路质量可靠(使用光纤或铜缆),减少复杂的冗余校验运算,提供高速恒定的网络连接。由此可知,光纤技术只是光纤通道,更准确地说光纤通道协议(Fibre Channel Protocol,FCP)的一种选择。在视音频应用中,一个重要的特点就是共享。为了实现SAN上的数据共享,目前通常使用SAN共享文件系统软件,如IBM Tivoli SANergy来完成。SANergy软件的工作机理是采用一台服务器作为元数据控制器(Meta Data Controller,MDC),负责管理整个文件系统,SAN中其他SANergy客户端进行数据读写时,须先向MDC申请令牌,在MDC进行数据调度后方可操作。为保证SANergy软件的正常工作,除建立FC网络,还须要建立以太网用于传递控制信息。与此同时,很多视音频编辑软件、媒体资产管理软件必须通过以太网去访问中心数据库。这就是所谓的双网结构。它由基于FC协议的光纤通道网和基于TCP/IP协议的以太网组成,其中以太网主要传输控制信息和数据库信息,FC网络主要传输高码率的视音频素材数据。
双网结构的优势与缺点
基于“FC+以太”的双网结构的系统,最大的优点在于高性能,可以保证大数据量的并发访问情况下主机读写带宽的稳定。这主要是由于FC协议在设计时充分参考了以太网协议设计中的成功和不足,扬长避短,作了大量针对性的优化。目前2Gb/s的光纤通道已经可以提供200MB/s的数据读写带宽。而且4Gb/s的FC产品也已经发布,10Gb/s产品的开发工作正在进行中。 但这种架构也存在着相当多的不足。 最主要的不足就是其造价十分高昂,与以太网交换机相比,相同端口数的FC交换机的价格会高出几倍甚至十几倍;而在主机端安装FC HBA卡、为工作站铺设光纤等同样价格不菲。在视音频系统中,经常需要十几台甚至几十台、近百台工作站和服务器同时通过FC接入网络,这就造成系统成本的急剧上升。 其次,由于FC协议发展的时间还比较短(与以太网相比),标准化工作完成得不够好,不同厂商的产品间互操作性比较差,用户在实际使用中,经常会被一些设备不兼容的问题所困扰,特别是在不同品牌的交换设备进行级联或路由时尤为突出,故在进行产品选择时会有很大的局限性。 此外,光纤通道网络管理比较复杂。由于引入了很多新概念、新技术,网络管理人员在学习和掌握时会遇到很多困难;虽然各厂商近年来都在提高产品易用性和可管理性方面做了很大投入,但总体来看,对FC设备进行管理维护的复杂度仍然偏高。
基于纯以太网的单网结构解决方案
近一两年来,随着IT技术日新月异的发展,特别是千兆/万兆以太网技术的成熟、芯片处理能力的提升、iSCSI等相关标准的制定,一种面向视音频应用的基于纯以太网的单网架构解决方案开始出现,并已经在国内外诸多项目中得到了应用。这种基于单网的解决方案的特点是,所有客户端工作站或服务器均通过千兆或百兆以太网(绝大多数情况下使用双绞线)访问共享的存储池;在存储服务器端,根据技术的不同,可能会保留一个小规模的SAN网络用于核心设备之间的高速连接。这种架构消除或减少了系统对FC接入点的需求,并且通过一定的技术手段保证了客户端访问的带宽和效率,同时通过大量引入成熟的以太网技术简化了管理和维护,从而大幅度降低了系统的总体拥有成本(TCO)。 目前几种常见的基于单网的解决方案主要包括NAS技术、iSCSI技术和GPFS系统等三类,以下将分别进行介绍和分析。
NAS
NAS(Network Attached Storage)是一种比较传统的存储方式,简言之,NAS是特制的网络文件系统服务器,特制主要表现在系统的功能精简和性能优化。 NAS所支持的网络文件协议通常包括NFS和CIFS。此外,还包括HTTP、数据快照和备份服务。与基于通用服务器的文件服务器不同,NAS系统是不允许安装和运行任何其他应用程序的。 事实上,基于NAS的网络存储技术出现的比FC SAN还要早,但这种技术最大的问题在于NAS网关通过NFS或CIFS协议进行网络文件共享时,效率比较低,且难以保证带宽的稳定性。随着千兆以太网技术的发展和TOE网卡的出现,现在的NAS设备已经可以满足小规模制作系统的业务需要。前面提到的TOE(TCP Offload Engine)网卡,可以在维持网络连接时,将传统上由CPU负责的TCP/IP协议的封包拆包、校验运算等工作转移到网卡上,由专用处理芯片完成,大幅度降低了系统资源占用,提高了网络带宽利用率。 NAS系统的优点包括系统的易用性和可管理性,数据共享颗粒度细,共享用户之间可以共享文件级数据,而缺点则是系统的可扩展性差,特别是整个系统局限于提供文件共享的NAS网关处理能力。此外,目前支持TOE功能的网卡普遍价格不菲,对于用户来说,给每台工作站增配一块TOE网卡将是不小的投入。
iSCSI
2003年2月11日,互联网工程任务组(Internet Engineering Task Force,IETF)通过了iSCSI(IP SCSI)标准,这项由IBM、Cisco、NetApp共同发起的技术标准,经过3年的不断完善,终于得到IETF的认可。不久之后微软公司也正式发布了Windows Server 2003系统下的iSCSI驱动程序包,同时该iSCSI驱动还支持Windows 2000 SP3和Windows XP专业版 SP1和Windows XP 64位,可以免费下载使用,微软的支持也大大促进了iSCSI的发展。2005年6月12日,微软正式发布了iSCSI Initiator 2.0,比此前的版本增加了MPIO支持等多项功能,性能也比以前有所提升,仍然可以免费使用,这说明微软对此项技术前景非常看好。iSCSI协议的实质是实现了基于TCP/IP网络传输的SCSI指令,从本质上说,它与FC协议之间的区别仅在于传输层协议的不同,而对于应用层来说是完全透明的,通过iSCSI协议可以实现对存储设备的数据块级共享访问。iSCSI协议的出现,给网络存储界带来了翻天覆地的革命。人们发现,终于有一种低价位高性能的解决方案可以满足日益增长的对数据存储的需求。 在一个iSCSI网络中,至少由iSCSI Target和iSCSI Initiator两部分组成,其中客户端须要安装iSCSI Initiator,由它向iSCSI Target所在的IP地址的指定端口发起连接,存储设备上装有iSCSI Target,它在特定端口监听到连接后进行握手判断,最终创建出一条在TCP/IP网络中传输SCSI指令的隧道。客户端发出的SCSI指令,由Initiator加载到TCP/IP包上进行传递,当Target接收到此数据包后,再进行协议转换,从中剥离出原始的SCSI指令并访问后端的存储体。客户端对于存储的访问完全基于SCSI指令集,这样,就通过以太网而不是昂贵的FC网突破了SCSI设备对规模和距离的限制。 同时,iSCSI网络中还可以实现MPIO。MPIO可以使用多于一个的物理路径访问一个存储设备,通过容错或I/O流量负载均衡的方式提供更高的系统可靠性和可用性。在保护关键业务数据的存储管理方面,使用MPIO 连接iSCSI可以提供给客户额外的支持,保护数据免于丢失和避免系统故障。 与使用NAS的解决方案相比,iSCSI最大的优势在于高性能,由于协议设计的高效性,基于iSCSI协议使用普通千兆网卡,可以达到110MB/s的实测带宽,几乎是理论极限的90%,这样高的效率在NAS环境中是很难实现的。
GPFS及同类方案
GPFS是IBM公司近年来力推的一套存储解决方案,准确地说它是基于GPFS文件系统的多NAS网关存储服务器。它的核心是GPFS文件系统,这是一个SAN共享文件系统,在某些机理上与SANergy很类似,但由于其定位于高端,在很多特性上比SANergy有明显的优势。这些优势包括其支持PB级的单文件系统、支持并行读写同一文件、支持文件系统动态扩展、支持零秒的故障切换等,而且GPFS文件系统在所有的节点上都是以本地磁盘的形式出现的。 GPFS解决方案的实质是采用多个安装有GPFS文件系统的节点服务器,通过NFS、CIFS协议共享同一个卷。客户端对数据的访问方式与访问普通的NAS是一样的,只不过这个NAS网关的性能是可以水平扩展的。当一个NAS网关性能无法满足整体系统需要时,可以通过增加节点的方式扩充系统的整体带宽。 除了IBM之外也有其他公司采用了类似的方案,其共同特点是使用一套允许多节点同时以本地盘形式共享访问SAN存储体的SAN共享文件系统软件安装在多个节点服务器上,由节点服务器进行以太网共享。目前有不少SAN共享文件系统都可以满足此要求,如PolyServe公司的Matrix Server,Adic公司的SNFS或Linux平台下的GFS等。但由于其他产品没有像GPFS那样对这种应用方式作过针对性优化,而只是进行了简单的集成,在性能、安全性和可管理性上均存在比较多的欠缺。 这种方案最大的弊端在于通过标准的NFS、CIFS协议无法支持多节点间的自动负载均衡,也难以实现自动故障切换。也就是说,每个客户端在读写一个文件时,只能通过某个特定的节点完成,而且通常这个节点必须手工指定,一旦节点故障,客户端的访问将立即中断。这样当系统规模比较大时,为均衡节点间负载而进行的系统配置工作将会非常复杂,通常需要使用负载均衡交换机等较为昂贵的设备,这样系统造价又将增加。管理维护成本比较高。
未来的发展趋势
在广电领域中,现有系统绝大部分都是基于FC+以太的双网结构,经过了大量实践的考验,应该说这种技术的成熟度是比较高的。预计在未来一段时间内,双网结构仍将在电视台视音频系统中被广泛应用。特别是随着高清时代的到来,电视节目制作对网络带宽的要求比标清要高出几倍,如果要制作无压缩的节目,每秒的数据量更是惊人(超过100MB),现有技术中只有FC能够满足要求。 但与此同时,我们也看到,近两年来基于IP的存储技术发展速度之迅猛,大大超出了人们的预估。许多业界的领导企业包括微软、思科等纷纷推出其基于IP存储的产品,传统的主流存储设备供应商如HDS、EMC、IBM、NetApp等,也都提供了基于NAS或iSCSI技术的产品供用户使用。越来越多的业内人士开始认识到IP存储是大势所趋。在广电行业内,国内外主要的非线性设备供应商都提出了基于单网的解决方案,也已经有很多系统采用了这种纯以太的单网结构,其中大部分都是规模比较小、对性能要求相对不高的工作组或频道级项目。在这些应用环境中,单网结构高性价比的优点发挥的尤其明显,因此这些应用环境也是近期内单网解决方案面向的主要市场。另外,由大洋公司承建的中央电视台经济频道制作系统中使用了GPFS方案,这标志着单网结构在国家级电视台大规模网络项目中应用的开始。而随着万兆以太网的出现,以太网的性能又将出现大幅度的提升,千兆到桌面将不再是一个遥远的梦想。届时,以太网和FC网之间的性能差距将进一步缩小,单网结构将能够支撑更大规模的标清应用,甚至是高清应用。因此,从长远的角度看,单网结构将是一种更具有发展前景的技术趋势,在未来一段时间内,它将在越来越广泛的领域内,不断对传统的FC+以太网的双网结构带来冲击,并最终有可能取而代之,成为数字媒体网络化存储的标准方案。 7/4/2006 中国电视节目录制技术的质量及其标准一、引言 6/23/2006 CPU+GPU技术探讨CPU+GPU技术的运用,将非线性编辑系统从复杂的专用系统变成了一台普通的高性能计算机。这种利用软件核心算法替代专用硬件来驱动视频处理的技术,已经为更多的用户所接受,逐渐成为主流。 首先让我们简单回顾一下基于专用硬件的非编系统的工作模式。采用专用板卡进行视频处理的非编系统,计算机仅仅负责视频数据的存储和传输,而全部的数据处理则由专用的板卡来完成。 以此前市场上最常见的某种专用编辑板卡为例,其工作原理如图1所示。 CPU从磁盘子系统读取压缩格式的视频数据,通过PCI总线发送到专用板卡。板卡中的硬件编解码器芯片将压缩格式的视频数据解码成为基带视频数据,而后传送到硬件合成器芯片进行视频合成。通过合成器的调度,需要进行二维特技处理的数据被发送到专用的二维特技芯片中进行二维特技处理,处理后的数据传回合成器;需要进行三维特技处理的数据,则通过专用的私有总线传输到专门的三维特技板卡中的三维特技芯片进行三维运算,然后通过专用总线回传到专用板卡上的合成器对特技变换后的视频数据进行合成,合成后的画面数据或者由板卡转换成基带信号输出,或者再回送到硬件编解码器编码成DV格式的数据并通过1394总线输出。 专用硬件板卡的编辑系统具有明显的优点:由于在视频处理方面基本不占用计算机的资源,因此对于计算机平台的配置要求相对较低;采用专门设计的芯片来实现视频解码、特技处理和画面合成,因而可以保证系统的实时性。 但是,这样的系统也存在着缺点。首先,受到专用板卡的限制,系统所能够处理的视频压缩格式、特技效果的种类、实时性能都被固化了。无论如何提升计算机平台的配置,都无法改善系统的实时性能,也不可能通过软件编解码器来实现对更多压缩格式的支持。在这样的系统中,软件不过是用来控制板卡正常工作和实现操作界面,无法实现更多的功能。其次,由于专用板卡中使用了大量专用芯片,结构复杂,结果造成板卡稳定性较差、功耗大、发热量也比较高,加之存在兼容性问题,使得这种系统的稳定性较差,故障率高。此外,专用板卡价格昂贵,维修成本也较高。 由于基于专用板卡的非编系统购买和维护成本比较高,出于降低成本的考虑,市场上出现了一些不依靠专用视频板卡来实现类似视频编辑和处理的系统。也就是我们称为无卡软编或者粗编的系统,其工作原理框图如图2所示。 这类非编系统完全依靠CPU来完成解码、二维/三维特技变换和多层画面的合成。在硬件结构上,无卡编辑或者粗编系统本身就是一台高性能计算机;其软件架构非常近似于现在的CPU+GPU的结构,只是全部的运算都是由CPU而不是由CPU和GPU协同完成。由于全部的运算都依赖CPU,受到当时计算机系统CPU性能和软件架构的局限,此类系统只能处理解码运算量比较小的视频压缩格式,以及分辨率比较低的视频画面,因而输出的画面只能用于预监,而不能用于成片输出。相对于基于专用板卡的有卡编辑或精编系统,由于在功能和性能上的巨大差距,无卡软编或者粗编系统的优势无法真正体现出来,因而只能作为基于专用板卡的非编系统的一种补充,为一种低成本解决方案。 由于计算机系统架构的革新,目前高配置的计算机平台所能够提供的运算能力已经接近甚至超越了专用板卡,与此同时,非编系统的软件架构也发生了革命性的变化,采用CPU+GPU技术进行视频编辑和处理成为一种趋势。 CPU+GPU工作原理框图如图3。 CPU从磁盘子系统读取压缩格式的视频数据,由软件编解码器通过CPU运算解码成为基带视频数据,然后通过PCI Express总线发送到显示卡上的GPU。软件合成器利用GPU一次性运算完成二维、三维特技处理和视频数据的合成,合成后的数据再次通过PCI Express总线回传给CPU。CPU或者将数据通过PCI总线传输给I/O板卡转换成基带信号输出,或者再回送到软件编解码器编码成DV格式的数据并通过1394总线输出。 相对于基于专门硬件的非编系统,基于CPU+GPU软件架构的非编系统完全摆脱了对硬件板卡的依赖,突破了专用硬件结构的局限,利用通用的硬件系统资源实现了高性能的视频编辑和处理。 在性能方面,目前主流的基于CPU +GPU的非编系统已经可以轻松实现4~6层三维特技的实时输出,远远超越了目前主流的基于专用板卡的非编系统。 在可扩展性方面,由于系统完全采取软件架构,一方面通过提高计算机平台的配置来获得更高的硬件性能,从而直接提高非编系统的性能;另一方面,通过软件模块的添加和升级,可以支持更多的编辑格式、获得更多的特技效果。 在稳定性方面,由于抛弃了专用的硬件板卡,改用结构简单的I/O板卡实现基带信号输出,系统故障率、功耗、发热量等都大大下降,稳定性则大大提高。通过进一步优化系统硬件结构,选用设计更成熟和安全的品牌图形工作站,同时将I/O板卡做进一步的模块拆分,将模拟处理电路从板卡中拆分出来作为一个独立供电、独立散热的接口盒,可使非编系统实现工作站和服务器级的安全性和稳定性,从而大大降低维护成本,提高设备利用率。 在成本方面,目前基于CPU+GPU的非编系统,其缺点主要是对计算机系统的配置要求高,计算机平台上的成本投入高昂,但由于没有专用板卡上的成本投入,总体成本并没有增加。由于计算机技术快速发展和性价比不断提高,基于CPU+GPU的非编系统在性能不断提高的同时总体成本呈下降趋势。 非编网络的测量 (下)网络带宽的测量 根据前面的分析,我们主要进行SDD逻辑硬盘负载性能带宽测试、SDD单个Host端口与FC交换机连接的负载性能测试、满负荷时整个光纤通道负载带宽测试、单台非编工作站光纤通道负载带宽测试4个部分的测量。SANergy端口的测试值是平均值,并不能实时反映恒定数据流读写时的效果(一般此值偏高),但可以向目的存储体提供持续的端口操作,大致了解板卡和磁盘阵列的大文件读写性能,比较符合视频数据流的特点,是较合适的测试工具。 实测用以验证应用软件和系统稳定性和能力,我们采用了白噪声信号,其带宽大于各种普通信号源,并有带宽稳定、波动较小、易于监测网络带宽的实际流向和数据大小等特性,是非常好的测试信号源。所以,我们选择SANergy和白噪声信号来测试网络带宽性能。 在进行非编网络测试时,系统连接如图3。测试信号在信号发生器上载到SDD磁盘阵列,再从SDD磁盘阵列读出、下载到信号测试仪,然后才对上载的测试信号进行测量。 (1)SDD逻辑硬盘负载性能带宽测量 首先进行不同Tier捆绑Lun的带宽测量。在SDD上对Lun的捆绑进行设置,让Lun分别捆绑一个、两个、3个和4个Tier,分别测量不同设置情况下Lun的带宽。可以用SANergy测量:分别启动单个、两个SANergy写入大文件(1000MB/s及1000kB/s)测带宽;也可以用恒定视频数据流(50Mb/s的MPEG-2 I帧压缩的噪波信号,双轨码流为13MB/s)持续写入。 在实际测量中,选用白噪波测量,在信号发生器上产生白噪声,在不同交换机上的非编工作站采集此白噪声,把采集的信号写在同一个Lun上,逐渐增加采集非编工作站的数量,直到带宽饱和,计算采集非编工作站的数量;当进程稳定后,在SDD执行Stats指令,记录SDD的Host3和Host4的数据速率及总和,测试对应一个逻辑卷总的写带宽之和(所开启的非编工作站平均分布到两台交换机上)。经过测量噪波信号写入一个Tier捆绑的Lun,可提供约150MB/s以上的带宽,支持12路噪波信号写入;2个Tier捆绑的Lun,可提供约170MB/s以上的带宽,支持13路噪波信号写入;3个Tier捆绑的Lun,可提供约190MB/s以上的带宽,支持14路噪波信号写入;4个Tier捆绑的Lun,可提供220MB/s以上的带宽,支持约17路噪波信号写入。 在实际应用中,我们用3个Tier捆绑的Lun,每个Lun提供190MB/s以上的带宽,一共有4个Lun,可以提供4×190MB/s=760MB/s的带宽。 对于读性能带宽的测试也一样,根据不同的Tier捆绑成Lun,在不同交换机上的多台非编工作站同时读同一Lun的视频文件,逐渐增加非编工作站的数量或参与读取的图像层数,直到无法满足实时播出的要求,计算总播放层数,记录SDD的Host3和Host4的数据速率及总和。 (2)SDD单个Host端口与FC交换机连接的负载性能测量 用SANergy的读或写操作,同时通过选择跟交换机连接的非编工作站及控制读写素材的Lun的位置,可以控制数据单独从不同的Host端口进行读出或写入操作,在连接逻辑卷的唯一端口带宽饱和时,利用SDD的Stats命令记录此时每个Host端口的流量数据。 (3)满负荷时整个光纤通道负载带宽测试 当SDD连接的所有非编工作站同时进行读和写操作时,SDD的所有Host端口与FC交换机连接的负载性能。 测试方法:采用SANergy软件测试——在与SDD所有Host端口连接的FC交换机上的非编工作站上运行该软件,对不同卷进行并发读写测试,在该非编工作站或交换机上读带宽,得出SDD的所有Host端口与FC交换机连接的负载带宽。 (4)单台非编工作站光纤通道负载带宽测试 在单台非编工作站启动1~3个SANergy3.2应用,设置不同的文件名,同时启动读或写性能测试工具,测试对应一个卷总的读或写带宽之和。 非编工作站的通道数字特性测量 对非编工作站的通道数字特性测量,主要根据GB/T17953-2000《4∶2∶2数字分量图像信号的接口》、GB/T14857-1993《演播室数字电视编码参数规范》和GY/T152-2000《电视中心制作系统运行维护规程》等国家标准。数字视频测试信号由一台非编工作站采集,存储到磁盘阵列,再从非编工作站重放进行测试,系统连接如图3所示。在进行视频测试的时候,我们使用了彩条、五阶梯波、多波群、黑场、2T脉冲和蝴蝶结等测试信号,主要检测了输出幅度、幅频特性、非线性失真、信噪比、K系数、时延、同步幅度、闪电、矢量等视频指标,以及幅频特性、信噪比、总谐波失真、电平差等音频指标;同时,还利用PQA300图像质量分析仪对压缩的图像信号进行了测试。 由于非编工作站本身有SDI输入/输出及模拟分量和模拟复合输入/输出信号,测量时对信号的采集和输出也是分这三种情况。对视频信号也分为25Mb/s和50Mb/s两种格式进行采集和重放。由于实际中采用的是SDI数字信号采集和下载,在非编工作站里采用50Mb/s的MPEG-2 I帧压缩的视频流,下面重点介绍其测试。 (1)视频特性的测量 先把TG2000信号发生器与非编工作站的SDI IN连接,方法如图3。用50Mb/s MPEG-2 I帧压缩方式采集所有的测试信号,然后在故事板重放采集的素材,在非编工作站的输出端连接VM700T视频信号测试仪,测试输出信号的特性,结果列于表6。 重放各种不同的测试信号,可以测量非编工作站的数字视频特性,测量结果列于表7。 (2)音频特性的测量 与视频特性的测量一样,但是连接的信号发生器是TSG100音频信号发生器,采集的是单独的声音信号,测量仪器还是VM700T视频信号测试仪,我们采集了1kHz音频信号、扫频信号,测量的指标列于表8。 (3)图像质量的测量 对于数字压缩视频信号的测量,现在最流行的测量方法就是用泰克图像质量分析仪。PQA300本身存储了各种测试信号,通过上载其测试信号,然后在故事板回放测试信号的素材,把经过压缩的重放信号与储存在PQA300的原始信号对比,从而计算出压缩信号的质量。 测量中,选用了BBC、Flower、Mobile、Popple、Ski、Tennis 6种图像序列作为测试信号,测试结果列于表9。 PQA300的测量结果分为亮度PQR值和亮度与色度PQR值,通常考虑后者。当PQR值小于1时,一般观察者觉察不出图像的损伤;当PQR值小于3时,图像质量优良。 对测量结果的探讨 从以上测量可以看到,该非编网络有以下特点: 非编网络的测量(上)众所周知,目前应用的存储网络主要有直接附属存储(DAS)、网络附属存储(NAS)、存储区域网络(SAN)几种结构,而应用最广的是SAN结构。采用SAN网络结构,数据存储设备和读取数据的计算机将位于同一个专属的高性能网络中,网络上的任何计算机都可以访问该网络上的任意数据块,从而可以方便地对用户进行管理并对硬盘空间进行有效的分配。 本文探讨采用SAN结构的非编网络的测量。 如图1所示,采用SAN结构的非编网络包括SDD、交换机、服务器及非编工作站几个部分,SDD储存控制器控制整个硬盘阵列。在我们所测量的非编网络中,SDD拥有60个容量为146MB的硬盘,整个存储容量为8.76TB,由于我们对硬盘阵列做了冗余,其有效存储量为6.5TB。SDD储存控制器控制拥有4个码流为100MB/s的HOST端口,通过这4个端口与光纤交换机连接,光纤交换机再与各个工作站连接,形成一个光纤网。同时,各个工作站也与以太交换机连接。这样,光纤网和以太网相结合,就组成了一个双网结构的非编网络。网络中采用两台MDC服务器作双机热备份,平时两台MDC服务器一起工作,各处理一半的数据量,当一台MDC服务器出现故障时,另一台就会接管所有的任务,使整个网络的运行不会受到影响。 数据服务器也采取双机热备份,共同管理数据库,同时还利用Legato Co-Standby Server 2000软件进行即时备份,使非编工作站和SDD数据库的数据不会丢失。 FC交换机采用的是两台Mcdata公司的Sphereon 4500交换机,它有24个端口,交换速度为2Gb/s,每台FC交换机与SDD的两个HOST端口连接,非编工作站也分别接入两台FC交换机,保证当FC交换机单点故障时,网络的部分设备仍可正常运行,并且能够构成一个完整的制作网络,完成上下载及后期制作工作。 从SDD控制器到MDC服务器和数据服务器,所有主要网络设备都有冗余,任何一台主要网络设备出现故障时都不会影响整个网络的运行,因此这种SAN结构的非编网络具有极高的稳定性。 影响网络性能的一个主要因素就是网络的带宽,在网络带宽使用达到极限的情况下,整个网络的交换速度就会受到严重制约。在测量的非编网络中,带宽瓶颈可能来自几个方面:(1)多台非编工作站同时对同一硬盘的读写带宽,即SDD本身硬盘的带宽;(2)HOST端口的带宽;(3)交换机端口的带宽或者交换机与非编工作站之间的带宽。所以,在做网络带宽测量时,主要针对这几个方面进行。 对于SDD来说,其RAID结构如图2所示。测量的SDD一共建立了6个Tier和5个LUN:由Tier1、Tier2、Tier3捆绑而成的LUN1、LUN2,由Tier4、Tier5、Tier6捆绑而成的LUN3、LUN4、LUN5。其中LUN3有100MB的存储容量并作为MDC的Cluster心跳盘使用,其余LUN的容量都为1.6TB。单块硬盘的I/O理论带宽约在20MB/s以上。通过多个硬盘的捆绑即可使网络达到非常可观的带宽数值,在我们的SDD硬盘阵列中,除了心跳盘,每个LUN都由10个以上的硬盘捆绑而成,所以每个LUN都可以提供200MB/s以上的带宽。同时对用户使用存储空间进行配置,把用户对存储空间的使用设置在不同的LUN上,4个LUN可以提供800MB/s以上的带宽,所以硬盘本身并不会成为网络带宽瓶颈。 对于SDD的HOST端口,在测量的非编网络中SDD上有8个HOST端口,可以提供800MB/s的接口带宽,但是网络只使用了4个HOST端口,可以提供400MB/s的接口带宽,整个非编网络一共有30台非编工作站,其中20台采用Matrox DigiSuite DTV板卡,可以实现两路实时;另10台采用Pinnacle Targa3000系列板卡,可以实现三路实时。测量的非编工作站全部采用50Mb/s的MPEG-2 I帧压缩的视频流采集,非编工作站每个轨道的带宽为: 50/8MB/s=6.25MB/s 30个非编工作站的总带宽为: (20×2+10×3)×6.25MB/s= 437.5MB/s SDD使用的HOST端口带宽为400MB/s,假如30个非编工作站同时读写SDD,SDD使用的HOST端口将出现带宽瓶颈。在实际中,一般不会出现30台非编工作站同时读写SDD的情形。根据经验统计,只需按理论峰值的1/3来计算。30台非编工作站在使用中读写SDD的实际最大带宽为: (437.5/3)MB/s=146MB/s 可见,在实际使用中SDD还是有很大的带宽余量。这个结论在实际使用中也得到了证实。 非编的网络测量 这次我们主要针对广东电视台新建的非编制作网络,从网络的稳定性、网络的带宽瓶颈及制作的视频质量三个方面进行测量。由于测量的非编网络没有接入无卡非编工作站,视/音频数据都是通过FC交换机传输而没有经过以太网交换,所以网络的带宽测量主要是针对FC网部分;而以太网主要传输控制信号,数据流量很小,因此在带宽测量中可以被忽略。 |
|
||||||||||||||||||||||||||||||||
|
|