1、Windows 7 的视频改善,Anantha Kancherla首席程序经理 US-WEX PM,本章节:GRA-T585,Windows 7 为视频提供了一个丰富的平台.本章节主要强调Windows 7上的视频改进，同时讨论如何将模块嵌入Windows 7的视频架构中涉及的题目包括：视频播放和不同视频格式之间的转码，高分辨率DirectX 视频加速，和视频叠加,议程,视频播放和转码功能满足独立软件开发商视频渲染需求,Windows 7 投入,优化播放播放所有的流行媒体格式快速转码使PC成为可携带视频播放设备生态系统的中心新的照相机支持网络摄像头，手机照相（Point and shoot）,
2、和AVCHD开发者支持访问Media Foundation 技术的方式,优化播放,媒体格式,容器和编解码器格式间的微妙关系流行的格式名称MP4,DivX,MJPEG文件扩展映射.mp4,.m4a,.mp4v,.mov,.avi,.divx,使用的容器的特性流支持，制作者,视频和音频编解码器私有的DRM实现“播放格式X”更加复杂,简化的声明,很多新流行的媒体格式已经出现很多年了，但是大多数电脑用户并不关注我们已经使Windows 7中的主要媒体播放工作了Win7 可以播放如下容器MP4,AVI,MOV,3GP,AVCHD,ADTS,M4A,DVR-MS,WTVWin7 可以播放如下编解码器H.2
3、64,MPEG4-SP,ASP/Divx/Xvid,MJPEG,DV,AAC-LC,AAC-HE在电源使用上的更有效率在低成本电脑上更有效率一致的元数据,新的内置MF解码器细节新增的关联到Vista内置解码器,H.264:Baseline,Main,and High Profiles all levels IDCT,MoComp,and VLD DXVA AAC:LC multichannel,HE v1(SBR),HE v2(PS)MJPEG and DV native MFT decoders added for AVI,快速转码,PC是设备生态环境的中心,PC 是核心的媒体存储您经常想要
4、在外出的时候可以观看内容Sony Walkman 和Creative Zen W就是很好的便携式媒体播放器实例人们需要简单的传输内容到设备上的方法并且不会被复杂的细节打扰我们已经集成了优良的转码技术到Windows 7 shell当您拖拽文件到您的设备上，必要的转码就自动完成了,不同的格式,不同的便携式视频播放器需要不同的视频格式需要的格式并不一定是PC中存储的格式PC中的格式将是内容进入时的格式电视通常是 MPEG2未来更多的将是高清内容通常，便携式视频播放器需要较低的分辨率以适应他们的屏幕在未来更多的将会使用H.264视频和AAC音频改变音频是视频格式是将内容传输到设备上的过程的一部分,对
5、用户简单，在底层复杂,用户甚至都不用考虑转码的问题整个过程类似文件拖拽复制Media Foundation 底层的组件拓扑图读取源文件例如一个录制的HDTV文件使用例如MPEG2解码器解码处理并将分辨率达到设备所需要的大小使用设备支持的编码器编码，例如容器的H.264/AAC MP4 唯一的问题就是如果使用CPU就会耗费一些时间但是我们有硬件编码来解决这个问题,新的内置MF编码器细节增加的关联到Vista内置编码器,H.264Baseline profile level 3 with 1-pass CBRBit rate up to 1.5MbpsMaximum size:640 x 480,
6、maximum frame rate:30fps AACLC stereo with 44.1 or 48KHz sample rate96,128,160,or 192KHz bit rate,硬件转码,很多处理需要转码软转码一部电影可能需要几个小时，即使是在一个很快的处理器上处理时间过长违背了对用户隐藏转码细节的初衷新一代的芯片提供硬件编解码器这些芯片提供高速转码，例如硬件解码输入格式，硬件缩放，和硬件编码到另外的输出格式额外的功能允许独立软件开发商 提供更好的蓝光播放器很多公司将发布硬件编解码芯片这些芯片将被打包成插件模块这些芯片将会安装到主板上甚至成为标准的主板芯片组功能,独立硬件供应
7、商提供MFTs,音视频流是首选的最简单的方法，但不是唯一的方法或者第三方可以生产他们自己的MFT使用私有的接口与他们的硬件通信遵循MFT输入输出接口，类似软件解码器或编码器开放解码和编码成为独立的MFTMFT硬件加速编解码器认证提供拓扑构造器选择的机制提供健壮的方法了解提供商了解是真正的硬件加速绑定到新的健全价值计划使用 PVP-OPM-like 嵌入式挑战认证最好存放认证到硬件，但是也可混淆到驱动中,8,新的照相机支持,广泛的种类支持,可以播放和转码所有从照相机过来的格式摄像机使用AVCHD 容器H.264 in MP4 from next years still camerasFlipVi
8、deo 使用Xvid在过去您可能需要安装一个特殊的应用Media Foundation 视频流抓取将支持整个网络摄像头的使用场景对于网络摄像头UVC1.1 class driver 带有驱动扩展能力为用户使它变得美好和简单,开发者支持,Media Foundation 技术,增强功能容易使用执行增强功能新模块例如SourceReader 和 SinkWriter很多新的容器和编解码器硬件通道支持智能代理MF 流抓取可信赖的优点DirectShow 和FSDK 仍被支持,但是新的投资都在Media Foundation,通道转码,Byte Stream,Media Session,Source
9、Resolver,Media Source,Scheme Handler,Byte Stream,Byte Stream Handler,MFT Decoder,Media Sink,Hardware Acceleration,Topology&Loader,File,Network,Custom Input,Webcam,Custom Output,Pipeline Topology,MFT Encoder,Proc,Encoding Profile Management,File,Network,or,or,or,Video Scaling/Conversion,Audio Process
10、ing,Other,新MF 模块Source Reader,Sink Writer,Source Reader,Media Source,MFT Decoder*,Hardware Acceleration,Specific Conversions*,File,Network,Custom Input,Webcam,Specify URL,Byte Stream,or Media Source,Sync or Async Control and Status,Sink Writer,Media Sink,MFT Encoder*,Sync or Async Control and Status
11、,File,Network,Specify URL,Byte Stream,or Media Sink,Custom Output,Encoding Profile Mgmt.,Processing MFT*,Direct access to consume,modify,and create media samples,*Optional,开发者接口层,接触MF技术的方法Media Foundation 接口MF 播放 API 和转码APIWMP.OCXWPFSilverlight为了特殊的底层需求原始视频渲染接口,视频只是一个数据类型视频只是一个3D素材,WPF XAML,H.264 在3
12、D WPF Windows 7,示例,播放几乎所有格式,示例,拖拽转码,示例,硬件编解码器,示例,Windows 7 的视频改善,Media Foundation,Hardware Acceleration,Media Foundation+基础结构,Source Reader,Media Source,MFT Decoder*,Display Driver/GPU Hardware,Specific Conversions*,File,Network,Custom Input,Webcam,Sink Writer,Media Sink,MFT Encoder*,File,Network,En
13、coding Profile Mgmt.,Processing MFT*,*Optional,CustomOutput,COPP/OPM,Direct3D,DirectX Video Acceleration(DXVA),Desktop Window Manager,Direct3D,Display,Cable,GPU,Video Memory,WDDM,Windows Display Driver Model(WDDM),第三方独立软件开发商需要,世界级的应用稳定的播放已有的播放应用可能不是基于Media Foundation性能预期播放 低端硬件电力 电池寿命合同义务,第三方独立软件开发商
14、的痛苦,遗留的已有代码基础桌面合成旋转失灵意外的闪烁/缩放在低端硬件上很难符合内容输出规则自由应用对驱动通道商务需求,在Windows 7达到第三方的需求,发布OPM,涉及遗留问题OPM(Output Protection Management输出保护管理)规范和头文件被应用直接使用DirectShow 或 Media Foundation 或其他基于新的业界需求更新支持显示克隆，HDMI复制器,减少私有通道,阻止屏幕擦写D3D9Ex/DWM 增强 驱动软件保护独立硬件供应商使用开放接口实现基于硬件的保护CPU/GPU之间的加密使用AES 128 支持硬件加密引擎SHED 使用场景,播放时使用
15、叠加,缺点桌面组合失灵显存被压制只存在遗留API硬件问题硬件(有效性/功能)只有一个叠加优点在已有应用中验证应该更加快速和安全?,拥抱-叠加支持,支持桌面组合增强用户体验无闪烁无每帧组合代价存在于D3D9 APIs简化应用中的代码路径简化已有应用中的使用,优化播放,内存压力显示很多进程为显存竞争视频应用通常使用很多缓冲区通过减少缓冲优化播放可完成平滑的播放,优化播放,D3D9 Flip 模式增强组合性能(类似叠加)减少内存带宽需求全屏幕高级DWM消除闪烁MCE 可以全屏使用组合,优化播放,DXVA-HD 扩展DXVA高清视频处理和组合模式例如BD,ISDB-T标准化的应用接口驱动提供不同的私有实现存在于优化的Windows 7驱动中WDDM 1.1 可选驱动功能,