《某省移动短消息计费系统技术建议方案.docx》由会员分享，可在线阅读，更多相关《某省移动短消息计费系统技术建议方案.docx（33页珍藏版）》请在课桌文档上搜索。
1、某省移动短消息计费系统技术建议方案计费系统技术建议方案北京华胜天成科技股份有限公司第1章前言4第2章系统概述42.1 系统概况52.1.1 现有系统概况.52.1.2 建设系统概况.52.1.3 系统设计目标.52.1.4 数据库平台要求.52.1.5 主机服务器平台要求.62.1.6 计费数据处理要求.62.1.7 保护管理要求72.2 系统设计原则7第3章系统结构设计93.1 短消息计费系统的特点93.2 应用软件体系结构103.3 数据处理流图113.4 软件功能模块123.5 服务器处理模式设计12第4章平台及运行环境设计134.1 主机系统设计原则134.2 主机系统平台现状134.
2、3 主机系统需求分析144.3.1 影响性能的几个方面.144.3.2 服务器性能分析.754.3.3 在线存储容量计算.164.3.4 建议方案.17第5章应用软件设计205.1 短消息计费系统功能介绍205.2 数据采集与传输子系统205.2.7 功能简介.205.2.8 传输系统结构.205.2.9 系统功能.225.3 数据预处理235.4 话单划价255.5 重复话单过滤255.6 话单并行入库265.7 计费结算275.8 统计分析285.9 稽核排错285.10 数据交互295.11 系统查询295.12 系统保护30第6章系统关键问题316. 1与GSM计费系统的融合316.1
3、.1 简述.316.1.2 系统结构图.326.2 关于帐务系统326.3 关于超额部分336.4 关于SMC话单33第7章系统平滑过渡337.1 组织337.2 系统过渡割接的方式347.3 系统过渡割接步骤34第1章前言随着我国移动通信事业的迅猛进展，为了迎接日益临近的市场竞争，电信部门在开拓市场业务，扩大电信网通信能力的同时，越来越重视电信企业内部的服务意识，并不断完善电信企业的服务体系，为此作出了不懈的努力。南京联创系统集成股份有限公司自成立之初便确立了以电信行业作为自己重要的进展方向。目前，在电信行业已具有了丰富的积存与长足的进展，取得了可喜的成绩。特别在电信计费、电信业务这一领域，
4、公司着眼长远，立足未来，投入了大量的精力，进行电信计费、业务等应用软件的研究开发工作，致力于为电信行业提供全面的解决方案。现在公司已具有一批既熟知计算机技术又深谙电信业务的专业技术人员与一支稳固的高素养开发队伍，为能够开发移动短消息计费系统准备了充足的人力资源与强大的技术支持。而且，江苏移动的短消息计费的一期工程也是由联创公司承建的，我们对原先系统的熟悉将有助于我们更好的建设新系统。同时，我们真诚地希望，藉此机会能够与贵局进行广泛的交流，进一步巩固与加强相互间长期的友好合作关系。我们将虚心地向贵局的行家们学习、请教，进一步提高我们的知识水平与业务能力，从而为江苏移动提供更加优质、完善的服务。第
5、2章系统概述江苏移动通信有限公司已于2000年5月根据集团公司的要求建设了短消息计费应急系统，实现短消息按条计费的要求。随着短消息用户数的增加，目前所有的GSM用户都能够是短消息用户，同时随着手机炒股，GPS定位、与monternet计划中大量基于短消息的丰富应用逐步推出，原先的短消息应急系统在性能与功能上都难以习惯业务的进展要求，迫切需要建设一个完善的短消息计费系统。2.1 系统概况2.1.1 现有系统概况移动计费的短消息计费系统目前为应急系统，其中有五台机器构成，两台PC机及三台惠普的PCSerVer,pc机上安装有SCOUNlX,分别运行短消息话单的预处理及下发程序。PCSerVer上安
6、装有NT操作系统，运行SYBASElI.9.2的数据库服务器，分别处理南京、无锡、苏州等三个短消息中心产生的短消息话单。目前该系统支持全省100万用户的短消息业务，每月的短消息话单数大概为2000万。2.1.2 建设系统概况本期工程设计要紧实现省计费中心系统实时处理能力满足数字网（GSM）300万以上移动用户每天7条短消息话单的计费需求。2.1.3 系统设计目标随着电信企业向着规模化、多元化经营转变的不断加剧，越来越多的电信企业开始从传统、单一的经营模式向着“以市场为导向，以满足用户需求为经营目标、以服务于用户为经营宗旨”的经营理念转变，这就更进一步加大了电信企业间竞争的力度。如何更好地服务于
7、用户、更好地满足市场的需求己开始成为众多电信企业经营者的关注所在。本期工程就是要为XX省构架一个覆盖全省的短消息计费管理平台，系统的建设按满足到2002年移动通信网用户进展的需要考虑（300万以上GSM短消息用户）。本期工程的建设目标是，建立一套能满足300万短消息用户的短消息计费平台。2.1.4 数据库平台要求数据库平台应使用SYBASE数据库平台，能完成大容量数据的实时处理与管理的能力，SYBASE数据库能满足下列要求:令支持ANSI/ISoSQL-89ANSIIS0SQL-92；支持并行处理技术；支持主流厂商的操作平台；支持多种复制功能支持联机分析处理（OLAP）；令支持联机事物处理（O
8、LTP）；支持C2级以上安全标准、多级安全操纵；令具有强的容错能力、错误恢复能力、错误记录及预警能力；令支持联机、脱机备份等。2.1.5 主机服务器平台要求主机服务器平台应具有较高的安全操纵机制，各平台除有足够的能力进行计费处理外，还应具有其它（比如故障检查、故障处理等）的应急处理能力。所选择的主机平台应该满足下列特性：1 .高扩展性。当业务量增加或者增加新业务时，主机能以增加节点、处理器、内存等方式提供更高的性能来满足新的要求。2 .高可靠性。主机系统需7*24小时连续运行，同时系统应具有良好的容错能力。系统应使用冗余配置，保证系统无单一故障点。3 .支持并行技术。支持多台主机并行的处理，以
9、保证大容量数据处理的要求。4 .易于管理与使用。保证系统的易使用性，并使系统在较优的状态下运行,以提高系统的的运行与处理效率。5 .恢复周期短。当对系统进行扩容或者系统发生不可预见的故障时，系统应能在24小时内恢复到正常运行状态。2.1.6 计费数据处理要求数据处理包含三部分数据：短消息中心采集到的原始话单数据。令短消息网关采集到的原始话单数据。令集团中心下发的本省用户的全国性业务的话单文件。为保证忙时的数据处理要求，系统完成对话单的计费处理（包含格式转换、检错、纠错、入库、查找重单、分检）的速度正常情况下要达到：令本地话单，从话单出现在计费采集接口到完成计费处理（包含采集、预处理、批价、存储
10、、分检），不超过15分钟；令全国业务话单，从话单放在全国移动计费结算中心设在省中心的通信服务器到完成数据的处理（包含话单的检查、存储、分检），不超过15分钟。2.1.7 保护管理要求令系统具有良好的交互性，操作简单、明确。令系统提供多种访问手段，同意管理员在不一致的环境下对系统进行管理。系统提供完备的监控与调度工具，具有完备的监视、故障检查与告警、故障处理功能。尽量将主机、网络、数据库、应用系统、与第三方产品的管理集中到单一的监控与管理平台上。令系统的管理应具有较高的自动化程度。令系统应具有可靠的备份机制。2.2系统设计原则针对移动短消息计费系统的特点，为了保证系统的成功实施，我们制订系统设计
11、原则为：系统性、正确性、完整性、可保护性、先进性、继承性、安全性、规范性与容灾考虑。系统性：移动短消息计费系统是一个覆盖了全省的计算机管理工程，要想成功地构架这一系统，使之能满足XX省目前直到300万以上移动用户的需要,则务必正确合理地综合分析主机、网络、数据库系统所提供的性能并充分考虑到整体系统的可扩展性，使整个应用系统的性能达到最佳状态，以满足不断增长的用户数及话单数的要求。正确性：指数据的正确性。数据的正确性务必贯穿在整个短消息计费系统的每个环节中，数据采集、数据传输要有相应的数据校验，务必剔除计费过程中各类类型的错误话单，排除用户三个月以内的重复话单、与各业务管理中心等系统进行数据交互
12、时的准确性、兼容性。在系统设计时充分考虑系统运行过程中数据的正确性并提供合理的解决方案。完整性：指系统功能的完整性。它要求短消息计费系统应满足XX省移动通信业务经营、管理、决策的需要，同时要求系统能与其它系统（如集团中心的短消息中心）进行信息共享或者提供数据接口。可保护性：指系统中某一相对独立的模块发生改变时，不影响其他模块的运行，保护操作简单，用户操作界面友好；当系统处理的某些指标需要动态改变时，不需要修改程序代码就能够实现相应功能，充分做到代码与数据的独立性，以减少操作保护人员的工作量与工作繁重程度。先进性：指系统模式结构的先进性与软件设计思想的先进。在构架移动短消息计费系统时务必使用先进
13、、成熟、可靠的技术，确保整体系统的先进性，利用面向对象的设计思想，对一些通用性、规范性较强的模块使用面向对象的“构件”技术，关于超大规模的数据量，引入“数据挖掘”等先进技术，为系统的决策支持、数据分析提供先进的工具平台。继承性：指本系统在开发实施阶段，应充分考虑利用XX省原有的短消息计费系统及移动电话计费系统数据资源与其他一些能够继承的软、硬件资源，务必在建设系统中得到充分利用，以充分保护用户的投资利益。安全性：计费数据是移动经营最重要的收入来源，而整个计费系统是构架在全省范围内的一个大型广域网系统。因此，在信息高度共享的系统中，务必充分利用主机、网络与数据库管理系统提供的安全保障机制，确保计
14、费数据的绝对安全。关于应用系统而言，对所有系统数据的操纵，严格按照权限级别进行，严禁非法用户进入系统，关于操作人员进行的相应重要的操作有相应的操作日志。同时，对系统重要数据提供可靠的备份与恢复机制，以确保整个应用系统的安全。规范性：在技术、业务的懂得上要完全遵循XX省移动公司关于短消息计费的要求；在主机的安装、网络的设计时严格遵守相应的规范；应用系统实施数据库设计时，也应按照规范化理论进行，同时保留一定的冗余，确保系统的效率与性能。容灾考虑：系统应尽量考虑到如何避免特殊状况的出现，同时也应考虑在特殊情况出现时的处理方法。第3章系统结构设计3.1短消息计费系统的特点短消息计费系统与传统的GSM话
15、音计费是有着许多的区别的，因此，短消息计费系统在业务处理上与流程上应该有其自身的要求，如：1、短消息系统的话单源与GSM计费系统有差别。短消息系统的话单源不仅产生在短信中心，同时，也会产生在短信网关，同时，这两种类型的话单源还起着不一致的作用，一个是用来计算用户的通信费，一个是向用户代收取信息费与与SP之间的结算；2、短消息系统的话单根据采集点及话单的不一致，分为MO、MT、SM0、SMT、SMC.SMF、SMA多种类型，分别起着不一致的作用，而在传统的计费系统中，通常所涉及到的话单类型为MoC、MTCPOCPTC几种；3、短消息话单中某些话单是已经批好价的，如从短信网关传送回的话单，已经包含
16、了用户的信息费，而关于GSM来说，所有的话单都需要进行批价计费。4、从短信中心产生的话单与从短信网关产生的话单的格式是不一样的。5、短消息的费用类型与GSM与区别，GSM话单的费用类型能够分为通信费、长途费两大类，而短消息所涉及到的费用为通信费、信息费、劳务费6、短消息牵涉到与SP之间的结算，而GSM牵涉到的是只与联通、电信等电信运营商的结算。7、短消息系统不仅是要向用户“收钱”，而且由于有“WAD”信息公布、广告业务，短消息计费系统还要向用户“送钱”，这一部分送的钱需要与帐务系统间重新定义接口，以便于将其转换为用户的预存话费。但是，短消息系统的处理流程又与原有的GSM话单计费的流程有着很多的
17、相似之处，如：1、都包含对话单的采集与预处理；2、对需要对话单的正确性进行校验；3、都需要对话单进行稽核统计；4、都需要对话单按照某一政策、按不一致的费率进行计费批价；5、都会对部分话单进行上传与下发的接收处理工作；6、都需要将计费产生的用户费用信息传递给帐务系统，由帐务系统最终形成综合化的帐单，向用户收取费用。3.2 应用软件体系结构在充分考虑到短消息计费系统自身的特点与与GSM计费的共同点之后，我们对短消息计费系统的体系结构进行了合理的划分：短消息计费系统应用软件的体系结构能够分成四层：即预处理层、核心处理层、管理层与接口层。如下图：这样的划分关于系统的整体灵活性有着非常大的好处，能够使系
18、统能更加习惯今后业务的变化。结合应用软件的功能与应用软件的分布情况，应用系统的结构如下图所示:数据库服务器数据库服务器标准化 批价、入库 稽核排错 下发计费批价服务器计费批价服务器上传下发服务器考虑到系统充分利用现有的设备，因此,计费批价服务器使用目前已有的L2000服务器，数据库服务器使用HP的N4000服务器。3.3 数据处理流图短消息计费系统的数据流图如下:3.4 软件功能模块短消息计费系统要紧有下列几种功能模块，各要紧功能模块间的关系图如T：下发平台3.5 服务器处理模式设计随着各类短消息业务的开通，短消息的话单与刚开通短消息是相比，已经取得了长足的增长，目前应急计费系统已从开始的一台
19、数据库服务器扩充到三台数据库服务器，目前每月的话单数已经达到了3000多万，而且数据量还在不断的增加，因此在进行主机选型的时候，一定要考虑到主机的性能要满足数据量不断增加的需要。由于短消息计费系统在处理流程上与移动电话计费系统的相似性，我们在考虑服务器处理模式的时候将以目前的移动计费系统的处理模式为参考，即系统由多台处理服务器构成，每台服务器的处理能力达到极限后能够在系统上有机的增加服务器从而增加整个系统的处理能力，而系统的总体结构不需做大的调整。第4章平台及运行环境设计4.1 主机系统设计原则联创系统集成股份有限公司在进行主机系统方案设计时遵循下列设计原则：开放性一计算机系统应支持工业标准或
20、者事实标准，以便随着今后需求的进展可添加与更新新的模块。 先进性一在兼顾系统成熟性的前提下使用业界先进的技术，这样才能保证现有系统的先进性，并随着技术不断进展得到相应的更新。 可扩展性一用户的业务及需求在不断地进展，当现有系统不能满足应用需求时，系统应有平滑升级的能力。 高性能一高性能应表达在整个计算机系统中，包含服务器、网络、I/O操作与软件。 可管理性一由于计算机环境的不断扩大，IT系统的更加复杂与覆盖面的增力口，对服务器、网络设备与应用软件的管理已成为设计计算机环境不可缺少的一部分。 选领导地位厂商产品一如所选厂商不在业界处于领导地位，尽管有的时候所选产品在技术上有暂时的领先性，但很容易
21、被猛烈的市场竞争所淘汰，用户的投资将得不到保护。短消息计费处理系统应严格按照业务协议的内容设计、执行，做到计费数据处理及时、准确，系统简洁，便于保护，各类功能齐全而易于扩充。使用先进与技术成熟的主机、网络与应用系统，建立一个具有高可用性、高可靠性、高安全性、有良好的可扩展性与可保护管理性的准确、快速、开放的高性能系统。4.2 主机系统平台现状目前系统的平台现状如下:DCN短信息计费系统平台各机器的配置信息如下：数据库服务器：PC服务器，CPU400MHZ以上，内存IG以上、硬盘IOoG（目前数据库服务器已从一台扩充到三台）；预处理服务器：高档PC,CPU300以上，内存256M以上、20G以上
22、；下发服务器：高档PC,CPU300MHZ以上，内存256M以上、20G硬盘,MO驱动器；应用服务器：PC、CPU300以上，内存128M以上、4G以上。软件环境如下：数据库服务器：操作系统WinNT4.0、数据库SybaSelI.9.2；预处理服务器：操作系统SCOUniX5.0以上版本、Sybase11.9.2Client；应用服务器：操作系统Win9X、Sybase11.9.2ClientsPowerBuilder6.5以上;下发服务器、预处理服务器：操作系统SCOUniX5.0以上版本、SybaSeII.9.2。4.3 主机系统需求分析4.3.1 影响性能的几个方面影响服务器整体性能的
23、因素是多方面的，针对不一致的应用，设计时考虑的侧重点也不一致。移动通信计费系统这类联机事务处理的应用，要紧从CPU、内存与I/O三个方面考虑，下面分别进行论述：CPU：联机事务处理的主机，要紧是作为数据库服务器而不是计算服务器，因此以服务器的TPM值作为相对选型参考值。需要说明的是厂家公布的服务器TPM值，通常是使用最大的硬件配置、按照100%的利用率所得到的，而在实际建设中的系统配置往往小得多，系统性能的TPM不可能有公布值那么高，在对服务器处理能力进行估算时，需要将一些经验值与TPM值一起综合考虑。内存：内存是所有程序运行的环境，在CPU与系统软件处理能力的范围内，内存越大则服务器的处理性
24、能越好，但不一致的应用对内存的要求不一致，因此在计费系统服务器内存设计中，需要从应用需求的角度来考虑，寻找最佳的配置。I/O：在CPU处理能力一定的情况下，磁盘阵列的I/O速度，可使服务器的整体性能表现相差几倍到几十倍，因此我们在设计中要特别注意磁盘阵列I/O的选型，尽量选择I/O带宽高的磁盘阵列，同时考虑到单个磁盘的I/O速度是一定的，需要靠多磁盘的并行读取来提高磁盘阵列I/O速度，在容量与性价比容许的情况下，尽量选择容量小而数量多的磁盘，能大大提高磁盘阵列的I/O吞吐性能。根据应用对磁盘阵列的划分进行优化也是提高I/O性能的一个重要方面。432服务器性能分析4.321 预处理月艮务器联机事
25、务处理能力的分析预处理服务器要紧用于将采集系统传来的原始话单标准化，并统一批价后形成话单清单供计费服务器排重入库，其处理是文本转换与简单计算的过程。根据联创在移动计费上的经验与一百万用户级系统实际运行的测算，一百万用户的话单预处理需要TPM值为2000左右的服务器，则300万用户量需要6000tpmC处理能力的服务器。服务器内存容量的分析为保证预处理的高效，文本转换的过程应全部在内存中完成，批价所需的费率等参数表也应常驻内存以避免反复读取影响效率。根据联创在移动计费上的经验与一百万用户级系统实际运行的测算，一百万用户的话单预处理需要内存200MB,则300万用户为600MB,考虑到系统本身的开
26、销，因此推荐内存配置为1GB。4.322 计费数据库服务器计费数据库服务器是整个移动计费系统的中心服务器，运行数据库管理系统，负责进行话费排重与入库，并提取供统计分析使用的有关数据。 联机事务处理能力的分析一张话单的处理流程包含：打开文件、读记录、纠错、入库、出库等等,根据联创在移动计费上的经验与一百万用户级系统实际运行的测算，每张话单的处理约等价于0.5个标准事务，贝J:300万用户，平均每个用户每天7张话单，即每天2100万张话单；平均每分钟处理的话单为：2100万/（24X60分钟）=14584张；假设通话高峰时间每天为8小时，则高峰时服务器负荷按平均负荷的3倍计算，如今要求系统的tpm
27、C值为：14584X0.5X3=21876tpmC；建议系统利用率不超过80%,则需要配置的处理能力为21876/80%=27345tpmCo 服务器内存容量的分析计费结算是将通过标准化与批价的原始话单入库与汇总的过程。由于交换机是定时向外传送话单信息，因此在某种程度上计费结算是一个批处理过程。根据联创在移动计费上的经验，综合考虑数据库共享内存的使用与系统、数据库本身的开销，建议按照1GB/CPU配置内存。 提高I/O性能的途径1 .使用高传输带宽（100MB/s的光纤通道或者相当）的存储设备；2 .根据应用对磁盘阵列进行划分，使尽可能多的磁盘并行读写；4.3.3 在线存储容量计算根据江苏移动
28、短消息计费系统的业务量与具体特点，与从数据库、磁盘使用技术等方面的考虑，我们按下列要求配置存储设备容量: 本工程满足300万用户量的处理需求，每用户每天平均7张话单； 在线存储的容量要紧考虑话单清单容量，每张话单按200字节计算； 话单在线存储4（3+1）个月，每个月按30天计算； 数据库冗余度50%（要紧是考虑到数据库索引与其他一些表占用空间、数据库不能及时释放的空间、数据库运行、恢复、日志、临时与共用池空间）； 磁盘利用率85%（要紧考虑到磁盘的最佳使用性能与一些额外磁盘开销）； 数据存储保护技术决定的空间利用率，镜像为50%；则所需磁盘容量=300万X7X30X4X2OOX（1+50%）
29、/0.85/0.5=1657GB04.3.4 建议方案尽管高档UNIX服务器出故障的可能性很小，但由于江苏移动短消息计费系统是江苏移动通信公司业务支撑系统的重要构成部分，因此在进行主机系统方案设计时仍须考虑其高可用性，同时兼顾性价比。4.3.4.1 全面设计上一节中，我们对满足江苏移动300万用户规模的短消息计费系统所需的主机处理能力、内存大小与存储容量等进行了全面的分析。联创建议方案的出发点就在于在满足性能要求的前提下，如何提高性能价格比，最大限度的为用户节约投资。预处理服务器使用两台的HPA500服务器，配置单550MHzPA8600CPU,1GB内存，双18GB内置硬盘，考虑到联创计费软
30、件预处理模块的特点，能够不构成双机系统，而通过手工切换；计费数据库服务器使用HPN4000服务器双机系统，每台配置4X550MHZPA8600CPU,4GB内存，性能达到33000tpmC下发服务器与应用服务器能够使用已有的L2000服务器。联机存储使用HPFC60磁盘阵列，配置容量2TB,通过光纤交换机与上述服务器连接，构成存储区域网（SAN）。434.2方案特点高可用性使用的高可用性技术:系统停机因素保护策略系统(System)MC/ServiceGuard技术保证当系统中一台服务器失效时，其它服务器迅速恢复这台服务器上的应用程序与数据库系统正常工作。内存(Memory)系统能够动态检查内
31、存，当发现坏内存页时屏蔽该内存页不再分配给系统使用。网卡(NetworkInterfacecard)系统配置双网卡，一块工作，一块作备份。MC/ServiceGuard可监测网卡，当其中一块不能正常工作时，MC将自动切换到备份网卡。接口卡服务器与磁盘阵列通过双接口卡连接，其中一块卡失效时另一块卡仍可保证系统正常运行。Internal磁盘(Disk)系统盘：用MirrorDisk/UX软件对引导区(root)交换区(swap)镜像。高可用性存储系统(HighAvailabilityStorageSystem)可热插拔的磁盘、电源与风扇模块。FC60冗余电源子系统与系统后备电池。磁盘与高速缓存的检
32、测与纠错。应用(Application)MC/ServiceGuard能够在同一系统上再次启动应用软件，或者将应用迁移到备份系统上。HP-UX当系统出现突发停机时，HP的日志文件系统(JFS)将在10秒以内使系统恢复运行。令灵活性由于使用了SAN技术，当业务量出现突发性增长时，能够方便地通过增加服务器或者存储设备的方式提高系统处理能力，而不需要重新构架。这种灵活性既保护了用户的投资，又提高了业务系统对市场变化的习惯能力。令可扩充性在满足300万用户规模计费性能要求的同时，该系统还具有充分的扩充能力，能够平滑扩展到更高用户量的处理能力要求，具体表现如下：主机系统通过增加CPU扩展性能：A500单
33、机最多可配置2个550MHzPA8600CPU,处理能力可达15000tpmCoN4000单机最多可配置8个550MHzPA8600CPU,处理能力可达60000tpmCo主机系统通过增加内存扩展性能：N4000单机现在对内存的支持最高可达32GB.A500单机现在对内存的支持最高可达8GB,主机系统增加内存会对数据库等大内存需求的应用有很大的性能提高。主机系统通过升级CPU扩展性能：目前HP已经推出了性能更高的550MHzPA8600芯片，HP会推出PA8xxx芯片及以后的IA-64结构的CPU,N4000能够通过CPU升级达到系统性能提升的目的。主机系统I/O扩展能力：N4000单机支持1
34、2个PCI的I/O槽口，I/O带宽可达5.8GB/S。主机系统复杂扩展：除了上述简单的扩展方法外，也能够通过在群集中加入新的结点的方法来实现性能的扩展。现在MC/ServiceGuard可支持的HP9000SerVer结点数为16个，因此也具有相当的扩展余地。另外，假如应用的性质会转为数据仓库的话，在增加一个基结点后，现有的服务器都可作为附加结点加入到企业并行服务。存储系统容量的扩展：HPFC60最大可扩充至4TBo第5章应用软件设计5.1 短消息计费系统功能介绍短消息计费系统是一个综合复杂的系统，它的处理流程与移动计费系统类似，由许多子系统共同构成，并与其他有关系统存在不一致的接口。短消息计
35、费系统要紧包含数据采集与传输子系统、预处理子系统、划价子系统、下发子系统、统计子系统、稽核子系统、查询子系统、监控子系统等，下面对各子系统的功能要求进行全面的描述：5.2 数据采集与传输子系统5.2.1 功能简介短消息计费系统的数据源有三种：1、 短信中心的话单文件2、 短信网关的话单文件3、 集团中心下发的话单文件。其中1、2的话单文件由华为的采集机负责采集，而3的话单文件是集团中心通过自己的传输系统将文件放在江苏移动公司与集团中心的通信机上，关于短消息计费系统来说，只需将三种数据源的数据传送到预处理机上。传输系统要紧完成短消息计费中心与全国计费中心之间、短消息计费中心与地市业务中心之间、短
36、消息计费中心与计费数据采集机之间与短消息计费中心与外部系统之间的信息交互与数据传输，以保证各级管理系统之间的移动通信资源与数据能够实时（或者准实时）地共享与保持一致，为实现移动通信专业化集中管理与分级处理提供保证。522传输系统结构在部、省、地市各级中心之间、短消息计费中心与外部系统之间与短消息计费中心与采集系统之间的交互信息要紧有：计费原始数据、用户清单数据、统计数据等。关于这些数据的传输设计，务必充分考虑数据的传输效率，以保证计费结算的高效处理。传输系统的要紧数据流向如下图所示：短信采集系统与短消息计费中心的数据传输短信采集系统与短信计费中心之间传输的要紧是由数据采集系统从短信中心及短信网
37、关实时采集到的所有计费原始数据，这些数据要紧由短信采集系统流向短信计费中心，是一个数据集中的过程，所有的数据传输都是实时而且自动化无人值守的，由短信计费中心集中对数据传输进行监控。短信计费中心与地市帐务中心的数据传输短信计费中心与地市帐务中心之间传输的要紧是地市帐务中心所需的用户帐单、用户清单与统计数据，所有的数据传输都是实时而且自动化无人值守的，由短信计费中心集中对数据传输进行监控。用户清单数据文件定期下发，传输周期能够由参数以分钟为单位来设置。每个下发文件中包含文件头、用户清单，文件头中包含文件类型、文件长度（包含文件头）、下发清单数、用户数、帐单记录数、各项费用统计值等信息，下发文件的命
38、名规则为：TLLLYYYYMMDDhhmm.NNN其中各位的含义为:T-文件类型。1.LL一地区编号，全省统一编号。YYYYMMDD-下发文件生成日期，年月日。hhmm下发文件生成时间，时分。NNN下发文件编号，OOo-999循环。传输系统通过文件名与文件头信息来验证数据传输的正确性。短信计费中心与集团中心的数据传输短信计费中心与集团中心传输的要紧是省间结算数据，这是一个双向数据交换的过程，包含上传集团中心的结算话单数据及集团中心下发的结算话单数据。短信计费中心与外部系统之间的数据传输短信计费中心与外部系统之间要紧是网间结算数据与业务统计结果数据的传输，系统提供拷盘、联网文件传输、数据库共享等
39、传输方式，具体的传输方式需要与有关运营商或者业务部门共同协商确定。5.2.3系统功能传输系统由联创公司基于FTP自主开发，该传输软件具有下列功能：1）应用系统或者程序之间可靠的、无人值守的双向数据传输功能；2）提供自动数据传输与定时通信功能；3）具有传输消息事件触发功能，在传输正确完成后自动触发用户指定的处理进程；4）传输系统提供配置与监控工具，实时监测传输线路与传输应用的运行状况，并能及时传送到省中心的集中监控系统；5）具有自动错误恢复功能；6）自动重试与断点重传功能：数据传输中断后，能自动重新传输并跳过已传输的数据；7）提供多种数据安全性操纵机制：标识与认证、数字标记等；8）提供全面的传输
40、事件日志，并定期对传输两端的日志进行传输一致性检查，若发现漏传或者错传，传输系统自动重传；若发现其它特殊或者故障，通知集中监控台，给出告警。9）对短消息中心采集的原始话单文件的连续性进行检查，确保无话单文件重复5.3数据预处理前台预处理子系统是短信计费系统的核心功能子系统之一，它完成不一致格式的计费原始数据的数据提取、标准化等一系列处理工作。计费预处理功能在预处理服务器上完成。鉴于各类交换机计费信息的格式不一，需要在入库前对各类类型的计费信息进行标准化处理，将不一致类型交换机的计费信息统一成标准格式。同时将原始数据中由于各类原因造成的不能计费的话单标识出来，供计费模块判别。目前短信计费中心的原
41、始话单类型要紧有：短信平台话单：关于短信平台话单文件，要紧有下列几种话单类型：点对点短消息的话单人工台或者自动台发起的MT方式的短消息话单由移动台发起的各类收费信息话单，如股票查询、用户订阅的消息等各类公众信息源公布的MT方式的短信话单，如天气预报等开通移动梦网后，在短信网关上会增加下列几种话单类型：短信网关话单类型：SP发送给点播用户的短消息话单（其中包含用户自点播、用户为别人点播、及SP主动发送的信息三种）集团中心下发话单：集团中心每两小时下发一个M文件，每天12个文件，文件中包含SMT、SMC、SMT-F、SMe-F四种话单类计费预处理功能数据提取：原始记录中包含许多通话信息，但计费分拣
42、应用所需的数据域只是原始通话记录域的一个子集。由数据提取功能提取计费系统所需的数据域。 支持多种类型交换机原始计费数据的数据提取； 支持多通话业务的数据提取，并对新业务提供数据提取接口； 对原始计费记录提取过程提供完善的差错检测功能：/提供记录级的差错检测：支持对每条提取的计费记录进行数据审核校验，识别其中的错误或者无效话单，包含：格式错，与移动交换机定义的数据结构不符重要记录域为空错误字符，包含：d通话日期、时间、时长非法对端号码错误d记录域中含有非法字符计费信息不足不需计费话单/提供数据块级的差错操纵：话单提取后计算出的块长度（包含块头、块尾、有效话单、错误话单）与原始数据块长度一致性检验
43、、块序号连续性检验。/提供文件级的差错操纵：相邻处理文件中拨打时间的连续性检验、文件序号连续性检验、数据块数检验、转换字节数与文件长度一致性检验。/对数据差错或者丢失情况记录日志，并根据差错级别提供不一致的告警。记录标准化 支持原始计费记录数据格式向计费系统定义的标准记录格式的转化； 支持按设置的参数对大文件进行拆分； 按照计费系统的设计进行计费记录的数据分类。预处理配置与管理 提供对整个预处理子系统的各类参数的查询、配置与修改； 支持原始计费数据的实时备份与数据转储；提供对预处理各个模块的实时监控与管理，如：物理空间检测、用户口令权限管理、预处理过程监测、入库状态监测、进程管理等。预处理阶段
44、统计正常有效话单统计特殊话单统计无效话单统计错单纠正统计令对预处理阶段非正常的话单应存储在文件中或者数据库中，以备查询。令能够对每台交换机的产生的每个文件的有效话单数、特殊话单数、无效话单数的统计，该统计能够按日、周、月、季进行。5.4 话单划价话单划价所完成的功能是将通过预处理的话单按照有关的资费标准计算出基本费用的过程，也称之划价或者批价，划价后形成计费清单数据。计费处理过程能习惯最新的短信资费政策，并可满足今后业务不断进展的需要。计费处理能够实时地处理短信平台及短信网关产生的与集团中心下发的话单，接收到的计费文件在下一文件传到之前处理完毕，做到话务高峰时不出现话单积压。在计费划价的过程中
45、，系统可正确的对各类类型的话单进行划价，同时可区分不一致的话单类型，并做不一致的标记，按照事先确定的分拣规则进行分拣，以生成不一致的清单文件进行并行入库。对包月类及封顶类的短消息话单类型，划价程序也进行正常的划价，清单留做查询及统计用，具体的收费有帐务系统确定。对按条收费的短消息话单，系统能够根据不一致的话单类型进行不一致费率的划价，并可满足不一致优惠的需要。关于不一致类型的话单，通过统一的参数管理，进行费率的灵活配置，关于信息公布业务（WAD）,需要建立单独的用户费用记录，传送给帐务系统，用来做为用户的预存话费。考虑到这部分费用与用户的信用度等推断有关，建议使用每15分钟一次的间隔，将WAD
46、产生的用户的预存费用下发给帐务系统。5.5 重复话单过滤要对重复话单进行过滤，首先应分析一下产生重复话单的原因及如何标识重复话单。产生重复话单的原因要紧有：交换机生成原始通话记录时产生的重复；采集过程中故障重采产生的重复；令文件传输过程中产生的重复；数据交互过程中产生的重复（来、出访话单的上传、下发）等。重复话单的标识：同一用户（IMSI）、同一天（Sdate）、同一时刻（Stime）产生两条相同的通话记录。按照集团中心的要求，需排除三个月以内的重复话单。因此对重复话单过滤技术要求就很高。解决的办法是：令数据分割令优化索引机制快速定位以空间换性能这是快速“过滤网”技术的设计思想。5.6 话单并行入库目前在建的短消息计费系统以后每月处理话单的数量可达上亿张，这些己划价的话单是计费系统的基础数据，需存储在数据库中。话单入库的效率将直接影响计费处理的整体效率，特别是月末处理的性能。话单入库的效率除了与磁盘I/O的读写速度有关外，与数据库系统的整体设计也有着密切的关系，特别是出现月初与月末性能差异太大时。解决的办法：合理地进行数据分割令有效地建立索引令合理的应用分布，降低磁盘读写冲突，减少访问磁盘的次数。系统效率的提高，需从系统整体设计着手，下面将针对下发文件的处理，来说明如何降低访问磁盘的次数，以提高系统整体效率。对经计费处理后的话单文件，需
