来源:HIT专家网 作者:北京友谊医院信息中心 张旭 王力华 2019年国家层面大事多喜事多,但是对于位于首都核心区的医疗机构来说,其公共卫生服务保障任务的压力巨大,同时对医院信息系统的安全性也是非常严峻的考验。一所医院的信息系统无论建设得多么完善、健壮,都可能会有“掉链子”的时候,此时的信息系统故障应急处置将是最为重要的措施,不仅体现医院的信息化水平,更体现医院的管理水平,必定是对一所医院能力的全面“大考”。 2019年9月12日晚,中秋节前夜,北京友谊医院开展了一次全院范围的信息系统故障应急实战演练,在西城和通州两个院区同步进行。本文简要记录了此次演练的过程,期望能给大家呈现一部医院信息系统实战演练的“大片”,引发医院信息同行的交流和共鸣。 一、“制片人”:应急实战演练的物质和精神支柱 医院领导高度重视此次应急实战演练,由医院办公会批准授权执行。按照之前确定的信息化应急领导小组,由医院党、政一把手任组长,信息化主管副院长任常务副组长,各副院长任副组长,组员是各职能管理部门主任。 二、“导演组”:由医院信息化负责人担任 应急实战演练的“总导演”由信息化主管院长担任,负责统筹医院各相关部门的高度配合,组织开展相关会议,并将演练的执行进度汇报给应急领导小组。信息中心主任为“执行导演”,负责执行上级指令、演练技术方案设计、行动指挥、时间线把控、突发事项处置决策、演练进度上报等,在演练中统筹管理信息中心各岗位工作。 三、“角色”:任务清晰,各司其职 应急实战演练并不是“纸上谈兵”、“案上比划”,与真实故障应急处置唯一不同之处就是“有计划、有准备”。信息系统应急演练绝不是医院信息中心一个部门的工作,涉及医院每个职能部门、业务部门的高效联动。在前期筹备阶段,医院各职能部门、相关临床医技部门召开了两次准备会议,由信息化主管院长召集,各部门负责人和业务骨干参加,会上明确各部门工作分工,交流讨论演练期间可能遇到的各种问题以及处置方法,强调部门间的协作。 应急实战演练多部门准备会 信息中心作为此次演练的技术部门,负责技术准备和技术操作,制定应急演练技术方案,并自主研发了新版本应急单机版程序,对收费环节的功能做了较大改进,在辅助医生开医嘱的同时,生成并打印收费二维码凭单,收费员扫码即可一键完成结算,大幅加快了应急期间的诊疗效率。 程序打印的收费二维码凭单 应急演练技术团队由信息中心和系统厂商人员组成,按工作任务划分为链路切换、主备机切换、应急程序保障三个工作组,以西城院区(HIS主服务器的所在院区)为主,两院区人员均衡配置。 四、“剧本”:内容详细,操作明确 “剧本”即演练技术方案,描述演练“剧情”的发展脉络和角色的动作编排。结合我院多院区的性质、业务流程的特点和信息系统的现状,信息中心对演练内容和形式进行了多轮技术性研究和可行性推演,确定进行HIS主备服务器切换、院区间光纤链路切换和应急程序实操等三个项目。 我们对每个演练内容编制了详细的演练操作方案,包含前期准备、演练操作、回退方法、问题与解决方法、桌面消息发布等的操作步骤,每一步骤描述精确到院区、设备、端口、命令代码、推送消息文本内容等,在演练过程中技术操作人员只需要按顺序执行方案即可完成任务,避免因代码和文本编写、解决方案思考推敲而耽误宝贵时间,降低误操作的风险。 为了便于对整体演练过程的统筹,我们对演练技术方案内容进行概括,以时间为主线编制了任务清单,突出各任务名称、时间节点、人员分工、任务间关系等要素,为各操作人员提供流程性指导。 五、“表演”:上下一心,执行有序,时间管控 1. 演练前3小时 参与演练的信息中心全体人员,利用远程医疗系统进行两院区协同桌面推演,强化演练操作步骤。 两院区协同桌面推演(左西城,右通州) 2.演练即将开始 在演练前我们选取三个时间点,利用桌面管理系统向医院所有工作站电脑推送演练预警通知,提醒医务人员做好各项准备,在演练开始前务必保存诊疗信息、结束HIS系统操作。 演练预警桌面通知 在演练前半小时,开始对HIS主机集群状态和节点信息进行检查。与此同时,应急程序保障组人员开始核查各诊区的应急程序安装情况,提醒医生、收费员做预备,通报各诊区HIS使用情况。 在演练前5分钟,开始进行网络测试,两院区采取持续PING对端靶服务器的方式监测网络连通状态,对演练涉及的网络设备配置文件做备份,同时,停止自助机、移动互联网应用服务。 3.演练正式开始! 9月12日22点,HIS服务器切换演练、院区间光纤链路切换演练、应急程序使用演练同时启动。 (1)HIS主备服务器切换 主备机切换工作组执行演练操作,正常关闭所有HIS系统ECP服务,确保ECP缓存中的业务数据完全同步到主数据库。西城院区人员手动拔除高可用集群主节点网线,同步查看切换日志,验证确认了资源组已正常漂移至备用节点,立即在此节点下测试HIS可用性,正常可用后开始逆向操作。随后,恢复主节点网络,恢复高可用集群,拔除备用节点网线,同步查看切换日志,验证主节点已接管业务,立即在此节点下测试HIS可用性,正常可用后恢复备用节点,检查HIS主机集群已恢复正常状态,启动HIS系统ECP服务,各业务系统验证成功,HIS服务器切换演练顺利完成。 HIS主备服务器切换演练现场 (2)院区间光纤链路切换演练 链路切换工作组执行演练操作,西城院区人员通过命令关闭西城内网核心交换机到通州主链路端口,触发院间主网络断链故障。此时网络连接测试结果未达到预期,网络不通,检查路由浮动情况后发现备用链路一台交换机配置有问题,不做处理,立即回退,网络恢复,院区间光纤链路切换演练终止。 (3)应急程序使用演练 应急程序保障工作组的人员分布在两个院区各急诊科室现场,在切换期间对应急程序使用做指导,反馈现场情况,同时负责业务系统的验证和系统可用反馈。演练期间,应急程序共完成9位患者多笔收费和挂号业务。 HIS业务恢复后,立即利用桌面管理系统向医院所有工作站电脑推送演练完成、系统恢复的通知。 整体演练时长短于预期,用时50分钟,期间各诊区均有患者就诊,未因应急演练而造成大的拥堵和排队,就诊环境井然有序。 医生使用应急程序录医嘱打单据 收费员使用应急程序扫码收费 六、“影评”:对演练的经验总结 我们这次信息系统应急演练总体是成功的,但也有一些遗憾,为下次演练或实战积累了宝贵的实践经验。总结了几点心得体会与大家分享:
夜深了,中秋的凌晨,不但没有月亮,反而下起了雨,参加演练的人员逐渐离开了,但仍有一些人员仍然在查找问题…… |
|