《基于人工智能的智慧餐厨预警系统实施方案.docx》由会员分享，可在线阅读，更多相关《基于人工智能的智慧餐厨预警系统实施方案.docx（19页珍藏版）》请在课桌文档上搜索。
1、基于人工智能的智慧餐厨预警系统实施方案2014年2月，国家食药监总局部署各地在餐饮业开展明厨亮灶工作；从2015年起，正式在全国推广，推动餐饮服务提供者通过采用透视明档（透明玻璃窗或玻璃幕墙）、视频显示、隔断矮墙、开放式厨房或设置窗口等多种形式，对餐饮食品加工过程进行公示，将餐饮服务关键部位与环节置于社会监督之下。国家市场监督管理总局2018年5月发布的餐饮服务明厨亮灶工作指导意见明确提出，鼓励餐饮服务提供者实施明厨亮灶，以此保障消费者的知情权。现阶段中，大部分餐饮食肆都已经符合明厨亮灶的要求,后厨等场所部署有多个摄像头，并将厨房的情况实时展示在外面的显示屏中。目的是为了让大众一起参与监督过程
2、中，对有问题和不合理的现象提出质疑或者举报类似的现象。除了大众参与之外，政府部门也参与其中并担负起对应的监管职责。由于不同商家，各学校的明厨亮灶建设情况不同，所以目前的监管大多采取现场检查，录像抽查等措施，在餐饮企业庞大的数量下，现行的监管力度稍显不足，在实际监管过程中耗费大量人力和时间，效率还没有达到理想中的情况。厨房环境多为杂乱，且需要对场所卫生有较高的要求。如果仅仅依靠执法单位或相关部门进行监督，那么大量的人力和时间将会耗费在不同餐饮企业之间的巡查当中，而巡查当中仅有一小部分时间能了解到后厨的实际情况。随着时间的流逝，减少食品安全事件发生，提高监管效率则会越发重要。此时需要有更先进，高效
3、的手段来解决以上提到的问题。在目前新冠病毒肆虐，造成国家经济巨大损失、社会管理难度急剧增加的情况下，为进一步加强我区餐饮服务提供者食品安全管理，完善餐饮服务食品安全诚信体系建设，强化餐饮服务提供者诚信经营意识和自律行为，根据区政府的要求和部署，特制定本方案。一、方案原则和目标以加强和创新餐饮服务食品安全社会管理为核心，以ST科技“方舟”超大型视频汇聚及分析系统为手段，以各类食监局监管范围内的餐饮店厨房、学校及各单位食堂厨房为重点，按照“试点先行，重点突破，因地制宜，逐步推进”的原则，引导消费者参与餐饮服务食品安全监督，形成社会共治格局，督促餐饮服务单位进行升级改造，促使餐饮服务提供者守法经营、
4、诚信经营，保障公众饮食安全。二、工作内容1.建设超大型视频流汇聚、存储、结构化、运算一体平台一一“方舟”系统，对于辖区内所有23000余家餐饮服务提供商的厨房视频、图片进行汇聚分析和展示。2.每家餐饮服务提供商建设对应标准的高清晰度摄像机和传输网络（网络基本可以利旧，无需另行建设）3,基于“方舟”平台建设餐饮服务提供商手机端证照、单据、票证、凭单等自助审核及管理系统，对于相关食监局要求的证照远程审核、各种原料进货溯源票证审核记录等进行管理。三、需求分析由于明厨亮灶中，公众参与监督的能力和时间都有限，所以厨房中的工作人员出现违规行为时，并不能有效的得到提醒和纠正。从业人员在没收到有效反馈的情况下
5、容易养成错误的工作习惯，从而容易引起食品安全事件发生：根据以上内容，我们的需求分析如下：1）餐饮数量太多，难以发现每个餐饮企业后厨中出现的违规现象；2）目前商家自查违规现象，只能通过人工回查录像视频,现场抽查，公众参与监督反馈问题，效率低，耗费人力；3）存储成本高，基本上需要保留七天的视频进行人工回查；4）缺少一个统一的系统平台方便各监管部门、商家自己进行统计和查看;赤H.抽烟,老鼠等厨房中不合规现象监管部门中各执法人员访问1三智能应用詈理平台根据上述需求分析，本方案满足各级监管部门以及不同执法人员对后厨中的管理需求，并设计了“智慧餐厨解决方案”。方案中使用了ST先进的视频内容识别技术、依托新
6、一代的人工智能，结合行业领先深度学习算法，对厨房中的监控内容进行分析和检测。通过对项目需求的了解，本项目实施完成后，可以实现以下目标：1）利用餐饮后厨，学校食堂等场所已有的监控设备，对监控中的内容进行分析识别，利用智能分析终端中的AI能力可以对其中人员的违规穿戴，厨房环境等进行识别。2）前端智能分析设备满足全天候、全时段的分析识别需求，同时满足前端设备防水、防尘需求。3）拥有智能业务平台。使用者可以通过浏览器上访问平台，能接受违规告警、快速浏览不同区域不同场所中出现过的违规事件、管理员对不同使用者的权限进行设置。4）能使用智能分析终端丰富的APl接口，方便对接不同的业务平台监管单位第=方智帔业
7、务应用系统（可造）Sense Kitchen 智能应用展示及管控平台餐饮单位alM鬟胴监管系统一四、系统描述智慧餐厨解决方案中采用“云加端”架构，其中采用原创的算法模型，构建了以监控视频内容接入，视频内容分析,违规行为告警三大核心服务。通过智能分析终端进行视频内容接入和视频内容分析，可以在本地对内容进行分析，并只将违规事件上传到业务平台。全流程大大节省网络带宽，提高了监管效率的同时，也解决了人力成本过高的问题。盒子部署简单，轻松扩展，能在业务平台上进行管理。通过Al智能识别协助监管人员对各单位后厨进行监管，能极大释放有关部门的人力，间接节省人力开支。4.1系统特点为了满足相关部门集中管理的需求
8、，本系统采用了软硬一提的智能分析终端和云端业务系统的技术架构实现。该设计使系统具备可靠性、架构先进性、弹性可扩展的能力，能满足快速规模复制的要求。系统基于深度学习的计算机视觉技术和大数据智能分析能力，前端部署智能分析终端用以进行对视频中内容的识别，与业务管理平台协同实现形成一套完整的针对餐饮企业后厨，学校后厨，食品加工企业的人员违规行为检测与告警应用系统。针对监控范围内人员的口罩和厨师帽佩戴情况和其他违规行为进行判断，智能分析终端具备可靠、高效的AI识别能力。系统具有以下几个特点:1、违规事件可视化通过智能分析终端对视频监控的内容进行分析、识别,终端将识别出得到违规内容上传到智能业务平台上。方
9、便使用者进行集中查看。2、查询方式多样化在智能业务平台上，可根据不同使用场景，对特定条件查看违规事件内容。比如：可通过厨房名称搜索；选择违规时间段进行查看；根据未读/已读违规事件进行查看。3、数据统计可视化对于数量众多的厨房，提供总览页面展示今日，昨日，近七日，近三十天内中符合各项规定厨房的数量。同时能在详情中查看违规事件的具体图片时间，违规类型等数据。4、权限多样化由于监管部门结构多样，智能业务系统中提供权限设置,可让不同权限的用户只能查看自己对应权限的违规事件。5、历史数据可查化违规内容将会统一存储在智能业务平台上，提供7x24小时的查看服务，做到有据可依，有证可查。6、算法优势ST原创算
10、法，基于深度学习对多个相关联场景进行训练,具有高精度的识别能力：帽子穿戴识别准确度达到91%,口罩穿戴识别精准度达到93%等，配合终端硬件对算法进行多次调优，可根据客户的场景单独对底层模型进行调优。达到更快，更准确的识别效果。7、开放性优势提供高效APl接口，用户可根据业务需求方便地进行二次开发和封装，轻松给原有系统赋予新的能力。传统的餐饮企业的明厨亮灶工程中，只包含了监控摄像头等多种不同的设备。功能为对厨房内部的。功能包括了对厨房内部的情况进行监控录像,存储在NVR或其他设备当中。现有的功能主要使用场景作为记录和回顾使用。随着餐厅门店数量的快速增长，记录的数据以及达到一个巨大的量级,同时跟踪
11、回溯也呈现出更大的难度。此时在前端需要有一个更好的方法去解决这些问题，以便更好的协助监管厨房违规事件的发生。4.2终端设计针对上述前端的需求，我们设计出了智能分析终端(SenseKitchen2.0)o这款产品能在实际的餐饮后厨场景中解决相关问题，终端只需要部署在与摄像头网络互通的环境中，餐饮后厨、餐厅前场、机房等都可以作为部署的参考地点。在终端与摄像头网络能互相通信的情况下，通过AI能力对其中的内容进行识别分析，能有效识别厨房中的违规行为，并有效上报。随着终端设备的部署，即使餐厅数量增加，也能更有效的对厨房的情况进行识别和分析。解决了餐饮数量多，区域广从而难以了解厨房内部情况的问题。为了更好
12、的针对厨房场景的痛点，该产品除了基于深度学习技术，做成软硬一体的结构之外，还在硬件上集成了深度学习所使用的计算单元，并对大量厨房场景进行训练。终端只需要与所需接入的摄像头处于同一个网络环境即可，无需与摄像涉笔进行线路相连，同时终端体积小，易于摆放在不同区域，能有较好的环境适应能力并且能够接入四路摄像头流地址。成功将摄像头流地址接入智能分析终端后，通过先进的深度学习技术，盒子能对视频中的内容进行分析和识别：1）识别工作人员是否有穿戴厨师帽2）识别工作人员是否有佩戴卫生口罩3）识别工作人员是否有赤膊操作的情况4）识别工作人员是否有抽烟行为5）夜间对厨房进行监控，是否有老鼠活动目前主要对于人员违规行
13、为进行分析识别，其他需求如:特定厨师服识别等可通过定制化方案解决。当盒子对以上情况进行分析识别后，会将确认有违规行为的信息上传到业务系统进行告警和展示。通过人工智能的应用，能提高监督效率，并规范从业人员的操作，最终更好的保证食品的安全。4.3业务平台对于各监管部门和对应的执法人员，需要有一个集中业务平台来满足日常监管、执法等一些场景中的需求。主要是功能包括查看，记录和过滤。对于该业务系统，应满足以下需求：1）由于不同部门、区域会有不同的查看和使用需求，所以需要在平台上有登录系统和用户权限管理。对于不同身份的使用者，登录之后会根据使用者的权限赋予一些特定的功能。2）对于获取到的数据，需要有数据统
14、计功能。能方便使用人员快速浏览过去一段时间（昨天，过去七月，一个月等）的数据统计情况3）查看违规事件详细情况，能发现违规事件，可查看违规事件的发生时间，相关地点，违规类型和违规时的情况。做到有证可依，有据可查4）能提供灵活的开发方式，如APl文档等，方便原有部门的业务系统可以将违规数据接到已有的业务系统中。5）对于不同地方的摄像头，需要了解对应的工作状态,智能分析终端是否处于正常工作情况，并需要在平台侧能够直观查看，并对智能分析终端进行操作管理。4.3.1业务平台设计ST的智能业务平台，则是专为以上需求进行设计，可以统计和查看厨房日常中的人员违规行为，提供查看历史记录,智能分析终端管理，摄像头
15、状态查看等功能。为满足上述需求，我们将主要设计为：登录模块、数据概览模块、违规查看模块、设备管理模块和用户管理模块。4.3.2登录模块针对需求中的权限相关需求，我们在登录模块对使用者进行一个鉴权的过程。需要对使用者从管理员处获取相关账号信息，而不同权限的账号登录后会有不同的功能权限。一般用户只有查看对应区域违规事件的权限。管理员可以对智能分析终端进行设置、摄像头的流地址进行设置、对不同区域进行命名，对一般用户进行管理等功能。4.3.4数据概览模块数据概览模块将根据违规事件的发生情况，将所有厨房的信息进行统计并展现。其中展示数据如下：厨房总数昨日合规厨房数近7日合规厨房数A近30日合规厨房数高频
16、违规厨房其中包括：统计厨房总数、昨日合规厨房数、近七日合规厨房数、近30日合规厨房数都是独立数据，判断依据是所属时间段内是否有违规事件发生作为是否合规的唯一判断标准。而高频违规厨房则是筛选出本月高频违规厨房的前10名，横轴为厨房，纵轴为违规天数。并对合规厨房比例变化趋势进行图表展示，用以表示合规厨房比例的变化趋势，横轴为日期，纵轴为占比。对于拥有多个查看权限的使用者来说，右上角可以根据不同区域进行多维度的展示。4.5违规查看模块在左侧的可选页面中，通过点击违规识别即可访问到该页面。该页面包含的功能有：违规事件浏览已读/未读功能选择根据厨房名称查询根据违规时间段查询违规类型查询查看违规事件的详细
17、信息导出违规记录有关部门或者使用者可以在本页面快速了解到过去一段时间中所发生过的违规事件，并且根据不同的使用需求,对时间、类型、厨房、根绝已读/未读筛选等不同维度进行违规时间的筛选展示。查看违规事件的详细信息时，双击违规报警或者点击查看详情按钮即可出现以下具体页面。详细信息中提供了事件发生的具体日期、发生的厨房名称、具体摄像头的信息、违规信息所属的种类、违规时的图像，并且我们将在图像中用红色的方框标注出具体的内容。同样的信息，客户在对接完盒子的API文档后，也能将上述信息集成展示到已有的业务系统当中。4.6设备管理模块针对多终端，多摄像头的场景，为了满足易于统一管理的需求，我们设计了设备管理模
18、块，只有管理员才有权限进行操作。主要功能是配置系统中的各种设备信息。其中包含的功能如下：智能终端设备管理摄像头信息管理多条件搜索过滤筛选抽帧通知策略-智能终端设备管理：只有管理员才可进行操作。在本功能中可以根据终端设备编号，快速将智能分析终端添加到系统中，后续将终端与摄像头相互绑定后，终端即可对摄像头的内容进行抽帧和识别分析。 摄像头信息管理：只有管理员才有权限操作。需要获取到盒子所处的摄像头流地址，目前只支持RTSP和RTMP格式。该功能可新建，删除对应的摄像头流地址。后续能在盒子添加时出现摄像头信息。 多条件搜索：能通过摄像头名称、厨房名称、根据区域或摄像头的状态快速进行查看信息。 实时抽
19、帧图片：对于正常能够连通的摄像头，我们可以根据最近抽帧的图片快速了解摄像头是否处于正常工作状态。 抽帧通知策略：在这里可以对不同区域的通知策略进行调整。多次确认是指终端在检查到一次违规行为后，必须在后续的五分钟内连续检测出三次相同类型的违规事件才会进行报警。通知开关则决定了是否对该类型的实际进行告警通知。COMScmeKrtCheMIIMmtaMlsa*rx999 终端、摄像头设备管理：本页面中，通过展示出盒子的ID,最后更新时间，设备状态，主要实行对智能分析终端和摄像头流地址的管理。其中设备配置中能向终端添加已经配置好的摄像头信息，配置好之后终端向业务平台拉去配置时，将同步摄像头流地址信息。
20、4.7用户管理模块S 些-WKhciMMMnUM针对用户权限等相关需求，除了登录模块之外，我们还涉及了管理用户相关的模块。用户管理模块包含功能为：新增、删除用户功能区域设置重置密码新增、删除用户功能：只有系统管理员（admin）用户可以进行新用户的创建，在创建时指定可以查看区域的权限,设定密码。系统管理员用户具有全部权限，使用时需要注意权限分配等事项是否符合使用者的需求。区域设置：只有系统管理员(admin)用户才可以进行区域设置。本功能中，管理员可以创建一个区域，赋予特定名称用作标记。后续中通过添加厨房功能将对应区域的摄像头添加其中。设置成功后有对应区域权限的用户即可查看到该区域的违规事件情
21、况。重置密码：只有系统管理员(admin)用户才可以该操作。对于忘记密码的用户，需要向系统管理员申请重置密码操作,操作成功后用户的密码将会还原成原始默认密码。五、案例-上海食品加工厂智能监控项目某电信运营商承建上海食品加工厂违规行为智能监控项目方案架构：盒子+商汤云业务系统短XX电信运苣商作为上海区多个食药监明用亮灶工程的总集成商，为解决上海菜区各类食品加工厂工作人员经常不按规的IWK口雷、帽子等卫生保际物品的有效核直问题，弓I入商深科技SCnSeKn智能监管系统，将边缘智能卷喻一放置于电信IDC机施，连接SenSeKikhen智能视段大数据分析公有云平台,打造集违规行为主动告警、图片所证、数蜗统计及业务管理于一体的违规行为智能监筒解决方案.同时将在二期实鹿全私有化部署.
