百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 编程字典 > 正文

5分钟构建无服务器敏感词过滤后端系统(基于FunctionGraph)

toyiye 2024-06-21 12:40 20 浏览 0 评论

摘要:开发者通过函数工作流,无需配置和管理服务器,以无服务器的方式构建应用,便能开发出一个弹性高可用的后端系统。托管函数具备以毫秒级弹性伸缩、免运维、高可靠的方式运行,极大地提高了开发和运维效率,减小了运作成本。

函数工作流(FunctionGraph,FGS)是一项基于事件驱动的函数托管计算服务,托管函数具备以毫秒级弹性伸缩、免运维、高可靠的方式运行。通过函数工作流,开发者无需配置和管理服务器,只需关注业务逻辑,编写函数代码,以无服务器的方式构建应用,便能开发出一个弹性高可用的后端系统,并按实际运行消耗的资源计费。极大地提高了开发和运维效率,减小了运作成本。

相比于传统的架构,函数工作流构建的无服务器架构具有如下优点:

1. 无需关注任何服务器,只需关注核心业务逻辑,提高开发和运维效率;

2. 函数运行随业务量弹性伸缩,按需付费,执行才计费,对于访问量波峰波谷非常明显的场景可以减少大量成本;

3. 通过简单的配置即可连通函数工作流和其它各云服务,甚至云服务和云服务;

为了进一步让大家感受函数工作流的优势,我们将介绍如何通过函数工作流快速构建一个无服务器的敏感词过滤系统,本文我们主要关注后端系统,前端的表现形式很多,大家可以自行构建。如下图,该系统会识别用户上传的文本内容是否包含敏感信息(如色情、政治等),并对这些词语进行过滤。

试想,如果我们通过传统的模式开发此应用,需要如何开发?

即使是基于现在的云平台,我们也仍需要购买云服务器,关注其规格、镜像、网络等各指标的选型和运维,然后在开发过程中可能还需要考虑与其他云服务的集成使用问题,使代码中耦合大量非业务代码,并且服务器等资源也并非是按需的,特别是对于访问量波峰波谷非常明显的场景,会造成大量多余的费用。

现在我们可以通过函数工作流服务来快速构建这个系统,并且完全无需关注服务器,且弹性伸缩运行、按需计费,如图:

创建函数,在函数中调用华为云内容检测服务提供的文本检测接口,实现文本的敏感词检测,并为该函数配置一个APIG触发器,对外提供敏感词过滤的API,从而构建出一个完整的敏感词过滤的无服务器系统。客户端调用API,他会自动触发函数执行,而开发者编写的函数只需实现接收到文本之后如何处理文本的逻辑(调用内容检测服务服务)即可,最后将结果返回给客户端。至此,我们就构建了一个完整的无服务器敏感词过滤系统。

现在,我们将介绍如何端到端地将此无服务器系统构建出来。

1. 准备工作

进入华为云内容检测服务,申请开通文本内容检测,成功申请后边可以调用内容检测服务提供的文本检测接口了。

2. 创建函数

进入函数工作流服务页面,创建函数,实现文本检测的接口调用和敏感词过滤,代码如下(Python):

# -*- coding:utf-8 -*-

import json

import base64

import urllib

import urllib2

import ssl

import sys

reload(sys)

sys.setdefaultencoding('utf-8')

def do_filter(msg,str_list):

result = ''

try:

if len(str_list) <=0:

return msg

for str in str_list:

str_tmp = msg.replace(str,'')

msg = str_tmp

result = msg

except:

print("_do_filter catch an exception!")

return result

def filter(context, msg):

result = ''

try:

ssl._create_default_https_context = ssl._create_unverified_context

token = context.getToken();

headers = {'Content-Type':'application/json;charset=utf8','X-Auth-Token':token}

url = "https://ais.cn-north-1.myhwclouds.com/v1.0/moderation/text"

values = {}

values['categories'] = ['porn','ad','politics','abuse','contraband']

#msg = base64.b64encode(msg)

item = {'type':'content','text':msg}

values['items'] = [item]

data = json.dumps(values)

print("data: %s"%data)

request = urllib2.Request(url,data,headers)

rsp = urllib2.urlopen(request)

http_rsp = rsp.read()

print("http response: %s" %http_rsp)

json_rsp = json.loads(http_rsp)

result = json_rsp['result']

suggestion = result['suggestion']

if suggestion == 'pass':

print("input msg have passed the checking!")

result = msg

else:

detail = result['detail']

if detail.has_key('porn'):

list_porn = detail['porn']

msg = do_filter(msg,list_porn)

if detail.has_key('ad'):

list_ad = detail['ad']

msg = do_filter(msg,list_ad)

if detail.has_key('politics'):

list_politics = detail['politics']

msg = do_filter(msg,list_politics)

if detail.has_key('abuse'):

list_abuse = detail['abuse']

msg = do_filter(msg,list_abuse)

if detail.has_key('contraband'):

list_contraband = detail['contraband']

msg = do_filter(msg,list_contraband)

result = msg

except Exception, e:

print e

print("filter catch an exception!")

return result

def handler (event, context):

print("message filter begin!")

result = ""

response = {}

http_method = event.get('httpMethod')

if http_method == 'OPTIONS':

response = {

'statusCode': 200,

'isBase64Encoded': True,

'headers': {

"Content-Type": "application/json; charset=utf-8",

"Access-Control-Allow-Origin": "*",

"Access-Control-Allow-Headers": "Content-Type,Accept",

"Access-Control-Allow-Methods": "GET,POST,PUT,DELETE"

},

'body': base64.b64encode('{"result":'+ '"' + result +'"}'),

}

return response

body = event.get('body')

body_decode = base64.b64decode(body)

json_object = json.loads(body_decode)

msg = json_object['msg']

print('msg : %s'%msg)

try:

result = filter(context, msg)

response = {

'statusCode': 200,

'isBase64Encoded': True,

'headers': {

"Content-Type": "application/json; charset=utf-8",

"Access-Control-Allow-Origin": "*",

"Access-Control-Allow-Headers": "Content-Type,Accept",

"Access-Control-Allow-Methods": "GET,POST,PUT,DELETE"

},

'body': base64.b64encode('{"result":'+ '"' + result +'"}'),

}

except:

print("function catch an exception!")

return response

函数创建完成之后,为其配置具有IAM访问权限的委托,因为本函数代码中获取用户的ak、sk需要拥有访问IAM的权限。

3. 创建APIG触发器

为函数配置一个APIG触发器,这样便得到一个调用该函数的HTTP(S) API,供外部调用。

4. 测试

使用postman等工具向上一步中创建的APIG触发器的接口发送post请求,body体为:{“msg”: “过滤检测的文本”},查看返回信息。

比如发送 {"msg": "just fuck ..."},返回体为 {"result": "just ..."}

自此,我们就完整地实现了一个无服务器的敏感词过滤后端系统。

华为云内容检测:http://t.cn/Re8DAfB

华为云函数工作流:http://t.cn/Re8esf1

相关推荐

为何越来越多的编程语言使用JSON(为什么编程)

JSON是JavascriptObjectNotation的缩写,意思是Javascript对象表示法,是一种易于人类阅读和对编程友好的文本数据传递方法,是JavaScript语言规范定义的一个子...

何时在数据库中使用 JSON(数据库用json格式存储)

在本文中,您将了解何时应考虑将JSON数据类型添加到表中以及何时应避免使用它们。每天?分享?最新?软件?开发?,Devops,敏捷?,测试?以及?项目?管理?最新?,最热门?的?文章?,每天?花?...

MySQL 从零开始:05 数据类型(mysql数据类型有哪些,并举例)

前面的讲解中已经接触到了表的创建,表的创建是对字段的声明,比如:上述语句声明了字段的名称、类型、所占空间、默认值和是否可以为空等信息。其中的int、varchar、char和decimal都...

JSON对象花样进阶(json格式对象)

一、引言在现代Web开发中,JSON(JavaScriptObjectNotation)已经成为数据交换的标准格式。无论是从前端向后端发送数据,还是从后端接收数据,JSON都是不可或缺的一部分。...

深入理解 JSON 和 Form-data(json和formdata提交区别)

在讨论现代网络开发与API设计的语境下,理解客户端和服务器间如何有效且可靠地交换数据变得尤为关键。这里,特别值得关注的是两种主流数据格式:...

JSON 语法(json 语法 priority)

JSON语法是JavaScript语法的子集。JSON语法规则JSON语法是JavaScript对象表示法语法的子集。数据在名称/值对中数据由逗号分隔花括号保存对象方括号保存数组JS...

JSON语法详解(json的语法规则)

JSON语法规则JSON语法是JavaScript对象表示法语法的子集。数据在名称/值对中数据由逗号分隔大括号保存对象中括号保存数组注意:json的key是字符串,且必须是双引号,不能是单引号...

MySQL JSON数据类型操作(mysql的json)

概述mysql自5.7.8版本开始,就支持了json结构的数据存储和查询,这表明了mysql也在不断的学习和增加nosql数据库的有点。但mysql毕竟是关系型数据库,在处理json这种非结构化的数据...

JSON的数据模式(json数据格式示例)

像XML模式一样,JSON数据格式也有Schema,这是一个基于JSON格式的规范。JSON模式也以JSON格式编写。它用于验证JSON数据。JSON模式示例以下代码显示了基本的JSON模式。{"...

前端学习——JSON格式详解(后端json格式)

JSON(JavaScriptObjectNotation)是一种轻量级的数据交换格式。易于人阅读和编写。同时也易于机器解析和生成。它基于JavaScriptProgrammingLa...

什么是 JSON:详解 JSON 及其优势(什么叫json)

现在程序员还有谁不知道JSON吗?无论对于前端还是后端,JSON都是一种常见的数据格式。那么JSON到底是什么呢?JSON的定义...

PostgreSQL JSON 类型:处理结构化数据

PostgreSQL提供JSON类型,以存储结构化数据。JSON是一种开放的数据格式,可用于存储各种类型的值。什么是JSON类型?JSON类型表示JSON(JavaScriptO...

JavaScript:JSON、三种包装类(javascript 包)

JOSN:我们希望可以将一个对象在不同的语言中进行传递,以达到通信的目的,最佳方式就是将一个对象转换为字符串的形式JSON(JavaScriptObjectNotation)-JS的对象表示法...

Python数据分析 只要1分钟 教你玩转JSON 全程干货

Json简介:Json,全名JavaScriptObjectNotation,JSON(JavaScriptObjectNotation(记号、标记))是一种轻量级的数据交换格式。它基于J...

比较一下JSON与XML两种数据格式?(json和xml哪个好)

JSON(JavaScriptObjectNotation)和XML(eXtensibleMarkupLanguage)是在日常开发中比较常用的两种数据格式,它们主要的作用就是用来进行数据的传...

取消回复欢迎 发表评论:

请填写验证码