百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 编程字典 > 正文

架构实践论坛(下)小米网、途牛、快的、58同城、QQ的架构变迁与优化

toyiye 2024-04-03 23:10 27 浏览 0 评论

【CSDN现场报道】2015年11月19-21日,由CSDN重磅打造的“ 2015 中国软件开发者大会”(以下简称SDCC 2015)在北京朗丽兹西山花园酒店隆重召开。 今年是第七届,大会为期三天,除了阵容强大的全体大会外,主办方还精心筹备了九大技术专场论坛,包括:架构实践论坛、前端开发论坛、数据库实战论坛、研发管理论坛、安全技术论坛、算法实战论坛、编程语言论坛、产品与设计论坛、微信开发论坛。此外,还有五场特色活动及展览展示。

图:架构实践论坛现场座无虚席

下午13:30,架构实践论坛在前百姓网联合创始人、CTO 潘晓良的主持下继续进行,来自小米网、途牛旅游网、快的打车、58赶集的资深架构师深度分享了各自产品的架构变迁与优化实践经验。

小米网研发部负责人、架构师 张涛:小米网架构变迁实践

张涛详解小米网架构如何解决秒杀、拦截黄牛、库存等用户硬需问题。第一代小米网快速、简单、能用,包括官网、订单处理、仓储物流、售后等所有系统都共同一个Database,随着系统间调用的增多形成了网状结构,耦合也越来越严重,由此演变成星状结构,到调度层、业务层、数据层的三层结构。

图:小米网研发部负责人、架构师 张涛

技术和业务膨胀为小米网的架构构建带来了双重挑战,如何管理才能达到成本最优效率最高?小米网以“业务纵切,平台横切”采用Go、MCC、Nginx、PHP、LVS开发。其通用缓存采用Twemproxy+redis构建,速度快(单节点14万QPS)、可扩展(自动分片)、稳定,异步消息服务支持大量消息通信、分钟级消息投递、自定义消息索引和协议、允许无限消息堆积。同时,通过虚拟化技术降低成本,提高计算资源利用率,同时促使业务系统设计更具伸缩性。

途牛旅游网研发总监 高建:途牛网站无线架构的变迁

途牛旅游网研发总监 高建从服务化推进、南北京机房之痛、性能提升实践、App客户端技术演进四个方面详解了途牛网站无线架构的变迁。

图:途牛旅游网研发总监 高建

以价格计算服务为例,四种架构对比如下:

  1. 同步——通过接口进行交互:其他系统通过调用接口通知价格中心发起运算,价格中心通过接口获取其他系统价格依赖的所有资源;
  2. 异步——通过MQ交互,价格中心通过依赖数据库获取其他系统的数据,将计算价格变成两段:先算资源成本价(一个资源多供应商),再算产品最低价;
  3. 并发——价库自身的数据(资源的成本价,产品团期起价)进行分库分表,根据产品的访问频度区分冷热数据的计算频率,三维(产品+团期,行程,资源);
  4. 分布式——计算过度依赖数据(检索数据量过大),变成内存数据库,使用Sharding MQ(本地访问,本地计算),Unix域通信(本地通信,提升通信效率)。

图:途牛旅游App插件式开发框架

从最初的主项目包含所有模块,同属一个仓库,代码之间耦合性较高,无公共库的抽象,不利于多个团队协同开发,到不同插件属于不同团队的独立模块,并最终都集成到主工程中,途牛App客户端经历了插件式开发的演变,并引入阿里巴巴开源的AndFix框架,解决在线热补丁修复问题。

快的资深架构师 王小雪:快的打车架构实践

快的资深架构师 王小雪详细剖析了快的从2012年上线到今年与滴滴合并前后的架构实践与演变。从V1的作坊式研发、基本功能可用,V2对核心链路进行优化,确保业务主流程正常进行,到V3阶段的体系化架构改造,在业务量快速增长的背景下,快的建立了研发流程、代码规范、故障问责机制,执行严格的Code Review,梳理链路上的单点、性能瓶颈,建立服务降级机制,并进行小规模的迭代重构,对工程架构进行了分布式改造。

图:快的资深架构师 王小雪

以RPC选型为例,在大规模服务化之前,应用可能通过RPC工具简单暴露和引用远程服务,通过配置服务的地址进行调用,然而只是简单的RPC还不够,除了网络通信和数据序列化,大型分布式RPC还应具备服务注册与发现、降级与容量管理、资源管理等其他要素。对此,基于实际应用场景,快的引入了开源的分布式RPC框架——Dubbo,并现场分享了快的使用Dubbo踩过的一些坑:

client->A(timeout:3s),A->B(timeout:3s),A->C(timeout:3s)。B是非关键服务,C是关键服务。B不可用时,A傻等3s最终超时,业务不可用;B变慢,高峰时期A线程耗光,业务不可用。

Provider A提供了关键服务A1,非关键服务A2,高峰时A2耗时高导致线程池满,导致A1不能提供服务。

图:Dubbo架构

Provider内存使用不当导致频繁fullgc,触发了Zookeeper的超时被下线,Provider fullgc完成后又向zk注册自己,过一会又fullgc。

用zookeeper做注册中心,配置的注册中心地址只写ip和端口,没有配置注册中心协议,导致用默认的Dubbo协议。

调用某服务时出现该异常,原因是该服务的所有实例都下线了。

配置的log4j不是debug级别,但应用大量出现debug日志,zookeeper 3.4.3的日志系统是slf4j,应用里还依赖聊logback。StaticLoggerBinder.getSingleton加载了logback配置,默认是debug级别,log4j没有生效。

图:快的实时数据中心架构

同时,快的对数据层进行了改造,以分库分表解决了前台应用的性能问题,以数据同步解决了多库多表归一的问题。但随着时间的推移,后台单库的问题越来越严重。为此,快的基于HBase和数据同步设计了实时数据中心,支持二级索引,并设计一个SQL解析模块,减少后台应用层的改动。

58赶集集团系统架构师、技术负责人 孙玄:58同城高性能移动PUSH推送平台架构演进之路

58赶集集团系统架构师、技术负责人 孙玄以“为什么需要移动PUSH推送”、“单平台、多平台、公司级统一高性能三个阶段架构如何设计优化”等系列问题,开启了《58同城高性能移动PUSH推送平台架构演进之路》的主题分享。移动环境下的弱网络问题、App消息无法触达让PUSH成为硬需,但iOS的平台特殊性不允许Service后台常驻,统一下发APSN(Apple Push Notification Service),而Android平台方案有着开源、自主研发、第三方推送等特性,综合考量下,58同城研发出以基于第三方PUSH推送平台、自主研发高性能Provider相结合的移动PUSH推送方案。

图:58赶集集团系统架构师、技术负责人 孙玄

在经过单平台、多平台的演进,移动PUSH推送第三阶段架构和协议应如何设计和优化?孙玄以58同城的移动PUSH系统架构为例进行了深度讲解,包含分层架构体系、push entry/transfer、Android/iOS Provider等。

图:58同城移动PUSH系统架构

那么,如何解决移动PUSH推送的性能问题?孙玄以Android Provider并发低为例,其原因是HTTPS线程不安全,采用每个HTTPS请求加锁,需对线上问题快速临时解决,然后对问题定位分析,找到最终解决方案,并借助libcurl HTTPS,降低锁粒度。

腾讯SNG增值产品部高级工程师、QQ会员AMS运营平台技术负责人 徐汉彬:QQ会员活动运营平台的架构设计演变

徐汉彬表示,活动运营存在上线周期短、个性化强、功能需求复杂、后端接口众多等特征,通过对不同业务活动模式的分析和抽象,绝大部分活动都可以一一组条件和动作的方式进行抽象和封装,进而形成通用的条件和动作活动组件,另外更重要的是通过平台化和框架驱动开发的方式,为通用活动组件的运行提供了高可靠、高性能,具备过载保护和水平扩展能力的框架支撑环境,活动组件只需要封装自身业务逻辑,核心功能框架自动支持,从而实现了高可靠高可用活动开发的彻底自动化。

图:腾讯SNG增值产品部高级工程师、QQ会员AMS运营平台技术负责人 徐汉彬

但是,这是一个美丽的愿景,而实现这个目标就是最大的挑战。在此之下,AMS需要解决的问题就是高效活动开发模式、高可靠性和高可用性、保证活动运营业务的安全。AMS平台服务架构对外部提供不同维度的服务入口,TGW、手Q的SSO、内网通信等,AMS集群仍然属于同一入口。但做了物理隔离的集群部署,减少集群之间的相互影响。

更多精彩内容,请关注新浪微博:@CSDN、图文直播专题:2015中国软件开发者大会。

相关推荐

为何越来越多的编程语言使用JSON(为什么编程)

JSON是JavascriptObjectNotation的缩写,意思是Javascript对象表示法,是一种易于人类阅读和对编程友好的文本数据传递方法,是JavaScript语言规范定义的一个子...

何时在数据库中使用 JSON(数据库用json格式存储)

在本文中,您将了解何时应考虑将JSON数据类型添加到表中以及何时应避免使用它们。每天?分享?最新?软件?开发?,Devops,敏捷?,测试?以及?项目?管理?最新?,最热门?的?文章?,每天?花?...

MySQL 从零开始:05 数据类型(mysql数据类型有哪些,并举例)

前面的讲解中已经接触到了表的创建,表的创建是对字段的声明,比如:上述语句声明了字段的名称、类型、所占空间、默认值和是否可以为空等信息。其中的int、varchar、char和decimal都...

JSON对象花样进阶(json格式对象)

一、引言在现代Web开发中,JSON(JavaScriptObjectNotation)已经成为数据交换的标准格式。无论是从前端向后端发送数据,还是从后端接收数据,JSON都是不可或缺的一部分。...

深入理解 JSON 和 Form-data(json和formdata提交区别)

在讨论现代网络开发与API设计的语境下,理解客户端和服务器间如何有效且可靠地交换数据变得尤为关键。这里,特别值得关注的是两种主流数据格式:...

JSON 语法(json 语法 priority)

JSON语法是JavaScript语法的子集。JSON语法规则JSON语法是JavaScript对象表示法语法的子集。数据在名称/值对中数据由逗号分隔花括号保存对象方括号保存数组JS...

JSON语法详解(json的语法规则)

JSON语法规则JSON语法是JavaScript对象表示法语法的子集。数据在名称/值对中数据由逗号分隔大括号保存对象中括号保存数组注意:json的key是字符串,且必须是双引号,不能是单引号...

MySQL JSON数据类型操作(mysql的json)

概述mysql自5.7.8版本开始,就支持了json结构的数据存储和查询,这表明了mysql也在不断的学习和增加nosql数据库的有点。但mysql毕竟是关系型数据库,在处理json这种非结构化的数据...

JSON的数据模式(json数据格式示例)

像XML模式一样,JSON数据格式也有Schema,这是一个基于JSON格式的规范。JSON模式也以JSON格式编写。它用于验证JSON数据。JSON模式示例以下代码显示了基本的JSON模式。{"...

前端学习——JSON格式详解(后端json格式)

JSON(JavaScriptObjectNotation)是一种轻量级的数据交换格式。易于人阅读和编写。同时也易于机器解析和生成。它基于JavaScriptProgrammingLa...

什么是 JSON:详解 JSON 及其优势(什么叫json)

现在程序员还有谁不知道JSON吗?无论对于前端还是后端,JSON都是一种常见的数据格式。那么JSON到底是什么呢?JSON的定义...

PostgreSQL JSON 类型:处理结构化数据

PostgreSQL提供JSON类型,以存储结构化数据。JSON是一种开放的数据格式,可用于存储各种类型的值。什么是JSON类型?JSON类型表示JSON(JavaScriptO...

JavaScript:JSON、三种包装类(javascript 包)

JOSN:我们希望可以将一个对象在不同的语言中进行传递,以达到通信的目的,最佳方式就是将一个对象转换为字符串的形式JSON(JavaScriptObjectNotation)-JS的对象表示法...

Python数据分析 只要1分钟 教你玩转JSON 全程干货

Json简介:Json,全名JavaScriptObjectNotation,JSON(JavaScriptObjectNotation(记号、标记))是一种轻量级的数据交换格式。它基于J...

比较一下JSON与XML两种数据格式?(json和xml哪个好)

JSON(JavaScriptObjectNotation)和XML(eXtensibleMarkupLanguage)是在日常开发中比较常用的两种数据格式,它们主要的作用就是用来进行数据的传...

取消回复欢迎 发表评论:

请填写验证码