您的位置:甘肃IT在线 > 电子商务

DorisDB在格洛博电商系统的应用实践

发布时间:2021-04-13 16:04:00  来源:互联网     背景:

  重庆格洛博电子商务有限公司是一家专注于跨境贸易B2C电子商务公司。格洛博早期主营互联网行业海外流量服务及流量变现,2018年初开始主力运营综合类商城网站,以客户需求为导向,以诚信之道为根本,以优质服务为使命,以物惠全球为愿景,为全球用户提供多元化的互动式购物体验,全方位打造B2C跨境电子商务综合体。

  格洛博数据技术团队基于DorisDB建立一个实时分析系统。生产环境引入DorisDB后,查询速度得到明显提升,较DorisDB上线前提升至少10倍以上。

  业务痛点及技术挑战

  格洛博作为一家自研电商平台的电子商务公司,自主研发了广告效果分析系统、订单管理系统、供应商管理系统、采购管理系统、仓储管理系统、物流管理系统等,多个系统各类明细数据筛选条件较多,实时数据自定义多维度分析报表较多,包括广告数据分析、销售订单分析、供应商分析、采购订单分析、库存分析、物流分析等等。

  目前公司业务需求在技术实施过程中,由于业务增长较快,团队研发能力无法快速跟上,大量业务依托于MySQL实现,主要存在技术难点如下:

  1.数据量大:业务明细数据较多,总体达10亿数据以上;

  2.多表join:各类多维度分析报表较多,涉及多个大表join;

  3.实时分析:业务依据广告效果投放,实时分析订单变化,及时调整广告预算;

  4.实时监控:动态监控下单流程行为,实时分析系统异常;

  5.日志数据:日志类与业务类数据同时存在于一体,没有区分冷热数据,导致MySQL性能下降。

  基于以上技术难点,我们期望寻找到可替代MySQL的数据库,或建立一个OLAP实时分析系统,提供一套快速、稳定的实时数据服务。

  技术选型

  为解决实时分析的时效性,同时又能保证数据快速写入查询,先后调研了TiDB、ClickHouse、DorisDB,汇总如下:

  •TiDB:一款定位于在线事务处理/在线分析处理(HTAP)的融合数据库产品,可替换MySQL,但生产环境要求配置较高,同时替换现有的MySQL数据库成本高。

  •ClickHouse:一款开源的OLAP列式分析系统,可单独部署不影响现有架构,面向大宽表,支持MySQL外表,但无法支持好多表join,同时现有的业务SQL也需要一定部分改写,运维相对复杂。

  •DorisDB:一款基于Apache开源基金会顶级项目Apache Doris开发的新一代极速MPP分析型数据库,可单独部署不影响现有架构,可多表join,实时数据查询分析快,现有业务SQL基本无需改写,支持MySQL外表,运维简单,同时支持高并发、冷热数据分离。

  综上所述,决定使用DorisDB建立一个实时分析系统。

  数据同步

  如上图所示,我们使用Canal+Kafka方式实时将MySQL同步到DorisDB。Canal是阿里巴巴开源的一个Mysql binlog同步工具,通过Canal我们可以把Mysql的数据同步到Kafka,在Kafka中数据是用Json的格式生成的,然后用DorisDB的Routine Load方式消费Kafka数据同步到DorisDB。历史数据通过创建MySQL外部表,使用INSERT SELECT方式导入到DorisDB。

  冷热数据存储

  实际使用DorisDB过程中,我们采用SSD/NVME+HDD实现冷热数据分离存储,SSD/NVME存储今年数据,HDD存储往年数据。同时DorisDB也支持冷热数据自动迁移的功能,相关建表参数可参考storage_medium、storage_cooldown_time等。

  DorisDB在各场景中应用

  1.自定义多维度分析:业务人员自定义各种维度时,系统自动化动态多表join,通过查询DorisDB快速响应查询结果;

  2.多条件明细数据查询:实现了时间跨度范围大的订单数据、物流数据快速查询;

  3.定时导出明细数据:实现了时间跨度范围大的明细数据快速导出;

  4.日志数据存储:利用DorisDB动态分区特性,大量操作日志存储于DorisDB,解决了日志类与业务类数据同时存储在MySQL导致的性能下降问题。

  DorisDB上线效果

  未使用DorisDB前,我们一直使用MySQL处理所有数据,包括了实时数据分析,技术部门经常收到业务部门的系统提速诉求,上线DorisDB后,提速诉求已基本没有,上线前后SQL查询对比结果如下表:

  综上表所述,在引入DorisDB后,查询速度得到明显提升,目前生成环境使用至少10倍以上。

  遇到问题及解决方案

  1.SQL查询GROUP BY:由于MySQL的sql_mode去掉了ONLY_FULL_GROUP_BY,转移DorisDB测试过程中存在查询报错“SELECT list is not in GROUP BY clause and contains nonaggregated column”,修改已有SQL即可解决;

  2.varchar长度问题:MySQL的长度以字符数计算,而DorisDB以字节计算,处理方案则是在生成创建DorisDB的SQL时,长度设置为原基础上的2倍;

  3.es外部表字符串部分显示为null:DorisDB创建Elasticsearch外部表时,属性参数enable_docvalue_scan默认为true,将其设置为false即可;

  4.动态创建分区不支持时间戳int型字段:DorisDB动态创建分区支持date、datetime字段,目前我们将时间戳int型字段修改为datetime字段存储,当然可以另外增加一列处理。

  作者:林元猛,重庆格洛博技术负责人,负责产品技术实现、系统架构设计等

特别提醒:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


本文标题:DorisDB在格洛博电商系统的应用实践 - 电子商务
本文地址:/dzsw/2377.html

返回网站首页

本文评论
天猫618优惠持续加码,星巴克等588个品牌加入88VIP限时折上95折
天猫618即将开始,为抓住上半年在天猫最重要的品牌增长契机,包括星巴克在内的588个全球品牌火速加......
日期:05-31
聚划算99晚会收视太火爆,网友:亮点多到数不过来
9月9日晚上,当我们在江苏卫视看到乘风破浪的姐姐们,再现《无价之姐》的自信张扬,也看到以活泼舞蹈与......
日期:09-13
“抠金笑尉”李好直播抢金条,聚划算超级官方直播引爆618
6月2日晚8点,新晋聚划算官方抠价官李好上线,开启直播首秀《今夜好抠门》,推介多款抠价爆款好货,......
日期:06-02
“在逃格格”关晓彤pk“装嫩”蔡国庆,苏宁双十一超级秀够味儿
苏宁易购双十一超级秀可谓精彩非凡,既有甜蜜夫妻秦昊、伊能静当场秀恩爱,还有超酷乐队一秒带我们进摇滚,......
日期:11-10
超级大牌统统半价 聚划算百亿补贴下血本了!!
"宅家为国"时期,原本以为能省钱,没想到,网购成为了生活快乐源泉,足不出户也挡不住买买买的欲望......
日期:03-24
中西部大红大紫 沿海城市小清新 淘宝情人节“花市”勾勒彩色地图
谁说只有恋人才过节?是的!在淘宝上,有超7成80后选择买花送自己,有6成情人节鲜花在被女生买走,母......
日期:05-08
华为Mate 40系列手机国行版正式发布 京东第一位用户诞生
10月30日下午14:30,华为Mate 40系列新品国内发布会如期举行。本次带来的HUAWEI Mate 40系列包括Mat......
日期:10-30
苏宁红孩子推出新概念服务 游乐设施一站畅玩
2月26日,苏宁易购总裁侯恩龙在“全民焕新节”发布会上宣布推出SUPER VIP专属会员特权。P......
日期:05-05
苏宁采暖开门红:采暖走红刚需户型,南方也要“暖气自由”
寒冬十二月,高天滚寒流。气温骤降对“冬日经济”的影响,在苏宁采暖双十二开门红战报中......
日期:12-02
苹果返校季活动来袭,转转:二手市场Airpods转售率提升
一年一度的苹果教育优惠“返校季”活动又来了。...
日期:07-27
松鼠拼拼:再造家庭日常消费
5月24日-25日,极客公园 Rebuild 2019 科技商业峰会在成都·中国西部国际博览城举行。松鼠拼......
日期:05-28
苏宁双十一超级CP奇袭95后
90后,在反复被定义和不断被洗白的夹缝里,凭借日益上升的经济基础成为消费主力。...
日期:05-26
购机福利享不停! 黑鲨4 8G+256GB版本焕新上市
正值一年一度的618电商大促,黑鲨科技不仅为广大手游玩家带来极具诚意的爆款外设促销折扣福利,同时还......
日期:06-08
百亿GMV电商基地诞生在临沂
来源:南方周末 2020年8月,有人问徐小米年GMV(全称Gross Merchandise Volume,即商品交......
日期:07-05
传承经典40年 德国销量超越森海塞尔的Teufel音响 双11大促来袭
本次双十一,德国音响品牌Teufel(德斐尔)首次将天猫作为主战场。据悉,这是该品牌首次将中国促销节纳......
日期:10-25
万兴科技喵影工厂与京东达成战略合作 赋能电商视频营销
现代社会是一个快节奏的社会,各行各业的升级换代是很快的。在电商领域,电商巨头们获取用户用户的......
日期:11-25
苏宁年度表彰大会,一线厨电法迪欧获“突出贡献奖”
2020年1月21日,以“创效”为主题的苏宁“年终大赏”隆重举行。作为苏宁重要的......
日期:01-31
挑战拿了就走,沈腾、贾玲818苏宁无人店花式“赖账”
吊足大家胃口数月的苏宁智慧无人店SUNING BIU,终于在818前一天揭开面纱,正式标志着无人店4.0时代......
日期:08-18
天猫国际戴森,坚守对消费者的承诺
近日,戴森在中国市场发布全新的V8 Slim Fluffy无绳吸尘器(简称V8 Slim),定价3290元,已于12月26日......
日期:01-06
开售2小时力压小米,华凌空调618销售战绩抢眼
一年一度的618还在如火如荼的进行着,作为目前电商行业最具影响力,优惠力度最大的促销活动之一,每......
日期:06-18