死柜还出什么样开源项目~~~阿里,百度,腾讯,360,新浪,网易,小米等

by admin on 2018年10月2日

革命字体是现阶段较火之


奇虎360** https://github.com/Qihoo360**

图片 1

1.MySQL中间层
Atlas

Atlas是出于 Qihoo 360, 
Web平台部基础架构团队开发保护的一个基于MySQL协议的多少中间层项目。它当MySQL官方推出的MySQL-Proxy
0.8.2版的功底及,修改了大量bug,添加了成千上万意义特色。目前欠类型在360小卖部内部得到了广泛应用,很多MySQL业务曾经接了Atlas平台,每天承载的读写请求数达几十亿长长的。

最主要成效:
* 读写分离
* 从库负载均衡
* IP过滤
* SQL告诉句黑白名单
* 自动分表

又多内容:https://github.com/Qihoo360/Atlas

 

style=”font-size: 14pt; color: #00ccff;”>2.360黑科技=》DroidPlugin 

​DroidPlugin 是360亲手机助手当 Android
系统及贯彻了一样种新的插件机制:它好以管需安装、修改的情下运作APK文件,此体制对改进大型APP的架,实现多组织协作开发具有自然的裨益。

特点:

  1. 支撑Androd 2.3之上系

  2. 插件APK完全无待召开其他改动,可以单独设置运行、也堪做插件运行。要盖插件模式运行有APK,你无需再次编译、无需清楚那个源码。

  3. 插件的季深组件完全不欲在Host程序中注册,支持Service、Activity、BroadcastReceiver、ContentProvider四大组件

  4. 插件之间、Host程序及插件之间会相认为对方曾”安装”在系统上了。

  5. API低侵入性:极少的API。HOST程序只是得一行代码即可集成Droid
    Plugin

  6. 超强隔离:插件之间、插件与Host之间全的代码级别的断:不可知相互调用对方的代码。通讯只能用Android系统级别之通讯方式。

  7. 支撑具有系统API

  8. 资源全切断:插件之间、与Host之间实现了资源全隔绝,不会见冒出资源窜用的情。

  9. 贯彻了经过管理,插件的空进程会被立马回收,占用内存低。

  10. 插件的静态广播会被作为动态处理,如果插件没有运行(即无插件进程运行),其静态广播为永远不扭转给点。

更多查:https://github.com/Qihoo360/DroidPlugin/

 

style=”font-size: 14pt;”>3.高性能分布式存储服务
HustStore

huststore 是一个高性能的分布式存储服务,不但提供了 10w QPS 级别的
kv 存储的职能,还提供了 hash、set
等同样文山会海数据结构的支持,并且支持 二进制 的 kv 存储,可以完全代替
Redis 的效果。此外,huststore 还整合特有的 HA
模块实现了分布式消息队列的效益,包括信息之流式推送,以及消息的
发布-订阅 等职能,可以了代表 RabbitMQ 的法力。

特性

huststore 分为 hustdb 以及 HA 模块两颇一些。hustdb
(存储引擎)的底部设计使用了自立开发的 fastdb,通过一样效仿特种之 md5 db
将QPS 提升到 10w 级别之档次(含网络层的开)。HA 以 nginx
模块的方式开。nginx 是工业级的 http server 标准,得益于这,huststore
具备以下特点:

  • 愈吞吐量
    hustdb 的网络层采用了开源之 libevhtp 来实现,结合自主研发的高性能
    fastdb 存储引擎,性能测试 QPS 在 10w 以上。

  • 高并发
    参照 nginx 的起能力。

  • 高可用性
    huststore 整体架构支持 Replication (master-master),支持 load
    balance 。
    HA 的可用性由nginx 的 master-worker 架构所保证。当某个一个 worker
    意外挂掉时, master 会自动重新起步一个 worker 进程,而且大多单 worker
    之间是彼此独立的,从而确保了 HA 的高可用性。
    huststore 的高可用性由该完全架构特点保证。由于 hustdb
    的存储节点采用了 master-master 的布局,当某一个仓储节点挂掉时,HA
    会自动将请求于到另外一台 master,同时 HA
    会按照活动进行负荷均衡,将数据分布存储于多单
    hustdb节点上,因此储存引擎不存单点限制。
    还要 HA 集群本身为是分布式的计划性,而且每个 HA
    节点都是独的,当有平雅 HA 挂掉时, LVS
    会自动将请于到其它可用之 HA 节点,从而化解了 HA 得单点限制。

  • 通用性的接口
    huststore 用 http 作为通用协议,因此客户端的贯彻无限定于言语。

  • 支撑二进制的 key-value

还多查:https://github.com/Qihoo360/huststore

 

4.分布式配置管理工具
QConf

QConf 是奇虎 360
内部分布式配置管理工具。用来顶替传统的布置文件,使得配置信息以及程序代码分离,同时安排变化会实时同步到客户端,而且保证用户迅速读取配置,这要是的工程师从零碎的部署修改、代码提交、配置达到线流程中解放出来,极大地简化了布置管理工作。

特点

  • 同地处修改,所有机器实时同步创新

  • 霎时读取配置

  • 安装配置好,使用简单

  • 服务器宕机、网络中断、集群迁移等异常情况对用户透明

  • 支持c/c++、shell、php、python、lua 等语言

再多查:https://github.com/Qihoo360/QConf

 

style=”color: #00ccff; font-size: 14pt;”>5.开源类Redis存储系统 Pika

Pika 是 360 DBA 和基础架构组共开发的类 Redis 存储系统,完全支持
Redis 商量,用户不待改外代码,就足以以劳动迁移至 Pika。有保安
Redis 经验的 DBA 维护 Pika 不欲上学成本。

Pika 主要解决的凡用户采取 Redis 的内存大小超过 50G、80G
等等这样的状,会遇上启动恢复日累加,一预告多打代价十分,硬件成本高昂,缓冲区容易写满等题材。Pika
就是对这些现象的一个解决方案。

特点

  • 容量非常,支持百G数据量的蕴藏

  • 兼容redis,不用修改代码即可平滑从redis迁移到pika

  • 支撑中心(slaveof)

  • 全面的运维命令

重多内容:https://github.com/Qihoo360/pika

 

style=”color: #00ccff;”>6.对象缓存服务器 kmemcache

分布式linux内核内存对象缓存服务器,实现基于memcached v1.4.15,基本匹配memcached的具备操作。经开始测试,内存数据操作比较memcached快1加倍,网络并发量比memcached的吧老群,目前处于alpha版本。

长:由于在本的socket层实现,所有拍卖网络事件性质比epoll机制快,另外无论需外存由用户空间及基本空间的正片。

症结:不建议以32bits下以。

重复多内容: https://github.com/Qihoo360/kmemcache

 

style=”color: #00ccff; font-size: 14pt;”>7.ngx_http_subrange_module

当Nginx作为文件下充斥服务之反向代理,用户请求一个生酷之公文之时段,它会直接占据满反往代理服务器与后端主机里的牵动富。因为nginx一涂鸦获整个文件,缓冲获取到之公文,导致客户端不可知马上读取到。带富下与iowait会很高。

ngx_http_subrange_module就是为了化解这题目,它能分开HTTP
requests。将命据量的HTTP请求切分为多个子请求,当下载一个1
G之文书,subrange将从今后端主机中下载文件块,比如先抱5 M,然后又赢得5
M,直到客户端下充斥了全部文件。

重复多查:https://github.com/Qihoo360/ngx_http_subrange_module

 

8.齐到异步的类库
Mario

Mario是一个让修从一道到异步的类库,它的线程安全比充分,易于使。Mario
的最好基本的想法就是以减少人员的配置,降低本钱以及日投入。但是来了是类库,操作人员即可挤出精力做别的工作了。所以
Mario 类库能够生轻易之缓解而的题材,你偏偏需要你协调之音讯功能。

招擎类型:

  • memory,这种类型就是将数据缓冲存储器留在内存里。

  • file,这种类型就是能够在本土日志路径里创建做出一个 write2file。

再次多查:https://github.com/Qihoo360/Mario

 

其余一系列请去360github库观看

 —————————————————————————————————————-

百度
Baidu**
 https://github.com/fex-team/**

图片 2

https://github.com/ecomfe

 

1.UEditor
编辑器

UEditor是出于百度web前端研发部开发所展现即所得富文本web编辑器,具有轻量,可定制,注重用户体验等特点。

首要特征:

轻量级:代码精简,加载高效。

定制化:
崭新的支行理念,满足多元化的急需。
动用三重叠架构:

  1. 核心层: 为命令层提供底层API,如range/selection/domUtils类。
  2. 令插件层: 基于核心层开发command命令,命令中互相独立。
  3. 界面层: 为命令层提供用户使用界面。
    满足不同层次用户的要求。

https://github.com/fex-team/ueditor

https://github.com/fex-team/umeditor

 

style=”font-size: 14pt;”>2.ECharts 图表库

ECharts开源来自百度商业前端数据可视化团队,基于html5
Canvas,是一个纯Javascript图表库,提供直观,生动,可互相,可个性化定制的数可视化图表。创新的拖拽重算、数据视图、值域漫游等特性大大加强了用户体验,赋予了用户指向数据开展打、整合的能力。提供商产品常用图表,底层基于ZRender(一个新的轻量级canvas类库),创建了坐标系,图例,提示,工具箱等基础零部件,并当是达成构建出折线图(区域图)、柱状图(条状图)、散点图(气泡图)、饼图(环形图)、K线图、地图、力导向布局图及跟弦图,同时支持任意维度的堆积以及多图表混合表现。

更多:https://github.com/ecomfe/echarts

 

ECharts-X是 ECharts 团队推出的崭新 3D 可观看化库,它是因 ECharts
的扩展,底层深度结合了 WebGL 库QTEK和 Canvas2D 库ZRender。

扩展:https://github.com/ecomfe/echarts-x

 

3.WebUploader
达成污染控件

WebUploader 是由于Baidu
WebFE(FEX)团队开发之一个粗略的盖HTML5为主,FLASH为辅的现代文件上传组件。在当代之浏览器中会充分发挥HTML5的优势,同时还要不抛弃主流IE浏览器,延用原来的FLASH运行时,兼容IE6+,Andorid
4+,IOS
6+。两模拟运行时,同样的调用方式,可供应用户自由选用。采用大文件分片并作上传,极大的滋长了文本及传效率。

https://github.com/fex-team/webuploader

 

style=”font-size: 14pt; color: #00ccff;”>4.百度过脑图 KityMinder

KityMinder
是百度FEX团队的f-cube小组(原UEditor小组)的还要同样绝唱。作为一如既往缓在线的脑图编辑工具,它装有许多Native编辑工具的竞相体验。KM与UE有着一样的宏旨,就是重视最终用户的运用体验。同时,它充分发挥了Web云存储的优势,可以一直用修中之脑图同步到云端。此外,借由独创的
“云盘分享”功能,用户可以一键以手上编辑的脑图直接生成在线链接共享于其他用户,实现无缝沟通。
KM是基于SVG技术实现,使用JavaScript+html实现。支持绝大多数之主流浏览器。
支持列表如下

  1. chrome
  2. firefox
  3. safari
  4. ie9-11

https://github.com/fex-team/kityminder

 

5.人造智能体系
WARP-CTC

WARP-CTC 基被 CTC 方法,当前可用之一部分 CTC
实现日常要求大量的内存还是是慢十到几百加倍。

百度研究所首席科学家 Andrew Ng
称他的钻要是人工神经网络如何以图形处理单元 (GPUs) 上运行,让
WARP-CTC 实现对 GPUs 和 x86 CPUs 的支撑。

connectionist temporal classification (CTC) 方法好追溯到 2006 年,在
Swiss AI 研究所 IDSIA 论文及发生记录。 百度研究所开发的 WARP-CTC 就冲
CTC 方案,但是改进了其本身的话音识别功能

https://github.com/baidu-research/warp-ctc

 

另外一系列请去baidu github库观看

 —————————————————————————————————————-

腾讯 QQ http://alloyteam.github.io/

图片 3

https://github.com/AlloyTeam/Mars

https://github.com/tencent-wechat

style=”font-size: 14pt; color: #ed0727;”>1.WeUI 吧微信Web服务量身设计

WeUI
是千篇一律仿照及微信原生视觉体验一致的底蕴样式库,由微信官计划团队为微信 Web
开发量身设计,可以叫用户之应用感知更加统一。包含buttoncelldialog、 progress、 toastarticleactionsheeticon顶各式元素。

https://github.com/weui/weui

 

style=”font-size: 14pt; color: #ed0727;”>2.手机前端开发调试利器
vConsole

我们在付出手机版网页的时刻,常常会面世下面的情景:

 (1)
开发时,在团结电脑上运行得尽善尽美的,在大哥大及开辟就挂了,但是手机上还要看不到error
log; 

 (2)
上线后,某用户表示页面失灵,但我们协调并且复发不出,看不到用户侧的失误信息。

万一说(1)还足以经过计算机连续手机为查看log来化解,那(2)在没有周全的前端上报体系时就可怜消沉了。

当开发者,我们的诉求充分简单:有没有发疾的不二法门以手机前端页面来看log日志?vConsole就这样出现了!

https://github.com/WechatFE/vConsole

 

style=”font-size: 14pt; color: #ed0727;”>3.正经级Web图像处理引擎
AlloyImage

AlloyImage是一个施用Javascript语言开发的,基于Web的在线图像处理引擎,除了核心底层图像处理引擎,还同时并入了有的方便快捷的图像处理API,您可以拿其概括高效的援到您的Web网页中,做出与PhotoShop一样的优美效果。甚至,你可以用AlloyImage来开发一个Web在线图像处理软件。

https://github.com/AlloyTeam/AlloyImage

https://github.com/AlloyTeam/AlloyPhoto 

 

style=”color: #00ccff;”>4. GoPng 图片合并并生成CSS

Css
Sprite,有时也称雪碧图、精灵图,是各国一个前端开都见面遇上的题目,也是广的略图加载优化手段。 

在线版本:https://alloyteam.github.io/gopng/

源码地址:https://github.com/AlloyTeam/gopng

style=”line-height: 1.5; background-color: initial;”>合成分解: style=”line-height: 1.5; background-color: initial;”>https://github.com/luyongfugx/hcSpriteCuter
(一个由于多摆小图合并而变成的雪碧图中抠出中同样摆放或几布置图)

 

style=”color: #00ccff;”>5.可视化Web构建工具
AlloyDesigner

AlloyDesigner
是平等慢性从为加强前端生产效率的浏览器内运行工具,AlloyDesigner + Chrome
F12(Especially with WorkSpace)  打造前端新的出与测试模式

https://github.com/AlloyTeam/AlloyDesigner

 

style=”font-size: 14pt; color: #ed0727;”>6.Koala跨平台图形编译工具

Koala是一律迟迟预处理器语言图形编译工具,支持Less、Sass、CoffeeScript、Compass
framework 的尽管经常编译。
无需手动输入指令去编译,后台监听文件是否发生转移,如发生修改会自动进行编译。能够大大升级 Web 开发被的工作效率。

职能特色

  • 差不多语言支持 支持Less、Sass、CoffeeScript 和 Compass Framework。

  • 实时编译 监听文件,当文件改变时自动执行编译,这一切都在后台运行,无需人工操作。

  • 编译选项 可以安装各个语言的编译选项。

  • 型安排 支持吗项目开创一个大局配置,为文件设置统一编译选项。

  • 荒谬提示 在编译时一旦赶上语法的失实,koala将于右手下角弹出错误信息,方便开发者定位代码错误位置。

  • 跨平台 Windows、Linux、Mac都能够健全运行。

网支持与要求

Koala支持逾平台运行,完美兼容Windows、Linux与Mac 。
Linux系统下需要安装好ruby运行条件, e.g. $ sudo apt-get install ruby.

https://github.com/oklai/koala

 

style=”font-size: 14pt;”>7.轻量级 CSS3 动画库
JX.Animate

JX.Animate
是一个开源的轻量级的CSS3动画库。动画可以行使正规的CSS3最主要帧动画(KeyFrame)制作,也可以动用JavaScript制作,而且还得支撑于JavaScript中动态变化动画关键帧。

https://github.com/AlloyTeam/JXAnimate

 

style=”color: #00ccff;”>8.Fanvas swf转为html5 canvas

Fanvas是一个把swf转为html5
canvas动画的系,由片片段构成:Actionscript实现的解析器、js运行库。Flash做动画是最成熟最高效的法子,但由于极端基本未支持Flash播放,这给终端的动画制作带来了诸多累。Fanvas是Flash和Canvas的全面结合,可以将swf(包括矢量和位图)完美地转发为canvas动画.

https://github.com/TencentOpen/Fanvas

 

9.身上调测平台
GT

GT(随身调)是APP的身上调测平台,它是直接运行于大哥大及之“集成调测环境”(IDTE,
Integrated Debug
Environment)。利用GT,仅凭一部无绳话机,无需连续电脑,您即可对APP进行高效的性测试(CPU、内存、流量、电量、帧率/流畅度等等)、
开发日志的查看、Crash日志查看、网络数据包的抓取、APP内部参数的调剂、真机代码耗时统计等。如果你认为GT提供的功用还不够满足你的消,您还
可以动用GT提供的基础API自行开发出特别意义的GT插件,帮助而解决越复杂的APP调试问题。

https://github.com/TencentOpen/GT

 

10.Frozen
UI 移动端UI框架

Frozen
UI是一个开源的简约好用,轻量快捷的活动端UI框架。基于手Q样式规范,选取最常用之零部件,做成手Q公用离线包减少请求,升级方式友好,文档完善,目前周采取在腾讯手Q增值业务受到。

https://github.com/frozenui/frozenui

 

11.LivePool  Web
开发调试工具

LivePool 是一个因 NodeJS,类似 Fiddler 支持抓包和地面替换的 Web
开发调试工具,是 Tencent AlloyTeam 在支付执行进程总结出之一模一样效仿的便捷的
WorkFlow 以及调节方案。

特性

  • 基于 NodeJS, 跨平台

  • 支持 http 抓包和地面替换调试,Https/WebSockets
    直接代理转发(暂无支持本地替换)

  • 便民的 UI 管理界面,跟 Fiddler 类似,降低学习成本

  • 可以退 UI
    后台运行,适应被某些不待抓包,只需要使用替换和省略路由于的景

  • 基于项目的交替规则管理,方便快捷,规则支持拖曳排序

  • 支撑因请求路径的地头文件替换,支持因请求路径的路由转发(host
    配置)

  • 轮换类型支持:文件/文件夹替换,combo合并替换,qzmin替换(批量combo),delay延时齐名

  • 支撑活动装系统代理

  • 支持规则过滤,只展示关注之求

  • 提供构建 http get/post 请求界面,方便接口调试

  • 特征功能:模拟gprs/3g等没有网速(mac only)

  • 特性功能:支持离线站点及当地,并自行代码格式化

https://github.com/rehorn/livepool

 

style=”color: #00ccff; font-size: 14pt;”>**12.KNVProtoEngine 愈性能树型协议处理引擎**

KNV是一个模式自由的过人性能树型协议处理引擎,是指向Key-Value的一个通用结构化扩展。

行使特性

正而NoSQL对SQL的干净变革一样,KNV是本着Key-Value的根变革!

大家都异常熟稔Key-Value系统,但KV操作极不便于:

而只能自己做乐观锁(读返回seq->修改->带seq写->seq变化则重头开始);
— 你只能拉取一积聚数据,然后又领取你想使的有的;
— 为了修改一个bit,你只能把同串数据拉取修改后更同交给更新
然本有KNV,一切都解决了。KNV时代来了,你还于犹豫吗?

下场景

KNV是特意针对因为Protocol
Buffers(或近似树型结构)存储的贮存系统出的,有3独利用场景:

  1. 存储系统 处理用户要的通用解决方法(Get/Set/Delete),可以适配任意用户从定义之数据结构。

  2. 代理/通用逻辑层 服务器处理Protocol Buffers协议的通用方 –
    比如通用Proxy,透传多单协议,
    对要保管进行鉴权、限频、统计等等操作,还支持针对包体内容展开审计,使用KNV协议,
    这种方法就生或而非常简短。

  3. 本生态 Protocol Buffers打解包库 的胜性能代替品。

https://github.com/TencentOpen/KNVProtoEngine

 

13.Behaviac
游戏AI的开发框架组件

Behaviac是玩AI的支付框架组件,也是打原型的迅速设计工具。支持作为树BT,状态机FSM,HTN等又范式,方便之编写和调剂。支持都平台,适用于客户端以及服务器,助力游戏高速迭代开发。编辑器可以运行在PC上,操作方便直观可靠,支持实时和离线调试;编辑器可以导出xml,bson等强格式,更可导出C++,C#源码,提供高效率。运行时支持都平台,有C++和C#有限只版,原生支持Unity。

早就给《天天炫斗》、《QQ飞车》、《全民突击》、《全民夺宝》、《九龙战》等游戏和其他还多预研项目用。

https://github.com/TencentOpen/behaviac

 

style=”color: #00ccff;”>14.现代构建系统 Typhoon Blade

Blade主要定位被linux下的大型C++项目,密切配合研发流程,比如单元测试,持续集成,覆盖率统计等。但譬如unix下之公文过滤程序一样
样,保持相对的独立性,可以独立运行。目前根本支持i386/x86_64
Linux,未来得以考虑支持任何的类Unix系统。

特点:

  • 机关分析头文件指关系,构建受影响之代码。

  • 增量编译和链接,只构建以改动为影响而得构建的。

  • 机关计算库的间接依赖,库的作者就待写来直接依赖,构建时自动检查所倚之堆栈是否要再次构建。

  • 以随意代码树的任意子目录下都能构建。

  • 支持一潮递归构建多个目录下的保有目标,也支撑但构建任意的一定的靶子。

  • 凭构建什么目标,这些目标所指的目标呢会见于电动连以更新。

  • 坐 debug/release 两种植构建类型。

  • 色彩缤纷高亮构建过程遭到的错误信息。

  • 支持 ccache

  • 支持 distcc

  • 支持因构建多平台目标

  • 支持构建时选编译器(不同版本的gcc,clang等)

  • 支撑编译 protobuf,lex, yacc, swig

  • 支撑由定义规则

  • 支撑测试,在指令执行跑多单测试

  • 支撑彼此测试(多只测试进程并作运行)

  • 支撑增量测试(无需还运行的测试程序自动跳了)

  • 集成 gperftools,自动检测测试程序的内存泄露

  • 构建脚论 vim 语法高亮

  • svn 式的子命令命令行接口。

  • 支撑 bash 命令行补全

  • 故而 Python 编写,无需编译,直接装使用。

穷避免以下问题:

  • 头文件更新,受影响之模块没有再次构建。

  • 给因的库房需要更新,而构建时从没为更新,比如某子目录依赖遥远的某个外部目录的代码,我于是目录构建,外部目录的代码会给活动检查是否也欲再行构建。

https://github.com/chen3feng/typhoon-blade

 

style=”font-size: 14pt; color: #ed0727;”>15.RapidJSON C++的JSON开发包

Rapidjson 是一个 C++ 的飞跃 JSON 解析器和生成器,使用 SAX/DOM 风格的
API 设计。

https://github.com/miloyip/rapidjson

 

style=”font-size: 14pt;”>16. 微信开源PhxSQL

PhxSQL是一个兼容MySQL、服务大可用、数据强一致的涉及项目数据库集群。PhxSQL以单Master多Slave方式配置,在集群内逾一半机械存活的景象下,可自实现全自动Master切换,且保证数据一致性。

https://github.com/tencent-wechat/phxsql

 

 更多请自行查看:http://alloyteam.github.io/ https://github.com/tencent-wechat

 —————————————————————————————————————-

新浪:WeiBo https://github.com/weibocom

图片 4

style=”font-size: 14pt;”>1.分布式缓存服务器 memcachedb

class=”hilite1″>memcachedb是
一个是因为新浪网的开发人员开放出来的开源项目,给memcached分布式缓存服务器上加了Berkeley
DB的持久化存储机制和异步主辅复制机制,让memcached具备了作业恢复能力、持久化能力跟分布式复制能力,非常适合于要超高性能读写速度,但是
不待从严业务约束,能够被持久化保存的使用场景,例如 class=”hilite1″>memcachedb被应用在新浪博客上面。

class=”hilite1″> class=”hilite1″>https://github.com/stvchu/memcachedb

2.动态流量管理方案
Upsync

Upsync,微博开源基于Nginx容器动态流量管理方案 。Nginx
为该超过高之习性及安定,在业界获得了科普的采取,微博之七层就大方施用了
Nginx 。结合 Nginx 的健康检查模块,以及动态 reload
机制,可以接近无损的劳动的升级上丝与扩容。这个时节扩容的频次比较小,大多数状下是来计划之扩容。Upsync,开发了模块
nginx-upsync-module,它的功能是拉取 consul 的后端 server
的列表,并更新 Nginx 的路由信息。此模块不指让任何第三在模块。consul
作为 Nginx 的 db,利用 consul 的 KV 服务,每个 Nginx work
进程独立的去拉取各个 upstream 的安排,并创新各自的路由。

https://github.com/weibocom/nginx-upsync-module

3.胜似性能的水源 Socket
实现 Fastsocket

Fastsocket 是一个赛扩展性的 Socket 以及 Linux
内核的脚网络实现。可以当差不多核机器上提供极致好之性质,此外使用和保护还非常简单。目前该品种早就当新浪的产条件中运用。该档由于清华大学与初浪网联合重组的
Fastos 团队开发,该团队的重任是升格 Linux 内核的效率。Fastsocket
目前都采取以新浪微博之养条件上,主要用来提供负载均衡服务的
HAProxy,线及实际性能提升一倍增,从2014年3月份安生运行至今天,预计2014岁末就负载均衡全部集群的
Fastsocket 升级。Fastsocket 完全配合 BSD Socket API,现有各类基于
Socket 的网利用得一直下
Fastsockt。 目前经相当测试的常用服务软件来:HAProxy、Nginx、Lighttpd、Redis
和 Memcached。

https://github.com/fastos/fastsocket

4.轻量级 RPC 框架
Motan

Motan 是一律效仿高性能、易于使的分布式远程服务调用(RPC)框架。

功能

  • 支持通过spring配置方式并,无需额外编写代码即可为劳动提供分布式调用能力。

  • 支持集成consul、zookeeper等布置服务组件,提供集群环境之劳务意识和治理能力。

  • 支撑动态自定义负载均衡、跨机房流量调整等高等服务调度能力。

  • 据悉高并发、高负载场景进行优化,保障生产条件下RPC服务大可用。

https://github.com/weibocom/motan

5.TCP
性剖析工具 Tcpdive

Tcpdive 是 TCP 性能剖析工具,主要特色:

  • 复多 TCP 内部性能信息

  • 定量评估 TCP 性能改进

  • 描述在 TCP 层的 HTTP 处理,依赖于 HTTP Apps

  • 善部署,使用好

Tcpdive 已经于初浪的生产环境及布置下:

  • 提高微博图片服务品质

  • 增进微博视频服务品质

  • 每当有线和无线网络中较 TCP 性能

  • 笔录不同采取之 TCP 流量

https://github.com/fastos/tcpdive

style=”font-size: 14pt;”>6.PHP框架 Yaf

Yaf是一个C语言编写的PHP框架,Yaf 的特性:

  1. 之所以C语言开发之PHP框架, 相比原生的PHP, 几乎未见面带来格外的属性开销.

  2. 抱有的框架好像, 不待编译, 在PHP启动的时候加载, 并常驻内存.

  3. 重短的内存周转周期, 提高内存利用率, 降低内存占用率.

  4. 巧的自行加载. 支持全局和一些两种植加载规则, 方便类库共享.

  5. 愈性能的视图引擎.

  6. 高度灵活可扩大的框架, 支持由定义视图引擎, 支持插件,
    支持从定义路由等等.

  7. 内建多种路由, 可以配合目前普遍的各种路由于协议.

  8. 雄而与此同时高度灵活的布文件支持. 并支持缓存配置文件,
    避免复杂的安排结构带来的习性损失.

  9. 在框架本身,对高危的操作习惯开了禁止.

  10. 再也快之执行进度, 更不见的内存占用.

https://github.com/laruence/yaf


小米:XiaoMi https://github.com/XiaoMi

图片 5

style=”color: #00ccff; font-size: 14pt;”>1.分布式的公布与监理网
Minos

Minos
是小米公司开之一个分布式的昭示与监察系统。最初是小米开发之之所以来当
Hadoop 和 ZooKeeper 集群上公布和保管的工具。Minos
可轻松扩展来支撑外的体系,目前曾支撑连 HDFS、YARN 和 Impala 。

https://github.com/XiaoMi/minos

 

style=”color: #ed0727; font-size: 14pt;”>2.互联网商家级监督网
OpenFalcon

Open-Falcon 是小米运维部开源之同缓互联网公司级督查体系缓解方案.

监督系统是整套运维环节,乃至整个产品生命周期中极根本之同一环绕,事前就预警发现故障,事后供可靠的数码用于追查定位问题。监控系统作为一个熟之运维产品,业界有很多开源的贯彻而供应选择。当企业正启动,业务范围比较小,运维团队也正好成立之头,选择相同暂缓开源的监督体系,是一个省时省力,效率最高的方案。之后,随着事情范围之不停快速增长,监控之对象啊越发多,越来越复杂,监控网的采用对象也于早期少数的几乎单SRE,扩大也更多之DEVS,SRE。这时候,监控网的容量和用户之“使用效率”成了极突出的题目。

监察体系业界出成百上千杰出的开源监控网。我们于最初,一直于为此zabbix,不过就业务的快速腾飞,以及互联网公司故意的片段需要,现有的开源之督察网以性、扩展性、和用户之运用效率方面,已经无力回天支撑了。

故此,我们以过去底平年里,从互联网公司之局部求出发,从各位SRE、SA、DEVS的采取更和报告出发,结合业界的一对可怜之互联网企业开监控,用监督之组成部分想想出发,设计开发了小米的监察体系:Open-Falcon。

Highlights and features

  • 数搜集免布局:agent自发现、支持Plugin、主动推送模式
  • 容量水平扩展:生产条件各秒50万次于数据收集、告警、存储、绘图,可不止水平扩展。
  • 报警策略从发现:Web界面、支持政策模板、模板继承与覆盖、多种报警方式、支持回调动作。
  • 报警设置人性化:支持不过特别告警次数、告警级别设置、告警恢复通知、告警暂停、不同时段不同阈值、支持保护周期,支持告警合并。
  • 史数据快速查询:秒级返回上百独指标相同年之史数据。
  • Dashboard人性化:多维度的数额展示,用户从定义Dashboard等功能。
  • 架构设计高可用:整个体系无核心单点,易运维,易部署。

https://github.com/XiaoMi/open-falcon

 

3.物联网框架
IoT.js

IoT.js 旨在为物联网提供一个冲 Web 技术的可互相操作的服务平台。IoT.js
的目标是设当资源受限的设施上良好运转,例如只生几乎 KB 的
RAM。所以其支持广大的物联。

https://github.com/Samsung/iotjs


豆瓣 DouBan https://github.com/douban

图片 6

 

1.分布式计算框架
DPark

DPark 是 Spark 的 Python
克隆,是一个Python实现之分布式计算框架,可以老有利地贯彻广泛数据处理和迭代划算。
DPark 由豆瓣实现,目前豆瓣内部的大多数数目解析还施用DPark
完成,正日趋完善。

https://github.com/douban/dpark

 

style=”color: #00ccff;”>2.iOS/Mac 音频播放器
DOUAudioStreamer

DOUAudioStreamer 是 iOS 和 Mac 的基于核心音频的流媒体音频播放器。

https://github.com/douban/DOUAudioStreamer

 

3.CODE
豆代码托管体系

Douban CODE 是豆类开发之一个根据 git 版本控制系统的协作平台。

CODE —— C: Community O: Original D: Developer E: Eldamar

当前 CODE 仅开了一个框架,支持:

  • clone & push project

  • create project

  • create user

准备条件

  • MySQL

  • Memcached

  • Python >= 2.7

  • pip >= 1.4.1

  • virtualenv

  • git

https://github.com/douban/code

 


网易
NetEase
 https://github.com/netease

 图片 7

style=”font-size: 14pt; color: #ed0727;”>1.分布式TCP压力测试工具
tcpcopy

tcpcopy是如出一辙栽采取请求复制(基于tcp的packets)工具,其应用领域较普遍,目前就应用叫国内各级大互联网企业。

完整说来,tcpcopy主要有如下效果:

1)分布式压力测试工具,利用在线数据,可以测试系统能承受之压力大小(远比ab压力测试工具真实地大多),也可以提前意识部分bug
2)普通上线测试,可以窥见新系统是否平安,提前发现上丝经过遭到会起的居多题材,让开发者有信心上线
3)对比试验,同样要,针对不同或不同版本程序,可以开性能比等考试
4)利用多种手法,构造无限在线压力,满足中小网站压力测试要求
5)实战演习(架构师必备)

https://github.com/session-replay-tools/tcpcopy

 

style=”color: #ff0000; font-size: 14pt;”>2.桌面使软件之跨平台解决方案
heX

heX
是网易有道搜索部门开之一个允许你下前端技术(HTML,CSS,JavaScript)开发桌面应用软件的跨平台解决方案,基于HTML5
+ node.js,类似appjs。是公出桌面应用的一致栽新的精选,意在解决传统桌面应用开发被繁琐的UI和相互开发工作,使其变的略而高速。特别符合重UI,重交互的桌面应用软件。

https://github.com/netease-youdao/hex

https://github.com/netease-youdao/hex-samples

 

3.Android性能测试工具
Emmagee

Emmagee是督查指定为测量应用在运用过程遭到占据机器的CPU、内存、流量资源的习性测试小器。

支持SDK:Android2.2暨上述版本

Emmagee功能介绍

1、检测时时光被测应用占用的CPU使用率以及完整CPU使用量

2、检测时时吃测量应用占用的外存量,以及占的完全内存百分比,剩余内存量

3、检测采用由起步上马至眼前日子吃的流量数

4、测试数据写入到CSV文件中,同时储存在手机遭

5、可以选被浮窗功能,浮窗中实时显示为测应用占用性能数据信息

6、在浮窗中得以快捷启动或关闭手机的wifi网络

https://github.com/NetEase/Emmagee

 

style=”font-size: 14pt; color: #00ccff;”>4.基于udp的恳求复制工具
udpcopy

udpcopy用来解决udp应用的一个开源软件,与tcpcopy同属xcopy系列,可以导入udp流量到测试系统受到失去,这样即便足以有效地对准网进行各种测试,比如压力测试,冒烟测试等等。

https://github.com/wangbin579/udpcopy

 

style=”font-size: 14pt;”>5.实时编辑刷新的前端服务器 Puer style=”font-size: 18px; color: #000000;”>( style=”color: #ff6600;”>推荐: style=”color: #ff6600;”>browser-sync  style=”font-size: 15px;”>https://github.com/BrowserSync/browser-sync)

简,Puer是一个足以实时编辑刷新的前端服务器。特性一览:

  • 提供一个时要么指定路线的静态服务器

  • 不无浏览器的实时刷新:编辑css实时更新(update)页面样式,其它文件则重载(reload)页面

  • 供简熟悉的mock请求的配置功用,并且安排也是自动更新。

  • 可用作代理服务器,调试开发既出服务器的页面,可和mock功能配合以

  • 并了weinre,并提供二维码地址,方便移动端的调剂

  • 可看做connect中间件使(前提是后端为nodejs,否则要用代理模式)

https://github.com/leeluolee/puer

————————–阿里巴巴开源的好软件最好多,请自行选择所待,我排几个我们之所以底————————-

阿里巴巴
Alibaba https://github.com/alibaba/ https://github.com/thx

图片 8

style=”font-size: 14pt;”>1.分布式key/value存储系统
Tair

Tair是出于淘宝网自主开发的Key/Value结构数据存储系统,在淘宝网有着广阔的行使。您当登录淘宝、查看商品详情页面或者在淘江湖同好友“捣浆糊”的时,都以直或间接地和Tair交互。Tair是一个Key/Value结构数据的化解方案,它默认支持因内存和文件之星星种植存储方,分别和我们便所说之缓存和持久化存储对应。

Tair除了一般Key/Value系统提供的效能,比如get、put、delete以及批量接口外,还有一些外加的实用功能,使得那发生重普遍的适用场景,包括:

  • Version支持

  • 原子计数器

  • Item支持

https://github.com/alibaba/tair

 

style=”font-size: 14pt; color: #ff0000;”>2.TFS 分布式文件系统

TFS(Taobao
FileSystem)是一个胜似而扩大、高可用、高性能、面向互联网服务的分布式文件系统,其计划目标是支持海量的无结构化数据。

目前,国内自主研发的文件系统可谓凤毛麟角。淘宝在马上同一世界做了行之追究和履,Taobao
File
System(TFS)作为淘宝里采用的分布式文件系统,针对海量小文件的妄动读写访问性能做了独特优化,承载着淘宝主站所有图片、商品描述等数存储。

https://github.com/alibaba/tfs

 

3.消息中间件
RocketMQ

style=”font-size: 14pt; color: #ff0000;”>图片 9

https://github.com/alibaba/RocketMQ

https://github.com/alibaba/RocketMQ-docs

 

style=”font-size: 14pt; color: #ff0000;”>4.分布式计算系统 JStorm

 Jstorm是参照storm的实时流式计算框架,在网IO、线程模型、资源调度、可用性和泰上做了持续改进,已给愈来愈多企业应用

https://github.com/alibaba/jstorm

 

5.淘宝Web服务器
Tengine

Tengine是出于淘宝网发起的Web服务器项目。它当Nginx的基础及,针对大访问量网站的急需,添加了多高等功能跟特点。Tengine的习性与平稳就当大型的网站要淘宝网,天猫商城等得了充分好的检验。它的最终目标是制造一个便捷、稳定、安全、易用的Web平台。

 

以下沿引项目主页上之风味介绍:

 

  • 累Nginx-1.2.8的装有特性,100%相当Nginx的安排;

  • 动态模块加载(DSO)支持。加入一个模块不再要重编译整个Tengine;

  • 更多负载均衡算法支持。如会话保持,一致性hash等;

  • 输入过滤器机制支持。通过利用这种机制Web应用防火墙的编制更为便利;

  • 动态脚本语言Lua支持。扩展功能十分迅猛简明;

  • 支撑管道(pipe)和syslog(本地和远端)形式之日记与日志抽样;

  • 构成多独CSS、JavaScript文件之造访请求变成一个央;

  • 可以本着后端的服务器进行主动健康检查,根据服务器状态自动上丝下线;

  • 电动根据CPU数目设置过程个数与绑定CPU亲缘性;

  • 督察体系的载重和资源占用从而对系统进行保护;

  • 来得对运维人员重新团结的差信息,便于定位出错机器;

  • 还强大的严防攻击(访问速度限制)模块;

  • 再度有利于之通令执行参数,如列有编译的模块列表、支持之命等;

  • 好依据访问文件类型设置过时;

https://github.com/alibaba/tengine

  

6.SeaJS
模块加载框架

Sea.JS
是一个以 CommonJS 规范的模块加载框架,可用来轻松快活地加载任意
JavaScript 模块。SeaJS 支持之正统模块遵循 Modules/Wrappings 规范之
define 形式,可运行为 Web 浏览器与 node.JS 等条件受到。

https://github.com/seajs/seajs

 

style=”font-size: 14pt; color: #00ccff;”>7.阿里巴巴分布式数据库同步系统
otter

otter
基于数据库增量日志解析,准实时一并到本机房要外地机房的mysql/oracle数据库.
一个分布式数据库同步系统。

https://github.com/alibaba/otter

 

8.Taobao Open API
客户端 TOP
(有Net版)

TOP 是 Taobao Open API 客户端。

APIs

User

  • taobao.user.buyer.get 查询买家信息API

  • taobao.user.get 获取单个用户信息

  • taobao.user.seller.get 查询卖家用户信息

  • taobao.users.get 获取多只用户信息

Category (Working)

  • taobao.itemcats.authorize.get 查询商家为授权品牌列表和类目列表

  • taobao.itemcats.get 获取后台供卖家公布商品之正儿八经商品类目

  • taobao.itemcats.increment.get 增量获取后台类目数据

  • taobao.itemprops.get 获取标准商品类目属性

  • taobao.itempropvalues.get 获取标准类目属性值

  • taobao.topats.itemcats.get 全量获取后台类目数据

Shop

  • taobao.shop.get (白名单用户才会调用)

style=”color: #00ccff;”>9.模拟数据生成器 Mock.js

Mock.js
是千篇一律慢慢悠悠仿照数据生成器,旨在帮助前端攻城师独立于晚端平进行付出,帮助编写单元测试。提供了以下拟功能:

  • 据悉数据模板生成模拟数据

  • 依傍 Ajax 请求,生成并返模拟数据

  • 基于 HTML 模板生成模拟数据

https://github.com/nuysoft/Mock

 

style=”font-size: 14pt;”>10.劳务框架 Dubbo

Dubbo
是阿里巴巴公司开源之一个赛性能优异的劳务框架,使得应用可由此强性能的
RPC 实现服务的输出以及输入功能,可以跟 Spring框架无缝集成。

主要核心部件:

  • Remoting: 网络通信框架,实现了 sync-over-async 和
    request-response 消息机制.

  • RPC: 一个远道过程调用的肤浅,支持负载均衡、容灾和集群效应

  • Registry: 服务索引框架用于服务之登记及劳务事件发布与订阅

https://github.com/alibaba/dubbo

 

11.接口文档管理工具
RAP

 

RAP通过GUI工具协助WEB工程师还快速的保管接口文档,同时经过分析接口结构自动生成Mock数据、校验真实接口的科学,使接口文档成为开流程中的强依赖。有了结构化的API数据,RAP可以开的双重多,而我们得免重新多重复劳动。

 

https://github.com/thx/RAP

 

Nginx7天入门:https://github.com/taobao/nginx-book

 


其他品种:

style=”color: #ff6600;”>1.去哪儿:

style=”color: #00ccff;”>MySQL自动化运维工具
Inception

MySQL语句的审,在业界都早就基本让承认了,实际上为是针对性MySQL语句写法的统一化,标准化,而之前的人造审核,针对业内是题目实际上是深
吃力的,标准进一步多,DBA越累,开发也更为累。
那么当此还追求自动化运维的时日,审核也要要与达到步履,因此Inception诞生了。而Inception可以开的行事极为不止是一个自动化审核工
具,同时还富有实施,生成对影响数的回滚语句(类似闪回的功用),这样一条龙服务的家伙,将会见叫DBA的行事牵动颠覆的转变,DBA从此便起繁重的
审核、登上去执行,出错了酷为难回滚(如果提前没有备份的语句)的被动局面解放了下,突然意识,做DBA原来可以如此轻松,工作可不饱和了,那便发重多的
自由时间上、进一步为自动化运维平台的实现等更智能化的取向去发展,是有着里程碑意义的。

https://github.com/mysql-inception/inception

style=”color: #ff6600; font-size: 14pt;”>2.公众点评

实时应用监控平台
CAT

CAT 由群众点评开发的,基于 Java
的实时应用监控平台,包括实时应用监控,业务监控。

CAT 支持之监控消息类型包括:

  • Transaction 适合记录跨越系统边界的先后访问行为,比如远程调用,数据库调用,也顺应施行时较丰富之作业逻辑监控,Transaction用来记录一致段子代码的履行时间跟次数。

  • Event 用来记录同一桩事时有发生的次数,比如记录系统特别,它和transaction相比少了光阴之统计,开销比transaction要小。

  • Heartbeat   代表程序外定期发生的统计信息, 如CPU%, MEM%,
    连接池状态, 系统负荷等。

  • Metric 用于记录业务指标、指标或者包含对一个指标记录次数、记录平均值、记录总和,业务指标最低统计粒度为1分钟。

  • Trace 用于记录基本的trace信息,类似于log4j的info信息,这些消息只有用于查看有连锁消息

消息树

CAT监控系统以每次URL、Service的请中尽情况都打包为一个圆的消息树、消息树可能连Transaction、Event、Heartbeat、Metric和Trace信息。

https://github.com/dianping/cat

 

style=”font-size: 14pt;”>3.搜狐:

Redis云管理平台
CacheCloud

CacheCloud提供一个Redis云管理平台:实现多种类型(Redis
Standalone
Redis SentinelRedis
Cluster
)自动部署、解决Redis实例碎片化现象、提供全面统计、监控、运维功能、减少开发人员的运维成本及误操作,提高机器的利用率,提供灵活的伸缩性,提供方便的属客户端。

https://github.com/sohutv/cachecloud


MySQL 的数据库中件 SOHU-DBProxy

SOHU-DBProxy 是由于 搜狐
数据库团队开发保护的一个基于MySQL协议的数目中间层项目。它当MySQL官方推出的MySQL-Proxy 0.8.3版的基本功及,
修改了大量bug,添加了森功能特色。现在都当sohu的大多个业务线上用

DBProxy 主要功用:

1 就以与一个连接(只要不以跟一个政工中)也能够连续复用

2 负载均衡提高读性能,支持动态扩展

3
动态增长的SQL审核与过滤。能够统计的SQL长时运作影响性,并且阻止其运转

4 用户连接限制

5 自动摘除宕机的DB

6 读写分离(当前本没有,代码和测试都做到,没有统一到目前版本)

https://github.com/SOHUDBA/SOHU-DBProxy

 

style=”font-size: 18px;”>58:https://github.com/58code

style=”font-size: 18px;”>公众点评:https://github.com/dianping

style=”font-size: 18px;”>豌豆荚:https://github.com/wandoulabs

style=”font-size: 18px;”>华为:https://github.com/HuaweiBigData

 

发表评论

电子邮件地址不会被公开。 必填项已用*标注

网站地图xml地图