ArchManual

分布式系统架构手册

项目介绍

ArchManual
不是：
某个技术架构的深度剖析
某个技术框架的源码分析
某个技术工具的安装运维
某个技术类库的代码示例

而是：
常用分布式技术的总体概览
常用技术主题的归纳总结
常用技术框架的归类罗列
常用技术架构的简单分享

希望成为：
速查手册：平时工作中做技术架构、框架选型时的速查手册
学习提纲：业余学习或者面试时的一个学习提纲
技术地图：对技术框架有一个整体和全面的了解
技术社区：每个技术同学都能积极分享和交流知识

整体概览

概览图：
地址：
思维导图

配置中心
- Apollo
- Nacos
- Spring Config
- Disconf
消息队列
- 分布式消息队列
  - Kafka
  - RocketMQ
  - RabbitMQ
  - ActiveMQ
  - Redis
- 内存消息队列（线程间消息传递）
  - Disruptor
- MTTQ（应用于物联网）
  - EMQX
  - Mosquitto
  - NanoMQ
延迟任务
- 消息队列
- Redis缓存
- 定时轮询
- 内存队列
  - JDK DelayQueue
- 时间轮算法
  - Netty的HashedWheelTimer
  - Kafka的TimingWheel
任务调度
- xxl-job
- Elastic-job
- powerJob
- Saturn
- Quartz
分布式ID
- Snowflake(雪花算法）
- Redis 自增ID
- 美团 Leaf
分布式锁
- Redis
- Zookeeper
- Etcd
分布式事务
- XA
- 同步调用
  - TCC(Try/Confirm/Cancel)
  - Saga
    - Ali Seata
- 异步调用
  - MQ支持可靠消息(RocketMQ)
  - 可靠消息服务+MQ
  - 本地消息表 + MQ
注册发现
- Eureka + Ribbon
- Nacos
- Consul
- Zookeeper
限流与降级
- Hystrix
- Sentinel
负载均衡
- HttpDNS
- DNS
- F5(硬件）
- LVS（4层）
- Nginx（7层）
- HAProxy
数据库连接池
- Druid
- HikariCP
- DBCP2
应用服务器
- Tomcat
- Jetty
流程引擎
- activiti
- flowable
- camunda
服务调用
- RPC
  - Dubbo
  - DubboX
- HTTP
  - OpenFeign
  - RestTemplate
网关
- Nginx + Lua
- KONG（基于OpenResty)
- Zuul
- Ali Sentinel(限流）
存储
- 分布式文件系统
  - Ali OSS
  - Ceph
- 文档数据库
  - MongoDB
- KV
  - Redis（CA模型）
  - etcd（CP模型）
- NewSQL
  - TiDB
- 时序
  - InfluxDB
- 图数据库
  - Neo4J
- 搜索
  - ElasticeSearch
- 向量数据库
  - Milvus
- 分析型数据库（列式时数据库）
  - Hbase
仓库
- 代码仓库
  - gitlab
- maven仓库
  - nexus
- docker镜像仓库
  - docker registry
分布式数据库
- 分库分表
  - ShardingSphere(Sharding-JDBC)
  - MyCat
  - DBProxy
  - Atlas
- 存储引擎
  - 事务
    - InnoDB
  - 顺序写
    - TokuDB
- 高可用
  - MHA
- 数据同步
  - 阿里云DTS
  - binlog消费订阅
    - canal
    - databus
  - 增量数据同步
    - otter
  - 全量离线数据同步
    - kettle
- 数据可视化
  - superset
  - Redash
集群管理
- 元数据协调管理
  - Zookeeper
  - gossip
- IP地址切换
  - VIP
  - Keepalived
缓存
- CDN层
  - ATS(Apache Traffic Server）
  - Squid
- HTTP层
- 应用层
  - Caffeine
  - Guava
  - ehcache
- 分布式缓存
  - Redis
  - JD-hotkey
Redis
- 数据类型
- 过期策略
- IO模型
- 主从复制
- 高可用
- 持久化
- 分布式集群 Redis Cluster
- 分布式集群 Codis
- 常见问题：雪崩、击穿
- 双写一致性
- Key的优化、监测
压测
- 线下
  - Apache ab
  - Apache Jmeter
- 线上
  - Tcpcopy
- 流量存储和回放
  - GoReplay
KV存储
- LevelDB
- RocksDB
- BeansDB
- LMDB
- Riak
分布式协调服务
- Zookeeper
- Etcd
弹性伸缩
- K8S + Docker
- 云计算
  - 阿里云
  - 腾讯云
Java工具包
- guava
一致性算法
- 强一致性
  - Paxos
  - Raft
  - ZAB
- 弱一致性
  - Gossip

前端主题

常用框架
- Web
  - Vue
  - React
  - [NextJs]
  - Angular
- 小程序
  - uni-app
- 桌面
  - Electron
[组件库]
- UI
  - ElementUI
  - Ant Design
- 图表
  - ECharts
  - D3.js
  - Chartjs
- 科学计算图表
  - plotly
- ICON
  - ElementUI
  - iconfont](https://www.iconfont.cn/
- 多功能编辑器
- 流程图
  - jsPlumb
  - GoJS
  - mermaid
  - LogicFlow
  - drawio
性能优化
日志监控

系统运维

仓库管理
- 代码仓库
  - gitlab
- maven仓库
  - nexus
- docker镜像仓库
  - docker registry
部署容器
- Docker + K8S
  - docker跨主机组网
    - 原生
      - overlay
      - macvlan
    - 第三方
      - Flannel
      - OpenSwitch
      - weave
      - calico
- 云服务
  - Aliyun ECS
DevOps
- Gitlab CI / CD
- Jenkins
监控
- 服务器
  - OpenFalcon
  - Zabbix + Grafana
- 调用链
  - Pinpoint
  - Skywalking
  - CAT
  - SpringCloud Sleuth + Zipkin
- 业务
  - Falcon
  - CAT metrics
  - Micrometer
- JVM
  - arthas
- 日志
  - ELK
    - FileBeats 采集
    - Kafka 日志队列
    - Logstack 计算
    - ElasticSearch 存储
    - Kibana 展示
  - Flume + Hadoop

大数据

流式计算
- Spark Streaming
- Apache Storm
- Flink
分布式文件系统
- HDFS
BigTable
- HBase
计算框架
- Hadoop MapReduce
- Spark
数据分析
- Hive
- impala
数据可视化
- superset
- Redash

系统安全

人工智能

特征工程
机器学习
- sklean
- xgboost
- LightGBM
- LibSVM
深度学习
- PyTorch
- TensorFlow
- MXNet
- OneFlow
- paddlepaddle
- Keras
联邦学习
- FATE
- PaddleFL
- FedML
- TensorFlowFL
自动机器学习
大模型
- 基础设施
  - 向量数据库
    - Chroma
    - Faiss
    - Milvus
    - Weaviate
    - Pinecone
    - Qdrant
    - Vespa
    - Vald
    - ScaNN
  - 数据库支持向量
    - Pgvector
    - [Redis]
    - [Neo4j]
    - [Elastic]
    - [OpenSearch]
    - [Solr]
    - [Lucene]
    - [Clickhouse]
    - [MongoDB]
  - 大模型框架、微调
    - LMFlow
    - LoRA
    - finetuner
    - PEFT
    - alpaca-lora
    - ChatGLM-Efficient-Tuning
    - LLaMA-Factory
    - xTuring
    - YiVal
    - P-tuning-v2
    - h2o-llmstudio
    - OpenLLM
  - 大模型训练平台
    - DeepSpeed
    - TensorFlow
    - MindSpore
    - PyTorch
    - ColossalAI
    - MXNet
    - Transformers
    - RAY
    - Paddle
- 大模型
  - 国内
    - 文心一言
    - 通义大模型
    - 盘古
    - 百川智能
    - ChatGLM
  - 国外
    - DALL.E 3
    - OpenLLaMa
    - LLama2
    - Grok
    - Stable Diffusion
    - Dolly
    - PaLM2
    - StableLM
    - GPT-4
    - Falcon
    - BLOOM
    - TII
- 工具
  - 大模型运维
    - BentoML
    - LangChain
    - Dify.AI
    - FlowiseAI
    - Phoenix
    - GPTCache
  - 大模型聚合
    - HuggingFace
    - ModelScope
    - SOTA
    - Gitee AI
  - 开发工具
    - V0.DEV
    - MarkerSuite
    - txtai
    - codium
    - imgcook
    - Jina
    - Project IDX
    - Quest AI
- 应用
  - ChatGPT
  - BING
  - DragGAN
  - Claude
  - Cursor
  - Bard
  - MidJourney
  - Mochi Diffusion
- 智能体
  - AutoGPT
  - AutoGen
  - Langfuse
  - ChatDev
  - BabyAGI
  - CAMEL
  - SuperAGI
  - MetaGPT
  - ShortGPT

前言