小猪卷

0
百度权重
0
百度移动
0
3 6 0权重
0
搜狗权重
热度
4
出站链接
网站编号：80561
最后点入：2025-04-30 04:25:14
加入时间：2025-04-30 04:25:12
网站备案: -
网站URL： https://xiaozhujuan.vip
预估IP流量：0~0
IP地址：124.222.67.229 地址：上海市腾讯云数据中心
备案方: -
关键词：(0个字符)
该站未曾设置keywords
网站简介：(0个字符)
该站未曾设置description
网站截图/LOGO
上一篇：玻璃钢花盆_玻璃钢座椅/前台/造型-惠州市澳奇艺玻璃钢制品厂 | 下一篇：常州捷豹空压机_镇江捷豹空压机_常州小彪捷豹机电有限公司
在本站关于xiaozhujuan.vip说明：
xiaozhujuan.vip由网友主动性提交被秒收录啦mslla.com整理收录的，秒收录啦mslla.com仅提供xiaozhujuan.vip的基础信息并免费向大众网友展示，xiaozhujuan.vip的是IP地址：124.222.67.229 地址：上海市腾讯云数据中心，xiaozhujuan.vip的百度权重为0、百度手机权重为0、百度收录为0条、360收录为0条、搜狗收录为0条、谷歌收录为0条、百度来访流量大约在0~0之间、百度手机端来访流量大约在0~0之间、xiaozhujuan.vip的备案号是-、备案人叫-、被百度收录的关键词有0个、手机端关键词有0个、迄今为止已经创建未知。
下载地址: txt下载、docx下载、pdf下载、rar下载、zip下载
本页地址: https://www.mslla.com/links/74949986010a088e45d6.html
温馨提示
做上本站友情链接,在您站上点击一次,即可自动秒收录并自动排在本站第一位！
<a href="https://www.mslla.com/" target="_blank">秒收录啦mslla.com</a>
SEO综合信息
SEO信息	百度来访IP：0~0 \| 移动端来访IP：0~0 \| 出站链接： \| 站内链接：70
IP网速：	IP地址：124.222.67.229 地址：上海市腾讯云数据中心 \| 网速：908毫秒
ALEXA排名	世界排名： \| 预估IP： \| 预估PV：
备案信息	- \| 名称：- \| 已创建：未知
收录	百度	360	搜狗	谷歌
查询	0	0	0	0
电脑关键词	手机关键词	页面友好	首页位置	索引	近期收录
0	0	电脑端优秀	-	0	0
服务器信息协议类型 HTTP/1.1 200 OK 页面类型 text/html 服务器类型 nginx/1.19.9 程序支持连接标识 W/"65d22e63-a6eeb" 消息发送 2025年4月21日 0时11分49秒 GZIP检测已启用GZIP压缩源文件大小 599.55KB 压缩后大小 91.04KB 压缩率 84.82%
网页快照
              小 猪 卷 s p r i n g 全 家 桶 j v m j a v a 技 术 相 册 首 页 小 猪 卷 我 的 文 章 分 类 s p r i n g 全 家 桶 j v m j a v a 技 术 我 的 文 章 自 定 义 注 解 搭 建 j d k 1 1 + r e d i s + m y s q l + n g i n x u n i x / l i n u x 日 志 分 析 常 用 命 令 常 用 = = 和 e q u a l s j v m 内 存 模 型 （ 运 行 时 数 据 区 ） 简 介 9 9 % 的 时 间 里 使 用 的 1 4 个 g i t 命 令 1 0 亿 数 据 如 何 快 速 插 入 M y S Q L S p r i n g B o o t 分 片 上 传 、 断 点 续 传 数 据 迁 移 工 具 ， 用 这 8 种 ! 从 3 s 到 2 5 m s ！ 接 口 优 化 技 巧 设 计 一 个 高 流 量 高 并 发 的 系 统 S p r i n g B o o t 面 试 问 答 总 结 高 并 发 系 统 设 计 的 1 5 个 锦 囊 自 定 义 注 解 日 常 开 发 中 用 到 了 各 式 各 样 的 注 解 ， 常 用 的 注 解 @ O v e r r i d e 、 @ p a r a m 、 @ A u t o w i r e d 、 @ S e r v i c e 等 等 ， 这 些 都 是 J D K 或 者 S p r i n g 这 类 框 架 自 带 。 
 在 类 ， 方 法 ， 变 量 ， 参 数 ， 包 都 可 以 用 注 解 来 注 释 。 
 很 多 小 伙 伴 可 能 还 停 留 在 使 用 层 面 ， 知 道 怎 么 用 ， 但 并 不 知 道 实 现 原 理 ， 更 没 亲 自 写 过 自 定 义 注 解 运 用 在 实 际 项 目 中 解 决 问 题 。 
 接 下 来 聊 聊 注 解 的 基 础 ， 再 聊 聊 自 定 义 注 解 在 实 际 项 目 中 的 使 用 。 
 注 解 作 用 1 、 生 成 文 档 ， 早 期 最 常 见 的 @ r e t u r n , @ p a r a m 2 、 在 编 译 时 进 行 检 查 ， 例 如 @ O v e r r i d e , 检 查 是 否 重 写 父 类 3 、 简 化 配 置 文 件 ， 使 得 代 码 更 清 晰 什 么 是 内 置 注 解 ， 元 注 解 ， 自 定 义 注 解 ？ 内 置 注 解 @ O v e r r i d e ： 作 用 在 方 法 上 ， 声 明 重 写 父 类 的 方 法 @ D e p r e c a t e d ： 作 用 方 法 ， 属 性 ， 或 者 类 上 ， 标 识 已 过 时 @ S u p p r e s s W a r i n g s ： 用 于 抑 制 编 译 器 警 告 ， 告 知 编 译 器 ， 忽 略 它 们 产 生 了 特 殊 警 告 @ S a f e V a r a r g s ： 是 j d k 1 . 7 引 入 的 注 解 ， 作 用 抑 制 在 使 用 泛 型 和 可 变 参 数 搭 配 使 用 产 生 的 编 译 器 告 警 元 注 解 ： 元 注 解 是 由 J D K 5 . 0 开 始 提 供 的 ， 不 能 更 改 ， 用 于 定 义 其 他 注 解 ， 也 就 是 对 我 们 自 定 义 注 解 进 行 定 义 @ T a r g e t ： 声 明 注 解 的 作 用 范 围 可 以 是 类 ， 方 法 ， 方 法 参 数 变 量 等 ， 也 可 以 通 过 枚 举 类 E l e m e n t T y p e 表 达 作 用 类 型 （ 可 以 查 看 源 码 ） @ R e t e n t i o n ： 声 明 注 解 保 留 时 长 的 作 用 域 ， 可 以 理 解 为 运 行 环 境 ，         S O U R C E （ 在 源 文 件 中 有 效 ）         C L A S S （ 源 文 件 编 译 成 C l a s s 类 文 件 中 有 效 ）         R U N T I M E （ 在 运 行 时 有 效 ） @ D o c u m e n t e d ： 文 档 化 注 解 ， 作 用 可 以 被 j a v a d o c 此 类 工 具 文 档 化 @ I n h e r i t e d ： 声 明 此 类 能 否 被 继 承 自 定 义 注 解 / * *   *   元 注 解   *   p u b l i c   @ i n t e r f a c e   注 解 名 称     * / / / 用 来 声 明 自 定 义 注 解 作 用 范 围 ， 变 量 、 方 法 、 类 、 包 . . . @ T a r g e t ( ) / / 声 明 注 解 在 运 行 时 有 效 @ R e t e n t i o n ( R e t e n t i o n P o l i c y . R U N T I M E ) / / 文 档 化 @ D o c u m e n t e d / / 此 类 能 否 被 继 承 @ I n h e r i t e d p u b l i c   @ i n t e r f a c e   T e s t A n n o t a t i o n   自 定 义 注 解 的 简 单 使 用 / * *   *   定 义 用 户 注 解   * / @ T a r g e t ( ) @ R e t e n t i o n ( R e t e n t i o n P o l i c y . R U N T I M E ) @ D o c u m e n t e d @ I n h e r i t e d p u b l i c   @ i n t e r f a c e   U s e r A n n o n t i o n   ; } / * *   *   方 法 注 解   * / @ U s e r ( n a m e = 阿 杰 , a g e   =   1 8 , f a m i l y M e m b e r s   =   ) p u b l i c   v o i d   g e t U s e r ( )   通 过 反 射 获 取 注 解 信 息 p u b l i c   c l a s s   T e s t A n n o t a t i o n R e f l e x                   }   c a t c h   ( E x c e p t i o n   e )           } }     以 上 的 只 是 基 础 的 知 识 ， 可 能 很 多 人 还 没 搞 明 白 自 定 义 注 解 到 底 有 什 么 作 用 ， 好 像 只 是 简 单 的 注 释 说 明 ， 或 者 是 通 过 反 射 获 取 注 解 信 息 。 
     接 下 来 ， 使 用 自 定 义 注 解 结 合 S p r i n g A O P 来 讲 解 一 下 平 时 工 作 中 使 用 的 场 景 ， S p r i n g A O P 常 用 于 拦 截 器 ， 事 务 ， 日 志 ， 权 限 ， A O P 就 不 再 讲 解 了 ， 举 个 例 子 讲 解 一 下 日 志 记 录 。 
 在 实 际 项 目 中 ， 在 调 试 或 者 排 查 异 常 信 息 时 ， 日 志 是 否 记 录 着 请 求 入 参 信 息 ， 是 否 都 是 使 用 l o g . i n f o ( 请 求 参 数 ) 这 样 的 写 法 记 录 日 志 ， 如 果 每 次 都 需 要 这 样 手 写 ， 很 容 易 遗 漏 ， 并 且 重 复 代 码 也 比 较 多 ， 在 这 种 场 景 下 ， 可 以 做 一 个 统 一 日 志 处 理 的 方 案 ， 通 过 使 用 自 定 义 注 解 和 切 面 来 实 现 这 个 功 能 。 
 自 定 义 注 解 + 切 面 实 现 统 一 日 志 处 理 自 定 义 日 志 注 解 / * *   *   自 定 义 操 作 日 志 注 解   * / @ T a r g e t ( E l e m e n t T y p e . M E T H O D ) @ R e t e n t i o n ( R e t e n t i o n P o l i c y . R U N T I M E ) @ D o c u m e n t e d p u b l i c   @ i n t e r f a c e   O p t L o g   声 明 日 志 切 面 组 件 i m p o r t   c o m . a l i b a b a . f a s t j s o n . J S O N O b j e c t ; i m p o r t   c o m . e x a m p l e . d e m o . a n n o t a t i o n . O p t L o g ; i m p o r t   c o m . e x a m p l e . d e m o . a n n o t a t i o n . O p t T y p e ; i m p o r t   o r g . a s p e c t j . l a n g . J o i n P o i n t ; i m p o r t   o r g . a s p e c t j . l a n g . P r o c e e d i n g J o i n P o i n t ; i m p o r t   o r g . a s p e c t j . l a n g . a n n o t a t i o n . * ; i m p o r t   o r g . a s p e c t j . l a n g . r e f l e c t . M e t h o d S i g n a t u r e ; i m p o r t   o r g . s l f 4 j . L o g g e r ; i m p o r t   o r g . s l f 4 j . L o g g e r F a c t o r y ; i m p o r t   o r g . s p r i n g f r a m e w o r k . c o r e . L o c a l V a r i a b l e T a b l e P a r a m e t e r N a m e D i s c o v e r e r ; i m p o r t   o r g . s p r i n g f r a m e w o r k . s t e r e o t y p e . C o m p o n e n t ; i m p o r t   j a v a . l a n g . r e f l e c t . M e t h o d ; @ A s p e c t @ C o m p o n e n t p u b l i c   c l a s s   O p t L o g A s p e c t           @ B e f o r e ( O p t L o g ( ) )         p u b l i c   v o i d   d o O p t L o g B e f o r e ( J o i n P o i n t   p r o c e e d i n g J o i n P o i n t )           @ A f t e r ( O p t L o g ( ) )         p u b l i c   v o i d   d o O p t L o g A f t e r ( J o i n P o i n t   p r o c e e d i n g J o i n P o i n t )           @ A f t e r R e t u r n i n g ( O p t L o g ( ) )         p u b l i c   v o i d   d o O p t L o g A f t e r R e t u r n i n g ( J o i n P o i n t   p r o c e e d i n g J o i n P o i n t )           @ A f t e r T h r o w i n g ( O p t L o g ( ) )         p u b l i c   v o i d   d o O p t L o g A f t e r T h r o w i n g ( J o i n P o i n t   p r o c e e d i n g J o i n P o i n t )           / * *           *   设 置 环 绕 通 知 , 围 绕 着 方 法 执 行           *           *   @ p a r a m   p r o c e e d i n g J o i n P o i n t           *   @ r e t u r n           * /         @ A r o u n d ( O p t L o g ( ) )         p u b l i c   O b j e c t   o p t L o g A r o u n d ( P r o c e e d i n g J o i n P o i n t   p r o c e e d i n g J o i n P o i n t )   t h r o w s   T h r o w a b l e                   / /   获 取 方 法 名 称                 S t r i n g   m e t h o d N a m e   =   p r o c e e d i n g J o i n P o i n t . g e t S i g n a t u r e ( ) . g e t N a m e ( ) ;                 L o c a l V a r i a b l e T a b l e P a r a m e t e r N a m e D i s c o v e r e r   d i s c o v e r e r   =   n e w   L o c a l V a r i a b l e T a b l e P a r a m e t e r N a m e D i s c o v e r e r ( ) ;                 / /   请 求 参 数 名 称                 S t r i n g [ ]   p a r a m e t e r N a m e s   =   d i s c o v e r e r . g e t P a r a m e t e r N a m e s ( m e t h o d ) ;                 / /   请 求 参 数 值                 O b j e c t [ ]   p a r a m V a l u e s   =   p r o c e e d i n g J o i n P o i n t . g e t A r g s ( ) ;                 O p t L o g   o p t L o g   =   m e t h o d . g e t A n n o t a t i o n ( O p t L o g . c l a s s ) ;                 t h i s . h a n d l e ( o p t L o g . o p t T y p e ( ) ,   o p t L o g . b u s i n e s s ( ) ,   m e t h o d N a m e ,   p a r a m e t e r N a m e s ,   p a r a m V a l u e s ) ;                 r e t u r n   p r o c e e d i n g J o i n P o i n t . p r o c e e d ( ) ;         }         / * *           *   日 志 处 理           *           *   @ p a r a m   o p t T y p e           *   @ p a r a m   b u s i n e s s           *   @ p a r a m   m e t h o d N a m e           *   @ p a r a m   p a r a m e t e r N a m e s           *   @ p a r a m   p a r a m V a l u e s           * /         p u b l i c   v o i d   h a n d l e ( O p t T y p e   o p t T y p e ,   S t r i n g   b u s i n e s s ,   S t r i n g   m e t h o d N a m e ,                                                 S t r i n g [ ]   p a r a m e t e r N a m e s ,   O b j e c t [ ]   p a r a m V a l u e s )   } 运 行 结 果 1 5 : 3 2 : 4 9 . 4 9 4   [ h t t p n i o 8 0 8 0 e x e c 2 ]   I N F O     c . e . d . a . O p t L o g A s p e c t     [ h a n d l e , 9 1 ]     o p t T y p e : C R E A T E , b u s i n e s s : 用 户 信 息 ,   m e t h o d N a m e : c r e a t e U s e r ,   p a r a m s : 1 5 : 3 2 : 4 9 . 4 9 4   [ h t t p n i o 8 0 8 0 e x e c 2 ]   I N F O     c . e . d . a . O p t L o g A s p e c t     [ d o O p t L o g B e f o r e , 3 2 ]     前 置 通 知 ,   在 方 法 执 行 之 前 执 行 . . . 方 法 执 行 中 . . . 1 5 : 3 2 : 4 9 . 4 9 5   [ h t t p n i o 8 0 8 0 e x e c 2 ]   I N F O     c . e . d . a . O p t L o g A s p e c t     [ d o O p t L o g A f t e r R e t u r n i n g , 4 2 ]     返 回 通 知 ,   在 方 法 返 回 结 果 之 后 执 行 . . . 1 5 : 3 2 : 4 9 . 4 9 5   [ h t t p n i o 8 0 8 0 e x e c 2 ]   I N F O     c . e . d . a . O p t L o g A s p e c t     [ d o O p t L o g A f t e r , 3 7 ]     后 置 通 知 ,   在 方 法 执 行 之 后 执 行 . . . l i n u x 环 境 搭 建 ， j d k 1 1 + r e d i s + m y s q l + n g i n x 安 装 J D K 1 1 1 、 从 官 网 下 载 J D K 1 1 h t t p s : / / d o w n l o a d . o r a c l e . c o m / o t n / j a v a / j d k / 1 1 . 0 . 1 4 + 8 / 7 e 5 b b b f f f e 8 b 4 5 e 5 9 d 5 2 a 9 6 a a c a b 2 f 0 4 / j d k 1 1 . 0 . 1 4 _ l i n u x x 6 4 _ b i n . t a r . g z 2 、 把 压 缩 包 上 传 到 服 务 器 t a r   x z v f   j d k 1 1 . 0 . 1 4 _ l i n u x x 6 4 _ b i n . t a r . g z   C   / u s r / l o c a l / 3 、 解 压 并 复 制 到 指 定 目 录 t a r   x z v f   j d k 1 1 . 0 . 1 4 _ l i n u x x 6 4 _ b i n . t a r . g z   C   / u s r / l o c a l / 4 、 添 加 环 境 变 量 s e d   i   $ a   e x p o r t   J A V A _ H O M E = / / u s r / l o c a l / j d k 1 1 . 0 . 1 4   / e t c / p r o f i l e s e d   i   $ a   e x p o r t   C L A S S P A T H = . : $ J A V A _ H O M E / j r e / l i b / r t . j a r : $ J A V A _ H O M E / l i b / d t . j a r : $ J A V A _ H O M E / l i b / t o o l s . j a r   / e t c / p r o f i l e s e d   i   $ a   e x p o r t   P A T H = $ P A T H : $ J A V A _ H O M E / b i n   / e t c / p r o f i l e 5 、 执 行 命 令 ， 使 配 置 生 效 ， 并 查 看 j a v a 环 境 是 否 配 置 成 功 s o u r c e   / e t c / p r o f i l e   s @ b i n d   1 2 7 . 0 . 0 . 1 @ b i n d   0 . 0 . 0 . 0 @ g     / u s r / l o c a l / r e d i s / b i n / r e d i s . c o n f s e d   i   e   s @ p r o t e c t e d m o d e   y e s @ p r o t e c t e d m o d e   n o @ g     / u s r / l o c a l / r e d i s / b i n / r e d i s . c o n f s e d   i   e   s @ d a e m o n i z e   n o @ d a e m o n i z e   y e s @ g     / u s r / l o c a l / r e d i s / b i n / r e d i s . c o n f 5 、 设 置 开 机 自 动 启 动 ， 这 步 根 据 自 己 需 求 去 设 置 v i   / e t c / s y s t e m d / s y s t e m / r e d i s . s e r v i c e r e d i s . s e r v i c e 文 件 添 加 内 容 [ U n i t ] D e s c r i p t i o n = r e d i s s e r v e r A f t e r = n e t w o r k . t a r g e t [ S e r v i c e ] T y p e = f o r k i n g E x e c S t a r t = / u s r / l o c a l / r e d i s / b i n / r e d i s s e r v e r   / u s r / l o c a l / r e d i s / b i n / r e d i s . c o n f P r i v a t e T m p = t r u e [ I n s t a l l ] W a n t e d B y = m u l t i u s e r . t a r g e t 6 、 启 动 r e d i s 并 开 启 开 机 自 启 s y s t e m c t l   d a e m o n r e l o a d s y s t e m c t l   s t a r t   r e d i s . s e r v i c e s y s t e m c t l   e n a b l e   r e d i s . s e r v i c e s y s t e m c t l   s t a t u s   r e d i s . s e r v i c e 安 装 m y s q l 1 、 下 载 并 解 压 安 装 到 指 定 目 录 w g e t   h t t p s : / / d e v . m y s q l . c o m / g e t / D o w n l o a d s / M y S Q L 8 . 0 / m y s q l 8 . 0 . 2 8 1 . e l 7 . x 8 6 _ 6 4 . r p m b u n d l e . t a r t a r   x v f   m y s q l 8 . 0 . 2 8 1 . e l 7 . x 8 6 _ 6 4 . r p m b u n d l e . t a r 2 、 卸 载 原 有 m a r i a d b r p m   e   n o d e p s   m a r i a d b l i b s 3 、 只 需 要 按 顺 序 安 装 4 个 包 即 可 r p m   i v h   n o d e p s   m y s q l c o m m u n i t y c o m m o n 8 . 0 . 2 8 1 . e l 7 . x 8 6 _ 6 4 . r p m r p m   i v h   n o d e p s     m y s q l c o m m u n i t y l i b s 8 . 0 . 2 8 1 . e l 7 . x 8 6 _ 6 4 . r p m r p m   i v h   n o d e p s   m y s q l c o m m u n i t y c l i e n t 8 . 0 . 2 8 1 . e l 7 . x 8 6 _ 6 4 . r p m r p m   i v h   n o d e p s   m y s q l c o m m u n i t y s e r v e r 8 . 0 . 2 8 1 . e l 7 . x 8 6 _ 6 4 . r p m 4 、 设 置 开 机 启 动 s y s t e m c t l   s t a r t   m y s q l d . s e r v i c e   r o o t @ l o c a l h o s t   I D E N T I F I E D   B Y   M y s q l _ 1 2 3 4 5 6 7 ;   c o n n e c t e x p i r e d p a s s w o r d 8 、 设 置 允 许 远 程 访 问 m y s q l   u   r o o t   p M y s q l _ 1 2 3 4 5 6 7   9 、 重 启 m y s q l s y s t e m c t l   r e s t a r t   m y s q l d . s e r v i c e n g i n x 安 装 1 、 下 载 安 装 依 赖 包 y u m   i n s t a l l   y   g c c c + +   p c r e   p c r e d e v e l   z l i b   z l i b d e v e l   o p e n s s l   l r z s z   v i m   w g e t   o p e n s s l d e v e l 2 、 下 载 n g i n x w g e t   h t t p s : / / n g i n x . o r g / d o w n l o a d / n g i n x 1 . 1 9 . 9 . t a r . g z t a r   x z v f   n g i n x 1 . 1 9 . 9 . t a r . g z 3 、 编 译 安 装 ， 使 用 n g i n x 默 认 配 置 c d   n g i n x 1 . 1 9 . 9 . / c o n f i g u r e m a k e m a k e   i n s t a l l 4 、 启 动 ， 进 入 s b i n 目 录 ， 看 到 n g i n x 文 件 . / n g i n x 5 、 添 加 开 机 自 启 v i m   / l i b / s y s t e m d / s y s t e m / n g i n x . s e r v i c e [ U n i t ] D e s c r i p t i o n = n g i n x   s e r v i c e A f t e r = n e t w o r k . t a r g e t [ S e r v i c e ] T y p e = f o r k i n g   E x e c S t a r t = / u s r / l o c a l / n g i n x / s b i n / n g i n x E x e c R e l o a d = / u s r / l o c a l / n g i n x / s b i n / n g i n x   s   r e l o a d E x e c S t o p = / u s r / l o c a l / n g i n x / s b i n / n g i n x   s   q u i t P r i v a t e T m p = t r u e [ I n s t a l l ] W a n t e d B y = m u l t i u s e r . t a r g e t 复 制 搜 一 搜 分 享 收 藏 划 线 人 划 线 u n i x / l i n u x 日 志 分 析 常 用 命 令 u n i x / l i n u x 日 志 分 析 常 用 命 令 1 、 查 看 文 件 尾 部 内 容 （ t a i l ） 新 写 入 的 内 容 是 写 在 日 志 文 件 尾 部 的 ， 在 系 统 运 行 时 ， 日 志 不 停 的 写 入 ， 要 实 时 查 看 尾 部 日 志 内 容 ， 可 以 用 t a i l 命 令 ， 例 如 查 看 最 后 5 行 内 容 ， n 表 示 显 示 最 后 几 行 , f 表 示 程 序 不 退 出 ， 可 以 实 时 的 显 示 增 加 的 日 志 内 容 t a i l   f n   5   s y s i n f o . l o g 2 、 查 看 文 件 内 容 （ c a t ) 此 命 令 适 合 小 文 件 ， 大 文 件 查 看 会 占 用 较 多 的 系 统 资 源 ， 从 而 影 响 系 统 性 能 ， 如 需 显 示 行 号 可 以 加 n   c a t   s y s i n f o . l o g 3 、 分 页 显 示 文 件 内 容 （ m o r e ） 按 F 键 显 示 下 一 屏 内 容 ， 按 B 显 示 上 一 屏 内 容 ， 按 E n t e r 键 显 示 下 一 行 ， 按 空 格 键 显 示 下 一 页 m o r e   s y s i n f o . l o g 4 、 字 符 统 计 （ w c ） w c   l   s y s i n f o . l o g l 显 示 文 件 的 行 数   w c   w   s y s i n f o . l o g w   显 示 文 件 有 多 少 个 单 词 w c   c   s y s i n f o . l o g c 显 示 文 件 有 多 少 个 字 节 5 、 字 符 串 查 找 （ g r e p ） g r e p   h t t p s : w w w   s y s i n f o . l o g 加 上 c 可 以 显 示 查 找 内 容 的 行 数 同 时 也 支 持 正 则 表 达 式 g r e p   7 3 0 . * h t t p s : w w w   s y s i n f o . l o g 6 、 查 找 文 件 （ f i n d ）   f i n d   / d a t a / l o g s /   n a m e   s y s i n f o . l o g 也 可 以 模 糊 查 找 ， 如 查 找 . l o g 的 文 件 f i n d   / d a t a / l o g s /   n a m e   * . l o g 使 用 w h e r e i s 快 速 找 到 系 统 可 执 行 文 件 的 位 置 7 、 压 缩 和 解 压 （ t a r ） 把 l o g s 文 件 压 缩 成 t e s t . t a r 压 缩 包 , c 表 示 生 成 新 包 ， f 表 示 指 定 包 名 t a r   c f   t e s t . t a r   l o g s 解 压 t a r   x f   t e s t . t a r 8 、 查 看 重 复 的 行 （ u n i q ） u n i q 去 重 是 针 对 连 续 的 重 复 的 行 才 能 去 重 ， 所 以 要 跟 s o r t 排 序 结 合 起 来 没 去 重 之 前 的 内 容 s o r t   i n f o . l o g   |   u n i q   c   d c 表 示 该 重 复 内 容 出 现 的 次 数 ， d 只 显 示 重 复 行 s o r t   i n f o . l o g   |   u n i q   c   u u 表 示 只 出 现 一 次 的 行 复 制 搜 一 搜 分 享 收 藏 划 线 人 划 线 常 用 = = 和 e q u a l s ， O b j e c t s . e q u a l s 有 用 过 吗 每 天 都 在 用 = = 和 e q u a l s 却 不 知 道 原 理 ， 先 回 顾 一 下 什 么 是 基 础 类 型 和 引 用 类 型 。 
 基 础 数 据 类 型 ： b y t e 、 s h o r t 、 i n t 、 l o n g 、 c h a r 、 f l o a t 、 d o u b l e 、 b o o l e a n 基 础 数 据 的 ( 包 装 类 ) 引 用 类 型 ： B y t e 、 S h o r t 、 I n t e g e r 、 L o n g 、 C h a r a c t e r 、 F l o a t 、 D o u b l e 、 B o o l e a n 任 何 引 用 类 型 的 默 认 值 为 n u l l ， n u l l 既 不 是 对 象 也 不 是 一 种 类 型 ， 它 是 一 种 特 殊 的 值 “ = = ” 1 、 当 “ = = ” 两 边 的 对 象 属 于 基 础 类 型 时 ， 比 较 的 是 对 象 的 值 是 否 相 等 2 、 当 “ = = ” 两 边 的 对 象 属 于 引 用 类 型 时 ， 比 较 的 是 对 象 的 引 用 是 否 相 等 ， 也 就 是 堆 中 的 地 址 是 否 相 等 下 图 为 什 么 是 f a l s e ， 原 因 是 一 个 在 常 量 池 中 ， 一 个 在 堆 中 n e w 了 一 个 对 象 可 以 查 看 c l a s s 字 节 码 ， 这 是 创 建 了 一 个 新 的 对 象 ， 并 不 是 引 用 同 个 常 量 池 ， 分 成 了 # 2 和 # 3 为 什 么 下 图 比 较 对 象 的 值 相 等 ， 却 返 回 f a l s e , 原 因 I n t e g e r 取 值 范 围 1 2 8 ～ 1 2 7 ， 超 出 范 围 按 对 象 的 地 址 来 比 较 ， 所 以 引 用 型 间 的 比 较 用 e q u a l s , 而 不 是 用 = = 3 、 如 果 = = 一 边 是 基 础 类 型 和 另 一 边 是 引 用 类 型 ， 会 拆 箱 转 成 基 本 类 型 去 比 较 ， 一 般 我 们 写 代 码 也 不 会 这 样 写 总 结 ： “ = = ” 对 于 基 本 类 型 ， 比 较 的 是 值 是 否 相 等 ； 对 于 引 用 类 型 ， 比 较 的 是 地 址 是 否 相 等 e q u a l s e q u a l s 是 对 两 个 对 象 的 地 址 进 行 比 较 ， 可 以 理 解 为 比 较 两 个 引 用 是 否 相 同 ， 有 些 引 用 类 型 重 写 了 e q u a l s 方 法 ， 例 如 ： I n t e g e r ， D o u b l e ， S t r i n g . . . 可 以 查 看 源 码 ， 都 重 写 了 e q u a l s 方 法 结 果 全 是 t r u e ， 为 什 么 全 部 都 为 t r u e ， 上 面 的 例 子 说 了 ， 引 用 类 型 如 果 是 n e w 的 话 会 在 堆 中 重 新 创 建 一 个 新 对 象 ， 而 不 是 共 用 一 个 常 量 池 地 址 。 
 区 别 就 在 于 S t r i n g 重 写 O b j e c t 的 e q u a l s 方 法 ， 其 他 包 装 类 也 一 样 ， 可 以 查 看 源 码 总 结 ： 1 、 如 果 类 没 有 重 写 e q u a l s ， 比 较 的 是 对 象 的 地 址 是 否 相 等 2 、 如 果 重 写 了 e q u a l s ， 比 较 的 是 两 个 对 象 的 属 性 值 是 否 相 等 ( 两 个 对 象 是 否 相 等 ) O b j e c t s . e q u a l s ( s 1 , s 2 ) 任 何 引 用 类 型 的 默 认 值 为 n u l l ， n u l l 既 不 是 对 象 也 不 是 一 种 类 型 ， 它 是 一 种 特 殊 的 值 , 当 我 们 用 e q u a l s 去 比 较 时 没 对 空 值 做 判 断 ， 会 抛 出 N u l l P o i n t E x c e p t i o n ， 所 以 有 时 候 我 们 可 以 用 O b j e c t s . e q u a l s 去 比 较 两 个 对 象 ， O b j e c t s . e q u a l s ( ) 不 会 抛 出 空 指 针 异 常 搜 一 搜 分 享 收 藏 划 线 人 划 线 j v m 内 存 模 型 （ 运 行 时 数 据 区 ） 简 介 j v m 在 j a v a 程 序 执 行 过 程 中 会 把 内 存 划 分 为 若 干 个 区 域 ， 每 个 区 域 都 有 各 自 的 用 途 以 及 它 们 的 生 命 周 期 ， 下 图 讲 的 是 J D K 1 . 8 版 本 方 法 区 ( M e t h o d A r e a ) 方 法 区 在 j d k 1 . 8 后 被 抛 弃 ， j d k 1 . 8 后 改 成 了 元 空 间 （ M e t a s p a c e ） , 方 法 区 是 线 程 共 享 区 域 ， 它 用 于 存 储 虚 拟 机 加 载 的 类 型 信 息 ， 常 量 ， 静 态 变 量 ， 即 时 编 译 后 代 码 缓 存 的 数 据 等 。 
 类 型 信 息 ： 类 、 接 口 、 枚 举 、 共 有 、 私 有 、 抽 象 类 ， 继 承 的 父 类 ， 静 态 方 法 ， 方 法 类 型 的 修 饰 符 等 等 堆 （ H e a p ） 堆 是 虚 拟 机 所 管 理 的 一 块 内 存 最 大 ， 是 所 有 线 程 共 享 的 内 存 区 域 ， 在 虚 拟 机 启 动 时 创 建 ， 该 内 存 区 域 几 乎 存 放 所 有 对 象 实 例 和 数 组 。 
 堆 可 以 划 分 为 不 同 的 区 域 ， 不 同 的 垃 圾 收 集 器 堆 划 分 的 区 域 也 是 不 一 样 的 。 
 堆 ： 堆 是 垃 圾 收 集 器 管 理 的 主 要 区 域 ， 因 此 被 称 为 G C 堆 。 
 堆 被 分 为 年 轻 代 和 老 年 代 ， 年 轻 代 分 为 E d e n 和 S u r v i v o r ， E d e n 占 用 内 存 最 大 ， 默 认 占 比 是 8 : 1 : 1 非 堆 ： 永 久 代 并 不 属 于 堆 的 一 部 分 ， 是 方 法 区 。 
 永 久 代 在 1 . 8 之 后 废 弃 ， 替 代 成 元 空 间 ， 元 空 间 和 永 久 代 的 区 别 在 于 不 在 j v m ， 而 是 使 用 本 地 内 存 ， 所 以 大 小 会 受 本 地 内 存 限 制 。 
 新 创 建 的 对 象 首 先 会 存 放 在 年 轻 代 E d e n 区 ， E d e n 区 满 了 后 会 触 发 M i n o r G C , M i n o r G C 用 来 清 理 年 轻 代 垃 圾 ， E d e n 区 存 活 下 来 的 对 象 会 移 动 到 S 0 区 ， S 0 区 满 后 再 次 触 发 M i n o r G C , S 0 存 活 下 来 的 对 象 移 动 到 S 1 区 ， 对 象 在 S u r v i v o r 区 经 过 一 次 M i n o r G C 生 存 下 来 年 龄 + 1 ， 经 过 多 次 M i n o r G C 存 活 下 来 的 对 象 超 过 一 定 年 龄 （ 默 认 1 5 ） 会 移 动 到 O l d   S p a c e 老 年 代 ， 大 的 对 象 直 接 进 入 老 年 代 。 
 老 年 代 区 存 满 后 会 触 发 M a j o r G C , 也 就 是 我 们 说 的 F u l l G C ， 触 发 F u l l G C 会 停 止 （ S T W ） 所 有 线 程 去 等 待 G C 完 成 ， 为 了 提 高 性 能 ， 尽 量 减 少 F u l l G C 的 次 数 。 
 堆 分 代 的 作 用 就 是 针 对 不 同 对 象 的 生 命 周 期 ， 存 放 在 不 同 区 域 ， 从 而 减 少 扫 描 的 时 间 ， 针 对 不 同 区 域 使 用 不 同 的 G C 算 法 进 行 回 收 ， 提 高 G C 的 回 收 效 率 ， 可 以 通 过 X m s , X m x 设 置 堆 初 始 的 内 存 最 大 值 和 最 小 值 。 
 程 序 计 数 器 （ P r o g r a m C o u n t e r R e g i s t e r ） 在 了 解 程 序 计 数 器 前 ， 先 了 解 一 下 什 么 是 寄 存 器 ？ 寄 存 器 是 C P U 内 部 的 运 行 非 常 快 的 存 储 器 ， 有 如 下 作 用 ： 1 、 作 为 C P U 内 部 数 据 传 输 和 处 理 的 暂 存 器 ， C P U 需 要 从 内 存 中 读 取 数 据 并 进 行 运 算 ， 将 运 算 结 果 再 存 回 内 存 ， 这 个 过 程 需 要 寄 存 器 作 为 数 据 传 输 和 处 理 的 暂 存 器 ， 提 高 数 据 的 传 输 和 处 理 速 度 。 
 2 、 保 存 程 序 计 数 器 ， 程 序 计 数 器 是 一 个 用 于 存 储 C P U 即 将 要 执 行 的 指 令 地 址 的 寄 存 器 ， C P U 在 执 行 的 过 程 中 需 要 不 断 地 更 新 计 数 器 的 中 的 值 ， 以 便 执 行 下 一 条 要 执 行 的 指 令 。 
 3 、 保 存 C P U 执 行 指 令 的 状 态 信 息 4 、 保 存 函 数 调 用 时 返 回 的 地 址 和 参 数 ， 在 函 数 调 用 时 ， 需 要 将 返 回 的 地 址 保 存 在 寄 存 器 中 ， 以 便 执 行 完 函 数 返 回 正 确 的 位 置 程 序 计 数 器 在 j v m 中 占 用 非 常 小 的 内 存 空 间 ， 它 可 以 看 作 是 当 前 线 程 所 执 行 的 字 节 码 行 号 指 示 器 。 
 而 字 节 码 指 示 器 工 作 时 就 是 通 过 改 变 这 个 程 序 计 数 器 的 值 来 确 认 下 一 条 要 执 行 的 字 节 码 指 令 。 
 J V M 的 每 个 线 程 都 有 自 己 的 程 序 计 数 器 ， 各 自 线 程 计 数 器 互 不 影 响 ， 独 立 存 储 。 
 它 的 线 程 是 私 有 的 ， 在 线 程 切 换 过 程 中 ， 程 序 计 数 器 也 会 被 保 护 和 恢 复 。 
 程 序 计 数 器 占 用 非 常 小 的 内 存 空 间 ， 因 此 它 不 会 发 生 O u t O f M e m o r y E r r o r 异 常 。 
 程 序 计 数 器 的 作 用 ： 1 、 字 节 码 解 释 器 工 作 时 ， 通 过 改 变 计 数 器 的 值 来 选 取 下 一 条 要 执 行 的 字 节 码 指 令 。 
 2 、 在 线 程 执 行 过 程 中 ， 用 于 记 录 当 前 线 程 所 执 行 的 位 置 ， 以 便 在 发 生 异 常 时 ， 能 够 恢 复 程 序 的 执 行 。 
 J V M 的 程 序 计 数 器 常 常 被 称 为 寄 存 器 ， 当 前 线 程 通 常 与 C P U 中 的 寄 存 器 类 似 ， 用 于 保 存 简 单 的 数 据 和 指 针 。 
 程 序 计 数 器 在 J V M 执 行 过 程 中 扮 演 着 类 似 寄 存 器 的 作 用 ， 用 于 记 录 当 前 线 程 的 执 行 顺 序 和 状 态 ， 通 过 改 变 计 数 器 的 值 ， 实 现 线 程 执 行 过 程 中 跳 转 不 同 的 字 节 码 指 令 。 
 需 要 注 意 ， j v m 的 程 序 计 数 器 并 不 是 C P U 的 寄 存 器 ， C P U 的 寄 存 器 是 一 种 硬 件 设 备 ， 位 于 C P U 内 部 ， 而 程 序 计 数 器 位 于 J V M 的 一 小 块 内 存 空 间 ， 是 J V M 实 现 的 一 部 分 。 
 虚 拟 机 栈 （ J a v a V i r t u a l M a c h i n e S t a c k ） 栈 和 堆 的 区 别 栈 是 运 行 单 位 ， 处 理 程 序 运 行 问 题 ， 堆 是 存 储 单 位 ， 处 理 存 储 问 题 。 
 虚 拟 机 栈 是 运 行 时 数 据 区 的 一 部 分 ， 用 于 存 储 线 程 的 执 行 状 态 ， 每 个 线 程 创 建 时 都 会 创 建 一 个 虚 拟 机 栈 ， 在 执 行 方 法 时 都 会 创 建 一 个 栈 帧 （ S t a c k F r a m e ） ， 用 于 存 储 局 部 变 量 、 操 作 数 栈 、 动 态 链 接 、 方 法 返 回 地 址 等 信 息 。 
 每 个 栈 帧 对 应 的 一 个 正 在 执 行 的 方 法 ， 线 程 是 私 有 的 ， 它 的 生 命 周 期 与 线 程 相 同 ， 每 个 方 法 被 调 用 到 执 行 完 毕 ， 就 是 栈 帧 在 虚 拟 机 入 栈 到 出 栈 的 一 个 过 程 ， 线 程 结 束 了 ， 虚 拟 机 栈 随 之 销 毁 。 
 当 我 们 方 法 被 编 译 成 字 节 码 ， 通 过 程 序 计 数 器 ， 虚 拟 机 会 一 行 行 的 执 行 命 令 ， 直 到 进 入 新 的 方 法 ， 虚 拟 机 就 会 创 建 一 个 新 的 栈 帧 入 栈 ， 直 到 方 法 执 行 结 束 触 发 返 回 指 令 或 者 出 现 异 常 方 法 结 束 对 应 栈 帧 出 栈 ， 在 编 译 过 程 需 要 的 局 部 变 量 大 小 ， 需 要 多 少 栈 帧 ， 需 要 多 大 内 存 ， 在 编 译 期 间 就 已 经 确 认 。 
 局 部 变 量 表 局 部 变 量 表 是 一 个 数 组 ， 用 于 存 储 方 法 参 数 和 方 法 内 的 局 部 变 量 ， 包 括 三 种 数 据 类 型 ： 8 大 基 本 数 据 类 型 、 引 用 类 型 、 R e t u r n A d d r e s s 。 
 局 部 变 量 的 容 量 大 小 在 编 译 期 间 就 已 经 确 定 ， 在 运 行 期 间 不 会 改 变 。 
 操 作 数 栈 每 个 栈 帧 都 包 含 一 个 操 作 数 栈 ， 栈 帧 创 建 时 ， 操 作 数 栈 是 空 的 ， 并 且 操 作 数 栈 的 深 度 在 编 译 期 间 就 已 定 义 好 ， d o u b l e 或 l o n g （ 6 4 位 ） 占 两 个 单 位 的 栈 深 度 ， 其 他 数 据 类 型 （ 3 2 位 ） 占 一 个 单 位 栈 深 度 。 
 作 用 ： 操 作 数 栈 用 于 接 受 方 法 参 数 和 返 回 结 果 值 动 态 链 接 每 个 栈 帧 内 部 都 包 含 一 个 指 向 当 前 方 法 所 在 类 型 的 运 行 时 常 量 池 的 引 用 ， 是 对 当 前 方 法 实 现 的 动 态 链 接 。 
 一 个 方 法 要 访 问 它 的 成 员 变 量 ， 需 要 通 过 符 号 引 用 来 表 示 ， 动 态 链 接 的 作 用 就 是 将 这 些 符 号 引 用 的 方 法 转 换 成 实 际 方 法 的 引 用 。 
 方 法 返 回 地 址 方 法 返 回 地 址 分 两 种 ， 一 种 是 正 常 执 行 完 的 返 回 ， 另 一 种 是 出 现 异 常 （ 异 常 是 未 处 理 的 ） 执 行 完 的 返 回 。 
 正 常 执 行 完 的 的 场 景 下 ， 当 前 栈 帧 需 要 调 用 调 用 者 的 局 部 变 量 表 ， 操 作 数 栈 ， 正 确 的 递 增 程 序 计 数 器 等 ， 将 返 回 值 压 入 调 用 者 栈 帧 的 操 作 数 栈 后 ， 调 用 者 继 续 正 常 执 行 。 
 正 常 完 成 和 异 常 完 成 的 区 别 : 通 过 异 常 完 成 退 出 的 不 会 给 上 层 调 用 者 产 生 返 回 值 。 
 本 地 方 法 栈 （ N a t i v e M e t h o d S t a c k s ） 本 地 方 法 栈 和 虚 拟 机 栈 类 似 ， 虚 拟 机 栈 是 执 行 j a v a 方 法 服 务 ( j a v a 字 节 码 ) ， 本 地 方 法 栈 执 行 的 N a t i v e 方 法 服 务 ， 就 是 执 行 非 j a v a 语 言 的 代 码 ， 本 地 方 法 可 以 动 态 扩 容 内 存 大 小 ， 本 地 方 法 会 根 据 栈 的 深 度 溢 出 ， 或 者 扩 展 失 败 ， 分 别 跑 出 S t a c k O v e r f l o w E r r o r 和 O u t O f M e m o r y E r r o r 异 常 。 
 复 制 搜 一 搜 分 享 收 藏 划 线 人 划 线 9 9 % 的 时 间 里 使 用 的 1 4 个 g i t 命 令 9 9 % 的 时 间 里 使 用 的 1 4 个 g i t 命 令 学 习 1 4 个 G i t 命 令 ， 因 为 你 将 会 在 9 9 % 的 时 间 里 使 用 它 们 必 须 了 解 的 命 令 整 理 1 ， g i t i n i t 初 始 化 一 个 新 的 G i t 仓 库 。 
 这 将 在 当 前 目 录 中 创 建 一 个 名 为 . g i t 的 子 目 录 ， G i t 会 将 所 有 仓 库 的 元 数 据 存 储 在 其 中 。 
 2 ， g i t c l o n e 克 隆 一 个 已 存 在 的 仓 库 。 
 这 会 创 建 一 个 本 地 仓 库 的 副 本 ， 包 括 其 所 有 的 历 史 记 录 和 分 支 。 
 g i t c l o n e 3 ， g i t a d d 将 修 改 内 容 添 加 到 下 一 次 提 交 中 。 
 这 将 把 指 定 的 文 件 添 加 到 暂 存 区 ， 这 些 文 件 将 包 含 在 下 一 次 提 交 中 。 
 g i t a d d f i l e 1 . t x t f i l e 2 . t x t 4 ， g i t c o m m i t 创 建 一 个 新 的 提 交 。 
 这 将 记 录 暂 存 区 的 修 改 以 及 自 上 次 提 交 以 来 所 做 的 任 何 其 他 修 改 ， 并 附 带 一 条 描 述 这 些 修 改 的 提 交 信 息 。 
 g i t c o m m i t m 添 加 新 功 能 5 ， g i t p u s h 将 提 交 推 送 到 远 程 仓 库 。 
 这 将 把 本 地 的 提 交 发 送 到 指 定 的 远 程 仓 库 ， 更 新 远 程 分 支 以 包 含 新 的 提 交 。 
 g i t p u s h o r i g i n m a i n 6 ， g i t p u l l 从 远 程 仓 库 获 取 并 合 并 修 改 。 
 这 会 从 指 定 的 远 程 仓 库 中 获 取 最 新 的 提 交 ， 并 将 其 合 并 到 当 前 分 支 中 。 
 g i t p u l l o r i g i n m a i n 8 ， g i t b r a n c h 列 出 、 创 建 或 删 除 分 支 。 
 这 个 命 令 可 以 用 来 列 出 仓 库 中 可 用 的 分 支 ， 创 建 新 的 分 支 或 删 除 现 有 的 分 支 。 
 g i t b r a n c h n e w b r a n c h 9 ， g i t c h e c k o u t 切 换 到 不 同 的 分 支 。 
 这 个 命 令 允 许 你 切 换 到 仓 库 中 的 不 同 分 支 ， 并 将 其 作 为 当 前 工 作 分 支 。 
 g i t c h e c k o u t m a i n 1 0 ， g i t m e r g e 将 一 个 分 支 合 并 到 另 一 个 分 支 。 
 这 个 命 令 将 一 个 分 支 的 修 改 合 并 到 另 一 个 分 支 中 ， 创 建 一 个 反 映 合 并 变 化 的 新 提 交 。 
 g i t m e r g e n e w b r a n c h 1 1 ， g i t s t a t u s 显 示 仓 库 的 状 态 。 
 这 个 命 令 会 显 示 当 前 分 支 、 任 何 暂 存 或 未 暂 存 的 修 改 以 及 任 何 未 跟 踪 的 文 件 。 
 g i t s t a t u s 1 2 ， g i t r e b a s e 将 一 个 分 支 的 修 改 合 并 到 另 一 个 分 支 。 
 假 设 你 在 X Y Z 分 支 上 进 行 了 一 些 修 改 ， 你 希 望 将 这 些 修 改 合 并 到 m a i n 分 支 中 。 
 你 可 以 使 用 g i t r e b a s e 命 令 将 你 的 修 改 重 新 应 用 到 m a i n 分 支 之 上 。 
 1 3 ， g i t s t a s h 临 时 保 存 还 未 准 备 提 交 的 修 改 。 
 如 果 你 的 修 改 还 没 有 准 备 好 提 交 ， 但 你 想 要 切 换 到 另 一 个 分 支 继 续 工 作 ， 你 可 以 临 时 保 存 你 的 修 改 以 便 以 后 使 用 ， 并 在 不 丢 失 进 度 的 情 况 下 切 换 分 支 。 
 1 4 ， g i t r e v e r t 假 设 你 在 之 前 的 提 交 中 犯 了 一 个 错 误 ， 需 要 撤 销 它 。 
 你 可 以 使 用 g i t r e v e r t 创 建 一 个 新 的 提 交 ， 该 提 交 会 撤 销 之 前 提 交 引 入 的 修 改 。 
 g i t r e v e r t . . 学 习 这 些 1 4 个 G i t 命 令 ， 它 们 是 你 在 日 常 开 发 中 使 用 频 率 最 高 的 命 令 。 
 为 你 解 释 每 个 命 令 的 作 用 首 先 是 g i t i n i t ， 它 用 于 初 始 化 一 个 新 的 G i t 仓 库 。 
 执 行 这 个 命 令 后 ， G i t 会 在 当 前 目 录 下 创 建 一 个 名 为 . g i t 的 子 目 录 ， 其 中 存 储 着 仓 库 的 所 有 元 数 据 。 
 接 下 来 是 g i t c l o n e ， 用 于 克 隆 一 个 已 存 在 的 仓 库 。 
 执 行 这 个 命 令 后 ， 你 将 在 本 地 创 建 该 仓 库 的 一 个 副 本 ， 包 括 所 有 的 历 史 记 录 和 分 支 。 
 g i t a d d 命 令 用 于 将 修 改 的 文 件 添 加 到 下 一 次 提 交 的 暂 存 区 。 
 你 可 以 指 定 要 添 加 的 文 件 g i t a d d 命 令 用 于 将 修 改 的 文 件 添 加 到 下 一 次 提 交 的 暂 存 区 。 
 你 可 以 指 定 要 添 加 的 文 件 ， 例 如 g i t a d d f i l e 1 . t x t f i l e 2 . t x t 。 
 g i t c o m m i t 命 令 用 于 创 建 一 个 新 的 提 交 。 
 它 会 记 录 暂 存 区 的 修 改 以 及 自 上 次 提 交 以 来 的 其 他 修 改 ， 并 附 带 一 条 描 述 这 些 修 改 的 提 交 信 息 ， 例 如 g i t c o m m i t m 添 加 新 功 能 。 
 g i t p u s h 命 令 用 于 将 提 交 推 送 到 远 程 仓 库 。 
 它 会 将 本 地 的 提 交 发 送 到 指 定 的 远 程 仓 库 ， 更 新 远 程 分 支 以 包 含 新 的 提 交 ， 例 如 g i t p u s h o r i g i n m a i n 。 
 g i t p u l l 命 令 用 于 从 远 程 仓 库 获 取 并 合 并 修 改 。 
 它 会 从 指 定 的 远 程 仓 库 获 取 最 新 的 提 交 ， 并 将 其 合 并 到 当 前 分 支 中 ， 例 如 g i t p u l l o r i g i n m a i n 。 
 g i t b r a n c h 命 令 用 于 列 出 、 创 建 或 删 除 分 支 。 
 你 可 以 使 用 这 个 命 令 列 出 仓 库 中 可 用 的 分 支 、 创 建 新 的 分 支 或 删 除 现 有 的 分 支 ， 例 如 g i t b r a n c h n e w b r a n c h 。 
 g i t c h e c k o u t 命 令 用 于 切 换 到 不 同 的 分 支 。 
 你 可 以 使 用 这 个 命 令 切 换 到 仓 库 中 的 不 同 分 支 ， 并 将 其 作 为 当 前 工 作 分 支 ， 例 如 g i t c h e c k o u t m a i n 。 
 g i t m e r g e 命 令 用 于 将 一 个 分 支 合 并 到 另 一 个 分 支 。 
 它 将 一 个 分 支 的 修 改 合 并 到 另 一 个 分 支 中 ， 创 建 一 个 新 的 提 交 反 映 合 并 的 变 化 ， 例 如 g i t m e r g e n e w b r a n c h 。 
 g i t s t a t u s 命 令 用 于 显 示 仓 库 的 状 态 。 
 它 会 显 示 当 前 分 支 、 任 何 暂 存 或 未 暂 存 的 修 改 以 及 任 何 未 跟 踪 的 文 件 ， 例 如 g i t s t a t u s 。 
 g i t r e b a s e 命 令 用 于 将 一 个 分 支 的 修 改 合 并 到 另 一 个 分 支 。 
 假 设 你 在 X Y Z 分 支 上 进 行 了 一 些 修 改 ， 你 可 以 使 用 g i t r e b a s e 命 令 将 这 些 修 改 重 新 应 用 到 m a i n 分 支 之 上 。 
 g i t s t a s h 命 令 用 于 临 时 保 存 还 未 准 备 提 交 的 修 改 。 
 如 果 你 的 修 改 还 没 有 准 备 好 提 交 ， 但 你 想 要 切 换 到 另 一 个 分 支 继 续 工 作 ， 你 可 以 使 用 g i t s t a s h 命 令 将 修 改 暂 存 起 来 ， 以 便 以 后 使 用 。 
 g i t r e v e r t 命 令 用 于 撤 销 之 前 的 提 交 。 
 如 果 你 在 之 前 的 提 交 中 犯 了 一 个 错 误 ， 你 可 以 使 用 g i t r e v e r t 命 令 创 建 一 个 新 的 提 交 ， 撤 销 之 前 提 交 引 入 的 修 改 。 
 这 些 命 令 是 G i t 中 最 常 用 的 命 令 ， 掌 握 它 们 将 大 大 提 升 你 的 开 发 效 率 。 
 希 望 这 个 简 要 的 指 南 对 你 有 所 帮 助 ！ 了 解 更 多 使 用 命 令 行 技 巧 我 日 常 会 通 过 s h e l l 脚 本 把 需 要 用 到 的 g i t 命 令 进 行 封 装 整 合 成 自 己 习 惯 的 分 析 场 景 ， 比 如 我 要 进 行 g i t 仓 库 代 码 提 交 分 析 ， 我 会 写 这 样 一 个 脚 本 。 
 1 0 亿 数 据 如 何 快 速 插 入 M y S Q L ？ 1 0 亿 数 据 如 何 快 速 插 入 M y S Q L ？ 最 快 的 速 度 把 1 0 亿 条 数 据 导 入 到 数 据 库 ， 首 先 需 要 和 面 试 官 明 确 一 下 ， 1 0 亿 条 数 据 什 么 形 式 存 在 哪 里 ， 每 条 数 据 多 大 ， 是 否 有 序 导 入 ， 是 否 不 能 重 复 ， 数 据 库 是 否 是 M y S Q L ？ 假 设 和 面 试 官 明 确 后 ， 有 如 下 约 束 1 、   1 0 亿 条 数 据 ， 每 条 数 据 1 K b ； 2 、   数 据 内 容 是 非 结 构 化 的 用 户 访 问 日 志 ， 需 要 解 析 后 写 入 到 数 据 库 ； 3 、   数 据 存 放 在 H d f s 或 S 3 分 布 式 文 件 存 储 里 ； 4 、   1 0 亿 条 数 据 并 不 是 1 个 大 文 件 ， 而 是 被 近 似 切 分 为 1 0 0 个 文 件 ， 后 缀 标 记 顺 序 ； 5 、   要 求 有 序 导 入 ， 尽 量 不 重 复 ； 6 、   数 据 库 是 M y S Q L ； 首 先 考 虑 1 0 亿 数 据 写 到 M y S Q L 单 表 可 行 吗 ？ 数 据 库 单 表 能 支 持 1 0 亿 吗 ？ 答 案 是 不 能 ， 单 表 推 荐 的 值 是 2 0 0 0 W 以 下 。 
 这 个 值 怎 么 计 算 出 来 的 呢 ？ M y S Q L 索 引 数 据 结 构 是 B + 树 ， 全 量 数 据 存 储 在 主 键 索 引 ， 也 就 是 聚 簇 索 引 的 叶 子 结 点 上 。 
 B + 树 插 入 和 查 询 的 性 能 和 B + 树 层 数 直 接 相 关 ， 2 0 0 0 W 以 下 是 3 层 索 引 ， 而 2 0 0 0 w 以 上 则 可 能 为 四 层 索 引 。 
 M y s q l b + 索 引 的 叶 子 节 点 每 页 大 小 1 6 K 。 
 当 前 每 条 数 据 正 好 1 K ， 所 以 简 单 理 解 为 每 个 叶 子 节 点 存 储 1 6 条 数 据 。 
 b + 索 引 每 个 非 叶 子 节 点 大 小 也 是 1 6 K ， 但 是 其 只 需 要 存 储 主 键 和 指 向 叶 子 节 点 的 指 针 ， 我 们 假 设 主 键 的 类 型 是 B i g I n t ， 长 度 为 8 字 节 ， 而 指 针 大 小 在 I n n o D B 中 设 置 为 6 字 节 ， 这 样 一 共 1 4 字 节 ， 这 样 一 个 非 叶 子 节 点 可 以 存 储   1 6 * 1 0 2 4 / 1 4 = 1 1 7 0 。 
 也 就 是 每 个 非 叶 子 节 点 可 关 联 1 1 7 0 个 叶 子 节 点 ， 每 个 叶 子 节 点 存 储 1 6 条 数 据 。 
 由 此 可 得 到 B + 树 索 引 层 数 和 存 储 数 量 的 表 格 。 
 2 K W 以 上 索 引 层 数 为 4 层 ， 性 能 更 差 。 
 层 数 最 大 数 据 量 2 1 1 7 0 * 1 6 = 1 8 7 2 0 3 1 1 7 0 * 1 1 7 0 * 1 6 = 2 1 9 0 2 4 0 0 = 2 0 0 0 w 4 1 1 7 0 * 1 1 7 0 * 1 1 7 0 * 1 6 = 2 5 6 2 5 8 0 8 0 0 0 = 2 5 6 亿 为 了 便 于 计 算 ， 我 们 可 以 设 计 单 表 容 量 在 1 K W ， 1 0 亿 条 数 据 共 1 0 0 个 表 。 
 如 何 高 效 的 写 入 数 据 库 单 条 写 入 数 据 库 性 能 比 较 差 ， 可 以 考 虑 批 量 写 入 数 据 库 ， 批 量 数 值 动 态 可 调 整 。 
 每 条 1 K ， 默 认 可 先 调 整 为 1 0 0 条 批 量 写 入 。 
 批 量 数 据 如 何 保 证 数 据 同 时 写 成 功 ？ M y S Q L I n n o d b 存 储 引 擎 保 证 批 量 写 入 事 务 同 时 成 功 或 失 败 。 
 插 播 一 条 ： 如 果 你 近 期 准 备 面 试 跳 槽 ， 建 议 在 d d k k . c o m 在 线 刷 题 ， 涵 盖 一 万 + 道 J a v a 面 试 题 ， 几 乎 覆 盖 了 所 有 主 流 技 术 面 试 题 ， 还 有 市 面 上 最 全 的 技 术 五 百 套 ， 精 品 系 列 教 程 ， 免 费 提 供 。 
 写 库 时 要 支 持 重 试 ， 写 库 失 败 重 试 写 入 ， 如 果 重 试 N 次 后 依 然 失 败 ， 可 考 虑 单 条 写 入 1 0 0 条 到 数 据 库 ， 失 败 数 据 打 印 记 录 ， 丢 弃 即 可 。 
 此 外 写 入 时 按 照 主 键 i d 顺 序 顺 序 写 入 可 以 达 到 最 快 的 性 能 ， 而 非 主 键 索 引 的 插 入 则 不 一 定 是 顺 序 的 ， 频 繁 地 索 引 结 构 调 整 会 导 致 插 入 性 能 下 降 。 
 最 好 不 创 建 非 主 键 索 引 ， 或 者 在 表 创 建 完 成 后 再 创 建 索 引 ， 以 保 证 最 快 的 插 入 性 能 。 
 是 否 需 要 并 发 写 同 一 个 表 不 能 1 、   并 发 写 同 一 个 表 无 法 保 证 数 据 写 入 时 是 有 序 的 ； 2 、   提 高 批 量 插 入 的 阈 值 ， 在 一 定 程 度 上 增 加 了 插 入 并 发 度 无 需 再 并 发 写 入 单 表 ； M y S Q L 存 储 引 擎 的 选 择 M y i s a m 比 i n n o d b 有 更 好 的 插 入 性 能 ， 但 失 去 了 事 务 支 持 ， 批 量 插 入 时 无 法 保 证 同 时 成 功 或 失 败 ， 所 以 当 批 量 插 入 超 时 或 失 败 时 ， 如 果 重 试 ， 势 必 对 导 致 一 些 重 复 数 据 的 发 生 。 
 但 是 为 了 保 证 更 快 的 导 入 速 度 ， 可 以 把 m y i s a m 存 储 引 擎 列 为 计 划 之 一 。 
 现 阶 段 我 引 用 一 下 别 人 的 性 能 测 试 结 果 ： M y I S A M 与 I n n o D B 对 比 分 析 从 数 据 可 以 看 到 批 量 写 入 明 显 优 于 单 条 写 入 。 
 并 且 在 i n n o d b 关 闭 即 时 刷 新 磁 盘 策 略 后 ， i n n o d b 插 入 性 能 没 有 比 m y i s a m 差 太 多 。 
 i n n o d b _ f l u s h _ l o g _ a t _ t r x _ c o m m i t : 控 制 M y S Q L 刷 新 数 据 到 磁 盘 的 策 略 。 
 1 、   默 认 = 1 ， 即 每 次 事 务 提 交 都 会 刷 新 数 据 到 磁 盘 ， 安 全 性 最 高 不 会 丢 失 数 据 ； 2 、   当 配 置 为 0 、 2 会 每 隔 1 s 刷 新 数 据 到 磁 盘 ， 在 系 统 宕 机 、 m y s q l c r a s h 时 可 能 丢 失 1 s 的 数 据 ； 考 虑 到 I n n o d b 在 关 闭 即 时 刷 新 磁 盘 策 略 时 ， 批 量 性 能 也 不 错 ， 所 以 暂 定 先 使 用 i n n o d b （ 如 果 公 司 M y S Q L 集 群 不 允 许 改 变 这 个 策 略 值 ， 可 能 要 使 用 M y I s a m 了 。 
 ） 。 
 线 上 环 境 测 试 时 可 以 重 点 对 比 两 者 的 插 入 性 能 。 
 要 不 要 进 行 分 库 m y s q l 单 库 的 并 发 写 入 是 有 性 能 瓶 颈 的 ， 一 般 情 况 5 K T P S 写 入 就 很 高 了 。 
 当 前 数 据 都 采 用 S S D 存 储 ， 性 能 应 该 更 好 一 些 。 
 但 如 果 是 H D D 的 话 ， 虽 然 顺 序 读 写 会 有 非 常 高 的 表 现 ， 但 H D D 无 法 应 对 并 发 写 入 ， 例 如 每 个 库 1 0 张 表 ， 假 设 1 0 张 表 在 并 发 写 入 ， 每 张 表 虽 然 是 顺 序 写 入 ， 由 于 多 个 表 的 存 储 位 置 不 同 ， H D D 只 有 1 个 磁 头 ， 不 支 持 并 发 写 ， 只 能 重 新 寻 道 ， 耗 时 将 大 大 增 加 ， 失 去 顺 序 读 写 的 高 性 能 。 
 所 以 对 于 H D D 而 言 ， 单 库 并 发 写 多 个 表 并 不 是 好 的 方 案 。 
 回 到 S S D 的 场 景 ， 不 同 S S D 厂 商 的 写 入 能 力 不 同 ， 对 于 并 发 写 入 的 能 力 也 不 同 ， 有 的 支 持 5 0 0 M / s ， 有 的 支 持 1 G / s 读 写 ， 有 的 支 持 8 个 并 发 ， 有 的 支 持 4 个 并 发 。 
 在 线 上 实 验 之 前 ， 我 们 并 不 知 道 实 际 的 性 能 表 现 如 何 。 
 插 播 一 条 ： 如 果 你 近 期 准 备 面 试 跳 槽 ， 建 议 在 d d k k . c o m 在 线 刷 题 ， 涵 盖 一 万 + 道 J a v a 面 试 题 ， 几 乎 覆 盖 了 所 有 主 流 技 术 面 试 题 ， 还 有 市 面 上 最 全 的 技 术 五 百 套 ， 精 品 系 列 教 程 ， 免 费 提 供 。 
 所 以 在 设 计 上 要 更 加 灵 活 ， 需 要 支 持 以 下 能 力 1 、   支 持 配 置 数 据 库 的 数 量 ； 2 、   支 持 配 置 并 发 写 表 的 数 量 ， （ 如 果 M y S Q L 是 H D D 磁 盘 ， 只 让 一 张 表 顺 序 写 入 ， 其 他 任 务 等 待 ） ； 通 过 以 上 配 置 ， 灵 活 调 整 线 上 数 据 库 的 数 量 ， 以 及 写 表 并 发 度 ， 无 论 是 H D D 还 是 S S D ， 我 们 系 统 都 能 支 持 。 
 不 论 是 什 么 厂 商 型 号 的 S S D ， 性 能 表 现 如 何 ， 都 可 调 整 配 置 ， 不 断 获 得 更 高 的 性 能 。 
 这 也 是 后 面 设 计 的 思 路 ， 不 固 定 某 一 个 阈 值 数 量 ， 都 要 动 态 可 调 整 。 
 接 下 来 聊 一 下 文 件 读 取 ， 1 0 亿 条 数 据 ， 每 条 1 K ， 一 共 是 9 3 1 G 。 
 近 1 T 大 文 件 ， 一 般 不 会 生 成 如 此 大 的 文 件 。 
 所 以 我 们 默 认 文 件 已 经 被 大 致 切 分 为 1 0 0 个 文 件 。 
 每 个 文 件 数 量 大 致 相 同 即 可 。 
 为 什 么 切 割 为 1 0 0 个 呢 ？ 切 分 为 1 0 0 0 个 ， 增 大 读 取 并 发 ， 不 是 可 以 更 快 导 入 数 据 库 吗 ？ 刚 才 提 到 数 据 库 的 读 写 性 能 受 限 于 磁 盘 ， 但 任 何 磁 盘 相 比 写 操 作 ， 读 操 作 都 要 更 快 。 
 尤 其 是 读 取 时 只 需 要 从 文 件 读 取 ， 但 写 入 时 M y S Q L 要 执 行 建 立 索 引 ， 解 析 S Q L 、 事 务 等 等 复 杂 的 流 程 。 
 所 以 写 的 并 发 度 最 大 是 1 0 0 ， 读 文 件 的 并 发 度 无 需 超 过 1 0 0 。 
 更 重 要 的 是 读 文 件 并 发 度 等 于 分 表 数 量 ， 有 利 于 简 化 模 型 设 计 。 
 即 1 0 0 个 读 取 任 务 ， 1 0 0 个 写 入 任 务 ， 对 应 1 0 0 张 表 。 
 如 何 保 证 写 入 数 据 库 有 序 既 然 文 件 被 切 分 为 1 0 0 个 1 0 G 的 小 文 件 ， 可 以 按 照 文 件 后 缀 + 在 文 件 行 号 作 为 记 录 的 唯 一 键 ， 同 时 保 证 同 一 个 文 件 的 内 容 被 写 入 同 一 个 表 。 
 例 如 1 、   i n d e x _ 9 0 . t x t 被 写 入 数 据 库 d a t a b a s e _ 9 ， t a b l e _ 0 ， ； 2 、   i n d e x _ 6 7 . t x t 被 写 入 数 据 库 d a t a b a s e _ 6 ， t a b l e _ 7 ； 这 样 每 个 表 都 是 有 序 的 。 
 整 体 有 序 通 过 数 据 库 后 缀 + 表 名 后 缀 实 现 。 
 如 何 更 快 地 读 取 文 件 1 0 G 的 文 件 显 然 不 能 一 次 性 读 取 到 内 存 中 ， 场 景 的 文 件 读 取 包 括 1 、   F i l e s . r e a d A l l B y t e s 一 次 性 加 载 内 内 存 ； 2 、   F i l e R e a d e r + B u f f e r e d R e a d e r 逐 行 读 取 ； 3 、   F i l e + B u f f e r e d R e a d e r ； 4 、   S c a n n e r 逐 行 读 取 ； 5 、   J a v a N I O F i l e C h a n n e l 缓 冲 区 方 式 读 取 ； 在 M A C 上 ， 使 用 这 几 种 方 式 的 读 取 3 . 4 G 大 小 文 件 的 性 能 对 比 读 取 方 式 F i l e s . r e a d A l l B y t e s 内 存 爆 了 O O M F i l e R e a d e r + B u f f e r e d R e a d e r   逐 行 读 取 1 1 秒 F i l e + B u f f e r e d R e a d e r 1 0 秒 S c a n n e r 5 7 秒 J a v a N I O F i l e C h a n n e l 缓 冲 区 方 式 读 取 3 秒 详 细 的 评 测 内 容 请 参 考 ： 读 取 文 件 性 能 比 较 ： h t t p s : / / z h u a n l a n . z h i h u . c o m / p / 1 4 2 0 2 9 8 1 2 由 此 可 见 使 用 J a v a N I O F i l e C h a n n n e l 明 显 更 优 ， 但 是 F i l e C h a n n e l 的 方 式 是 先 读 取 固 定 大 小 缓 冲 区 ， 不 支 持 按 行 读 取 。 
 也 无 法 保 证 缓 冲 区 正 好 包 括 整 数 行 数 据 。 
 如 果 缓 冲 区 最 后 一 个 字 节 正 好 卡 在 一 行 数 据 中 间 ， 还 需 要 额 外 配 合 读 取 下 一 批 数 据 。 
 如 何 把 缓 冲 区 变 为 一 行 行 数 据 ， 比 较 困 难 。 
 F i l e   f i l e   =   n e w   F i l e ( / x x x . z i p ) ; F i l e I n p u t S t r e a m   f i l e I n p u t S t r e a m   =   n u l l ; l o n g   n o w   =   S y s t e m . c u r r e n t T i m e M i l l i s ( ) ; t r y                 S y s t e m . o u t . p r i n t l n ( f i l e   s i z e :   +   s i z e ) ; }   c a t c h   ( F i l e N o t F o u n d E x c e p t i o n   e )     c a t c h   ( I O E x c e p t i o n   e )     f i n a l l y   S y s t e m . o u t . p r i n t l n ( T i m e :   +   ( S y s t e m . c u r r e n t T i m e M i l l i s ( )     n o w ) ) ; J a v a N I O 是 基 于 缓 冲 区 的 ， B y t e B u f f e r 可 转 为 b y t e 数 组 ， 需 要 转 为 字 符 串 ， 并 且 要 处 理 按 行 截 断 。 
 但 是 B u f f e r e d R e a d e r J a v a I O 方 式 读 取 可 以 天 然 支 持 按 行 截 断 ， 况 且 性 能 还 不 错 ， 1 0 G 文 件 ， 大 致 只 需 要 读 取 3 0 s ， 由 于 导 入 的 整 体 瓶 颈 在 写 入 部 分 ， 即 便 3 0 s 读 取 完 ， 也 不 会 影 响 整 体 性 能 。 
 所 以 文 件 读 取 使 用 B u f f e r e d R e a d e r 逐 行 读 取 。 
 即 方 案 3 如 果 协 调 读 文 件 任 务 和 写 数 据 库 任 务 这 块 比 较 混 乱 ， 请 耐 心 看 完 。 
 1 0 0 个 读 取 任 务 ， 每 个 任 务 读 取 一 批 数 据 ， 立 即 写 入 数 据 库 是 否 可 以 呢 ？ 前 面 提 到 了 由 于 数 据 库 并 发 写 入 的 瓶 颈 ， 无 法 满 足 1 个 库 同 时 并 发 大 批 量 写 入 1 0 个 表 ， 所 以 1 0 0 个 任 务 同 时 写 入 数 据 库 ， 势 必 导 致 每 个 库 同 时 有 1 0 个 表 同 时 在 顺 序 写 ， 这 加 剧 了 磁 盘 的 并 发 写 压 力 。 
 为 尽 可 能 提 高 速 度 ， 减 少 磁 盘 并 发 写 入 带 来 的 性 能 下 降 ， 需 要 一 部 分 写 入 任 务 被 暂 停 的 。 
 那 么 读 取 任 务 需 要 限 制 并 发 度 吗 ？ 不 需 要 。 
 假 设 写 入 任 务 和 读 取 任 务 合 并 ， 会 影 响 读 取 任 务 并 发 度 。 
 初 步 计 划 读 取 任 务 和 写 入 任 务 各 自 处 理 ， 谁 也 不 耽 误 谁 。 
 但 实 际 设 计 时 发 现 这 个 方 案 较 为 困 难 。 
 插 播 一 条 ： 如 果 你 近 期 准 备 面 试 跳 槽 ， 建 议 在 d d k k . c o m 在 线 刷 题 ， 涵 盖 一 万 + 道 J a v a 面 试 题 ， 几 乎 覆 盖 了 所 有 主 流 技 术 面 试 题 ， 还 有 市 面 上 最 全 的 技 术 五 百 套 ， 精 品 系 列 教 程 ， 免 费 提 供 。 
 最 初 的 设 想 是 引 入 K a f k a ， 即 1 0 0 个 读 取 任 务 把 数 据 投 递 到 K a f k a ， 由 写 入 任 务 消 费 k a f k a 写 入 D B 。 
 1 0 0 个 读 取 任 务 把 消 息 投 递 到 K a f k a ， 此 时 顺 序 就 被 打 乱 了 ， 如 何 保 证 有 序 写 入 数 据 库 呢 ？ 我 想 到 可 以 使 用 K a f k a p a r t i t i o n 路 由 ， 即 读 取 任 务 i d 把 同 一 任 务 的 消 息 都 路 由 到 同 一 个 p a r t i t i o n ， 保 证 每 个 p a r t i t i o n 内 有 序 消 费 。 
 要 准 备 多 少 个 分 片 呢 ？ 1 0 0 个 很 明 显 太 多 ， 如 果 p a r t i t i o n 小 于 1 0 0 个 ， 例 如 1 0 个 。 
 那 么 势 必 存 在 多 个 任 务 的 消 息 混 合 在 一 起 。 
 如 果 同 一 个 库 的 多 个 表 在 一 个 K a f k a p a r t i t i o n ， 且 这 个 数 据 库 只 支 持 单 表 批 量 写 入 ， 不 支 持 并 发 写 多 个 表 。 
 这 个 库 多 个 表 的 消 息 混 在 一 个 分 片 中 ， 由 于 并 发 度 的 限 制 ， 不 支 持 写 入 的 表 对 应 的 消 息 只 能 被 丢 弃 。 
 所 以 这 个 方 案 既 复 杂 ， 又 难 以 实 现 。 
 所 以 最 终 放 弃 了 K a f k a 方 案 ， 也 暂 时 放 弃 了 将 读 取 和 写 入 任 务 分 离 的 方 案 。 
 最 终 方 案 简 化 为 读 取 任 务 读 一 批 数 据 ， 写 入 一 批 。 
 即 任 务 既 负 责 读 文 件 、 又 负 责 插 入 数 据 库 。 
 如 何 保 证 任 务 的 可 靠 性 如 果 读 取 任 务 进 行 到 一 半 ， 宕 机 或 者 服 务 发 布 如 何 处 理 呢 ？ 或 者 数 据 库 故 障 ， 一 直 写 入 失 败 ， 任 务 被 暂 时 终 止 ， 如 何 保 证 任 务 再 次 拉 起 时 ， 再 断 点 处 继 续 处 理 ， 不 会 存 在 重 复 写 入 呢 ？ 刚 才 我 们 提 到 可 以 为 每 一 个 记 录 设 置 一 个 主 键 I d ， 即 文 件 后 缀 i n d e x + 文 件 所 在 行 号 。 
 可 以 通 过 主 键 i d 的 方 式 保 证 写 入 的 幂 等 。 
 文 件 所 在 的 行 号 ， 最 大 值 大 致 为 1 0 G / 1 k = 1 0 M ， 即 1 0 0 0 0 0 0 0 。 
 拼 接 最 大 的 后 缀 9 9 。 
 最 大 的 i d 为 9 9 0 0 0 0 0 0 0 。 
 所 以 也 无 需 数 据 库 自 增 主 键 I D ， 可 以 在 批 量 插 入 时 指 定 主 键 I D 。 
 如 果 另 一 个 任 务 也 需 要 导 入 数 据 库 呢 ？ 如 何 实 现 主 键 I D 隔 离 ， 所 以 主 键 I D 还 是 需 要 拼 接 t a s k I d 。 
 例 如 转 化 为 L o n g 类 型 。 
 如 果 t a s k I d 较 大 ， 拼 接 后 的 数 值 过 大 ， 转 化 为 L o n g 类 型 可 能 出 错 。 
 最 重 要 的 是 ， 如 果 有 的 任 务 写 入 1 k w ， 有 的 其 他 任 务 写 入 1 0 0 W ， 使 用 L o n g 类 型 无 法 获 知 每 个 占 位 符 的 长 度 ， 存 在 冲 突 的 可 能 性 。 
 而 如 果 拼 接 字 符 串 _ _   ， 新 增 唯 一 索 引 ， 会 导 致 插 入 性 能 更 差 , 无 法 满 足 最 快 导 入 数 据 的 诉 求 。 
 所 以 需 要 想 另 一 个 方 案 。 
 可 以 考 虑 使 用 R e d i s 记 录 当 前 任 务 的 进 度 。 
 例 如 R e d i s 记 录 t a s k 的 进 度 ， 批 量 写 入 数 据 库 成 功 后 ， 更 新 t a s k 进 度 。 
 I N C R B Y   K E Y _ N A M E   I N C R _ A M O U N T 指 定 当 前 进 度 增 加 1 0 0 ， 例 如   i n c r b y t a s k _ o f f s e t _   1 0 0 。 
 如 果 出 现 批 量 插 入 失 败 的 ， 则 重 试 插 入 。 
 多 次 失 败 ， 则 单 个 插 入 ， 单 个 更 新 r e d i s 。 
 要 确 保 R e d i s 更 新 成 功 ， 可 以 在 R e d i s 更 新 时 也 加 上 重 试 。 
 如 果 还 不 放 心 R e d i s 进 度 和 数 据 库 更 新 的 一 致 性 ， 可 以 考 虑 消 费 数 据 库 b i n l o g ， 每 一 条 记 录 新 增 则 r e d i s + 1 。 
 如 果 任 务 出 现 中 断 ， 则 首 先 查 询 任 务 的 o f f s e t 。 
 然 后 读 取 文 件 到 指 定 的 o f f s e t 继 续 处 理 。 
 如 何 协 调 读 取 任 务 的 并 发 度 前 面 提 到 了 为 了 避 免 单 个 库 插 入 表 的 并 发 度 过 高 ， 影 响 数 据 库 性 能 。 
 可 以 考 虑 限 制 并 发 度 。 
 如 何 做 到 呢 ？ 既 然 读 取 任 务 和 写 入 任 务 合 并 一 起 。 
 那 么 就 需 要 同 时 限 制 读 取 任 务 。 
 即 每 次 只 挑 选 一 批 读 取 写 入 任 务 执 行 。 
 在 此 之 前 需 要 设 计 一 下 任 务 表 的 存 储 模 型 。 
 1 、   b i z I d 为 了 以 后 支 持 别 的 产 品 线 ， 预 设 字 段 默 认 为 1 ， 代 表 当 前 业 务 线 ； 2 、   d a t b a s e I n d e x 代 表 被 分 配 的 数 据 库 后 缀 ； 3 、   t a b l e I n d e x 代 表 被 分 配 的 表 名 后 缀 ； 4 、   p a r e n t T a s k I d ， 即 总 的 任 务 i d ； 5 、   o f f s e t 可 以 用 来 记 录 当 前 任 务 的 进 度 ； 6 、   1 0 亿 条 数 据 导 入 数 据 库 ， 切 分 为 1 0 0 个 任 务 后 ， 会 新 增 1 0 0 个 t a s k I d ， 分 别 处 理 一 部 分 数 据 ， 即 一 个 1 0 G 文 件 ； 7 、   s t a t u s 状 态 用 来 区 分 当 前 任 务 是 否 在 执 行 ， 执 行 完 成 ； 如 何 把 任 务 分 配 给 每 一 个 节 点 ， 可 以 考 虑 抢 占 方 式 。 
 每 个 任 务 节 点 都 需 要 抢 占 任 务 ， 每 个 节 点 同 时 只 能 抢 占 1 个 任 务 。 
 具 体 如 何 实 现 呢 ？ 可 以 考 虑 每 个 节 点 都 启 动 一 个 定 时 任 务 ， 定 期 扫 表 ， 扫 到 待 执 行 子 任 务 ， 尝 试 执 行 该 任 务 。 
 如 何 控 制 并 发 呢 ？ 可 以 使 用 r e d i s s i o n 的 信 号 量 。 
 k e y 为 数 据 库 i d 、 R e d i s s o n C l i e n t   r e d i s s o n C l i e n t   =   R e d i s s o n . c r e a t e ( c o n f i g ) ;     R S e m a p h o r e   r S e m a p h o r e   =   r e d i s s o n C l i e n t . g e t S e m a p h o r e ( s e m a p h o r e ) ;         / /   设 置 1 个 并 发 度     r S e m a p h o r e . t r y S e t P e r m i t s ( 1 ) ;     r S e m a p h o r e . t r y A c q u i r e ( ) ; / / 申 请 加 锁 , 非 阻 塞 。 
 由 任 务 负 责 定 期 轮 训 ， 抢 到 名 额 后 ， 就 开 始 执 行 任 务 。 
 将 该 任 务 状 态 置 为 P r o c e s s ， 任 务 完 成 后 或 失 败 后 ， 释 放 信 号 量 。 
 T a s k T a s s k 任 务 表 R e d i s a l t 争 抢 信 号 量 成 功 定 时 轮 训 任 务 开 始 查 询 待 执 行 的 任 务 循 环 争 抢 信 号 量 修 改 任 务 状 态 执 行 中 ， 设 置 开 始 时 间 时 间 查 询 当 前 进 度 读 取 文 件 到 从 当 前 进 度 读 取 文 件 ， 批 量 导 入 数 据 库 更 新 进 度 执 行 完 成 ， 释 放 信 号 量 申 请 下 一 个 任 务 的 信 号 量 T a s k T a s s k 任 务 表 R e d i s 但 是 使 用 信 号 量 限 流 有 个 问 题 ， 如 果 任 务 忘 记 释 放 信 号 量 ， 或 者 进 程 C r a s h 无 法 释 放 信 号 量 ， 如 何 处 理 呢 ？ 可 以 考 虑 给 信 号 量 增 加 一 个 超 时 时 间 。 
 那 么 如 果 任 务 执 行 过 长 ， 导 致 提 前 释 放 信 号 量 ， 另 一 个 客 户 单 争 抢 到 信 号 量 ， 导 致 两 个 客 户 端 同 时 写 一 个 任 务 如 何 处 理 呢 ？ w h a t ， 明 明 是 将 1 0 亿 数 据 导 入 数 据 库 ， 怎 么 变 成 分 布 式 锁 超 时 的 类 似 问 题 ? 实 际 上 R e d i s s o n 的 信 号 量 并 没 有 很 好 的 办 法 解 决 信 号 量 超 时 问 题 ， 正 常 思 维 ： 如 果 任 务 执 行 过 长 ， 导 致 信 号 量 被 释 放 ， 解 决 这 个 问 题 只 需 要 续 约 就 可 以 了 ， 任 务 在 执 行 中 ， 只 要 发 现 快 信 号 量 过 期 了 ， 就 续 约 一 段 时 间 ， 始 终 保 持 信 号 量 不 过 期 。 
 但 是 R e d i s s i o n 并 没 有 提 供 信 号 量 续 约 的 能 力 ， 怎 么 办 ？ 插 播 一 条 ： 如 果 你 近 期 准 备 面 试 跳 槽 ， 建 议 在 d d k k . c o m 在 线 刷 题 ， 涵 盖 一 万 + 道 J a v a 面 试 题 ， 几 乎 覆 盖 了 所 有 主 流 技 术 面 试 题 ， 还 有 市 面 上 最 全 的 技 术 五 百 套 ， 精 品 系 列 教 程 ， 免 费 提 供 。 
 不 妨 换 个 思 路 ， 我 们 一 直 在 尝 试 让 多 个 节 点 争 抢 信 号 量 ， 进 而 限 制 并 发 度 。 
 可 以 试 试 选 取 一 个 主 节 点 ， 通 过 主 节 点 轮 训 任 务 表 。 
 分 三 种 情 况 ， 情 况 1 当 前 执 行 中 数 量 小 于 并 发 度 。 
 1 、   则 选 取 i d 最 小 的 待 执 行 任 务 ， 状 态 置 为 进 行 中 ， 通 知 发 布 消 息 ； 2 、   消 费 到 消 息 的 进 程 ， 申 请 分 布 式 锁 ， 开 始 处 理 任 务 处 理 完 成 释 放 锁 借 助 于 R e d i s s i o n 分 布 式 锁 续 约 ， 保 证 任 务 完 成 前 ， 锁 不 会 超 时 ； 情 况 2 当 前 执 行 中 数 量 等 于 并 发 度 。 
 1 、   主 节 点 尝 试 g e t 进 行 中 任 务 是 否 有 锁 ； 2 、   如 果 没 有 锁 ， 说 明 有 任 务 执 行 失 败 ， 此 时 应 该 重 新 发 布 任 务 如 果 有 锁 ， 说 明 有 任 务 正 在 执 行 中 ； 情 况 3 当 前 执 行 中 数 量 大 于 并 发 度 1 、   上 报 异 常 情 况 ， 报 警 ， 人 工 介 入 ； 使 用 主 节 点 轮 训 任 务 ， 可 以 减 少 任 务 的 争 抢 ， 通 过 k a f k a 发 布 消 息 ， 接 收 到 消 息 的 进 程 处 理 任 务 。 
 为 了 保 证 更 多 的 节 点 参 与 消 费 ， 可 以 考 虑 增 加 K a f k a 分 片 数 。 
 虽 然 每 个 节 点 可 能 同 时 处 理 多 个 任 务 ， 但 是 不 会 影 响 性 能 ， 因 为 性 能 瓶 颈 在 数 据 库 。 
 那 么 主 节 点 应 该 如 何 选 取 呢 ？ 可 以 通 过 Z o o k e e p e r + c u r a t o r   选 取 主 节 点 。 
 可 靠 性 比 较 高 。 
 1 0 亿 条 数 据 插 入 数 据 库 的 时 间 影 响 因 素 非 常 多 。 
 包 括 数 据 库 磁 盘 类 型 、 性 能 。 
 数 据 库 分 库 数 量 如 果 能 切 分 1 0 0 0 个 库 当 然 性 能 更 快 ， 要 根 据 线 上 实 际 情 况 决 策 分 库 和 分 表 数 量 ， 这 极 大 程 度 决 定 了 写 入 的 速 率 。 
 最 后 数 据 库 批 量 插 入 的 阈 值 也 不 是 一 成 不 变 的 ， 需 要 不 断 测 试 调 整 ， 以 求 得 最 佳 的 性 能 。 
 可 以 按 照 1 0 0 , 1 0 0 0 , 1 0 0 0 0 等 不 断 尝 试 批 量 插 入 的 最 佳 阈 值 。 
 S p r i n g B o o t 分 片 上 传 、 断 点 续 传 、 大 文 件 上 传 、 秒 传 ， 可 以 直 接 把 文 件 转 化 为 字 节 流 上 传 到 服 务 器 ， 但 在 文 件 比 较 大 的 情 况 下 ， 用 普 通 的 方 式 进 行 上 传 ， 这 可 不 是 一 个 好 的 办 法 ， 毕 竟 很 少 有 人 会 忍 受 ， 当 文 件 上 传 到 一 半 中 断 后 ， 继 续 上 传 却 只 能 重 头 开 始 上 传 ， 这 种 让 人 不 爽 的 体 验 。 
 那 有 没 有 比 较 好 的 上 传 体 验 呢 ， 答 案 有 的 ， 就 是 下 边 要 介 绍 的 几 种 上 传 方 式 。 
 1 、 分 片 上 传 1 . 1 什 么 是 分 片 上 传 分 片 上 传 ， 就 是 将 所 要 上 传 的 文 件 ， 按 照 一 定 的 大 小 ， 将 整 个 文 件 分 隔 成 多 个 数 据 块 （ 我 们 称 之 为 P a r t ） 来 进 行 分 别 上 传 ， 上 传 完 之 后 再 由 服 务 端 对 所 有 上 传 的 文 件 进 行 汇 总 整 合 成 原 始 的 文 件 。 
 1 . 2 分 片 上 传 的 场 景 大 文 件 上 传 网 络 环 境 环 境 不 好 ， 存 在 需 要 重 传 风 险 的 场 景 2 、 断 点 续 传 2 . 1 什 么 是 断 点 续 传 断 点 续 传 是 在 下 载 或 上 传 时 ， 将 下 载 或 上 传 任 务 （ 一 个 文 件 或 一 个 压 缩 包 ） 人 为 的 划 分 为 几 个 部 分 ， 每 一 个 部 分 采 用 一 个 线 程 进 行 上 传 或 下 载 ， 如 果 碰 到 网 络 故 障 ， 可 以 从 已 经 上 传 或 下 载 的 部 分 开 始 继 续 上 传 或 者 下 载 未 完 成 的 部 分 ， 而 没 有 必 要 从 头 开 始 上 传 或 者 下 载 。 
 本 文 的 断 点 续 传 主 要 是 针 对 断 点 上 传 场 景 。 
 2 . 2 应 用 场 景 断 点 续 传 可 以 看 成 是 分 片 上 传 的 一 个 衍 生 ， 因 此 可 以 使 用 分 片 上 传 的 场 景 ， 都 可 以 使 用 断 点 续 传 。 
 2 . 3 实 现 断 点 续 传 的 核 心 逻 辑 在 分 片 上 传 的 过 程 中 ， 如 果 因 为 系 统 崩 溃 或 者 网 络 中 断 等 异 常 因 素 导 致 上 传 中 断 ， 这 时 候 客 户 端 需 要 记 录 上 传 的 进 度 。 
 在 之 后 支 持 再 次 上 传 时 ， 可 以 继 续 从 上 次 上 传 中 断 的 地 方 进 行 继 续 上 传 。 
 为 了 避 免 客 户 端 在 上 传 之 后 的 进 度 数 据 被 删 除 而 导 致 重 新 开 始 从 头 上 传 的 问 题 ， 服 务 端 也 可 以 提 供 相 应 的 接 口 便 于 客 户 端 对 已 经 上 传 的 分 片 数 据 进 行 查 询 ， 从 而 使 客 户 端 知 道 已 经 上 传 的 分 片 数 据 ， 从 而 从 下 一 个 分 片 数 据 开 始 继 续 上 传 。 
 整 体 的 过 程 如 下 ： 前 端 将 文 件 安 装 百 分 比 进 行 计 算 , 每 次 上 传 文 件 的 百 分 之 一 ( 文 件 分 片 ) , 给 文 件 分 片 做 上 序 号 后 端 将 前 端 每 次 上 传 的 文 件 , 放 入 到 缓 存 目 录 等 待 前 端 将 全 部 的 文 件 内 容 都 上 传 完 毕 后 , 发 送 一 个 合 并 请 求 后 端 使 用 R a n d o m A c c e s s F i l e 进 多 线 程 读 取 所 有 的 分 片 文 件 , 一 个 线 程 一 个 分 片 后 端 每 个 线 程 按 照 序 号 将 分 片 的 文 件 写 入 到 目 标 文 件 中 在 上 传 文 件 的 过 程 中 发 生 断 网 了 或 者 手 动 暂 停 了 , 下 次 上 传 的 时 候 发 送 续 传 请 求 , 让 后 端 删 除 最 后 一 个 分 片 前 端 重 新 发 送 上 次 的 文 件 分 片 2 . 4 实 现 流 程 步 骤 方 案 一 ， 常 规 步 骤 将 需 要 上 传 的 文 件 按 照 一 定 的 分 割 规 则 ， 分 割 成 相 同 大 小 的 数 据 块 ； 初 始 化 一 个 分 片 上 传 任 务 ， 返 回 本 次 分 片 上 传 唯 一 标 识 ； 按 照 一 定 的 策 略 （ 串 行 或 并 行 ） 发 送 各 个 分 片 数 据 块 ； 发 送 完 成 后 ， 服 务 端 根 据 判 断 数 据 上 传 是 否 完 整 ， 如 果 完 整 ， 则 进 行 数 据 块 合 成 得 到 原 始 文 件 。 
 方 案 二 、 本 文 实 现 的 步 骤 前 端 （ 客 户 端 ） 需 要 根 据 固 定 大 小 对 文 件 进 行 分 片 ， 请 求 后 端 （ 服 务 端 ） 时 要 带 上 分 片 序 号 和 大 小 。 
 服 务 端 创 建 c o n f 文 件 用 来 记 录 分 块 位 置 ， c o n f 文 件 长 度 为 总 分 片 数 ， 每 上 传 一 个 分 块 即 向 c o n f 文 件 中 写 入 一 个 1 2 7 ， 那 么 没 上 传 的 位 置 就 是 默 认 的 0 , 已 上 传 的 就 是 B y t e . M A X _ V A L U E 1 2 7 （ 这 步 是 实 现 断 点 续 传 和 秒 传 的 核 心 步 骤 ） 服 务 器 按 照 请 求 数 据 中 给 的 分 片 序 号 和 每 片 分 块 大 小 （ 分 片 大 小 是 固 定 且 一 样 的 ） 算 出 开 始 位 置 ， 与 读 取 到 的 文 件 片 段 数 据 ， 写 入 文 件 。 
 整 体 的 实 现 流 程 如 下 ： 图 片 3 、 分 片 上 传 / 断 点 上 传 代 码 实 现 3 . 1 前 端 实 现 前 端 的 F i l e 对 象 是 特 殊 类 型 的 B l o b ， 且 可 以 用 在 任 意 的 B l o b 类 型 的 上 下 文 中 。 
 就 是 说 能 够 处 理 B l o b 对 象 的 方 法 也 能 处 理 F i l e 对 象 。 
 在 B l o b 的 方 法 里 有 有 一 个 S l i c e 方 法 可 以 帮 完 成 切 片 。 
 核 心 代 码 ： f i l e M D 5   ( f i l e s )   ;         l e t   c u r r e n t P i e c e s   =   0 ;         f i l e R e a d e r . o n l o a d   =   ( e v e n t )   = >     e l s e   )             }         }         / /   f i l e R e a d e r . o n e r r o r   =   ( e r r   = >   )         n e x t P i e c e ( )     } ) } 当 然 如 果 我 们 是 v u e 项 目 的 话 还 有 更 好 的 选 择 ， 我 们 可 以 使 用 一 些 开 源 的 框 架 ， 本 文 推 荐 使 用 v u e s i m p l e u p l o a d e r 实 现 文 件 分 片 上 传 、 断 点 续 传 及 秒 传 。 
 当 然 我 们 也 可 以 采 用 百 度 提 供 的 w e b u p l o a d e r 的 插 件 ， 进 行 分 片 。 
 操 作 方 式 也 特 别 简 单 ， 直 接 按 照 官 方 文 档 给 出 的 操 作 进 行 即 可 。 
 3 . 2 后 端 写 入 文 件 后 端 用 两 种 方 式 实 现 文 件 写 入 ： R a n d o m A c c e s s F i l e M a p p e d B y t e B u f f e r 在 向 下 学 习 之 前 ， 我 们 先 简 单 了 解 一 下 这 两 个 类 的 使 用 R a n d o m A c c e s s F i l e J a v a 除 了 F i l e 类 之 外 ， 还 提 供 了 专 门 处 理 文 件 的 类 ， 即 R a n d o m A c c e s s F i l e （ 随 机 访 问 文 件 ） 类 。 
 该 类 是 J a v a 语 言 中 功 能 最 为 丰 富 的 文 件 访 问 类 ， 它 提 供 了 众 多 的 文 件 访 问 方 法 。 
 R a n d o m A c c e s s F i l e 类 支 持 “ 随 机 访 问 ” 方 式 ， 这 里 “ 随 机 ” 是 指 可 以 跳 转 到 文 件 的 任 意 位 置 处 读 写 数 据 。 
 在 访 问 一 个 文 件 的 时 候 ， 不 必 把 文 件 从 头 读 到 尾 ， 而 是 希 望 像 访 问 一 个 数 据 库 一 样 “ 随 心 所 欲 ” 地 访 问 一 个 文 件 的 某 个 部 分 ， 这 时 使 用 R a n d o m A c c e s s F i l e 类 就 是 最 佳 选 择 。 
 R a n d o m A c c e s s F i l e 对 象 类 有 个 位 置 指 示 器 ， 指 向 当 前 读 写 处 的 位 置 ， 当 前 读 写 n 个 字 节 后 ， 文 件 指 示 器 将 指 向 这 n 个 字 节 后 面 的 下 一 个 字 节 处 。 
 刚 打 开 文 件 时 ， 文 件 指 示 器 指 向 文 件 的 开 头 处 ， 可 以 移 动 文 件 指 示 器 到 新 的 位 置 ， 随 后 的 读 写 操 作 将 从 新 的 位 置 开 始 。 
 R a n d o m A c c e s s F i l e 类 在 数 据 等 长 记 录 格 式 文 件 的 随 机 （ 相 对 顺 序 而 言 ） 读 取 时 有 很 大 的 优 势 ， 但 该 类 仅 限 于 操 作 文 件 ， 不 能 访 问 其 他 的 I / O 设 备 ， 如 网 络 、 内 存 映 像 等 。 
 R a n d o m A c c e s s F i l e 类 的 构 造 方 法 如 下 所 示 ： / / 创 建 随 机 存 储 文 件 流 ， 文 件 属 性 由 参 数 F i l e 对 象 指 定 R a n d o m A c c e s s F i l e ( F i l e   f i l e   ,   S t r i n g   m o d e ) / / 创 建 随 机 存 储 文 件 流 ， 文 件 名 由 参 数 n a m e 指 定 R a n d o m A c c e s s F i l e ( S t r i n g   n a m e   ,   S t r i n g   m o d e ) 这 两 个 构 造 方 法 均 涉 及 到 一 个 S t r i n g 类 型 的 参 数 m o d e ， 它 决 定 随 机 存 储 文 件 流 的 操 作 模 式 ， 其 中 m o d e 值 及 对 应 的 含 义 如 下 ： “ r ” ： 以 只 读 的 方 式 打 开 ， 调 用 该 对 象 的 任 何 w r i t e （ 写 ） 方 法 都 会 导 致 I O E x c e p t i o n 异 常 “ r w ” ： 以 读 、 写 方 式 打 开 ， 支 持 文 件 的 读 取 或 写 入 。 
 若 文 件 不 存 在 ， 则 创 建 之 。 
 “ r w s ” ： 以 读 、 写 方 式 打 开 ， 与 “ r w ” 不 同 的 是 ， 还 要 对 文 件 内 容 的 每 次 更 新 都 同 步 更 新 到 潜 在 的 存 储 设 备 中 去 。 
 这 里 的 “ s ” 表 示 s y n c h r o n o u s （ 同 步 ） 的 意 思 “ r w d ” ： 以 读 、 写 方 式 打 开 ， 与 “ r w ” 不 同 的 是 ， 还 要 对 文 件 内 容 的 每 次 更 新 都 同 步 更 新 到 潜 在 的 存 储 设 备 中 去 。 
 使 用 “ r w d ” 模 式 仅 要 求 将 文 件 的 内 容 更 新 到 存 储 设 备 中 ， 而 使 用 “ r w s ” 模 式 除 了 更 新 文 件 的 内 容 ， 还 要 更 新 文 件 的 元 数 据 （ m e t a d a t a ） ， 因 此 至 少 要 求 1 次 低 级 别 的 I / O 操 作 i m p o r t   j a v a . i o . R a n d o m A c c e s s F i l e ; i m p o r t   j a v a . n i o . c h a r s e t . S t a n d a r d C h a r s e t s ; p u b l i c   c l a s s   R a n d o m F i l e T e s t                   S y s t e m . o u t . p r i n t l n ( n a m e :   +   s t r ) ;                 S y s t e m . o u t . p r i n t l n ( a g e :   +   r a f . r e a d I n t ( ) ) ;                 S y s t e m . o u t . p r i n t l n ( 第 一 个 员 工 信 息 ： ) ;                 r a f . s e e k ( 0 ) ; / / 将 文 件 指 针 移 动 到 文 件 开 始 位 置                 s t r   =   ;                 f o r   ( i n t   i   =   0 ;   i                           s t r   =   s t r   +   ( c h a r )   r a f . r e a d B y t e ( ) ;                 }                 S y s t e m . o u t . p r i n t l n ( n a m e :   +   s t r ) ;                 S y s t e m . o u t . p r i n t l n ( a g e :   +   r a f . r e a d I n t ( ) ) ;                 S y s t e m . o u t . p r i n t l n ( 第 三 个 员 工 信 息 ： ) ;                 r a f . s k i p B y t e s ( 1 2 ) ; / / 跳 过 第 二 个 员 工 的 信 息                 s t r   =   ;                 f o r   ( i n t   i   =   0 ;   i                           s t r   =   s t r   +   ( c h a r )   r a f . r e a d B y t e ( ) ;                 }                 S y s t e m . o u t . p r i n t l n ( n a m e :   +   s t r ) ;                 S y s t e m . o u t . p r i n t l n ( a g e :   +   r a f . r e a d I n t ( ) ) ;                 r a f . c l o s e ( ) ;         } } c l a s s   E m p l o y e e     e l s e                           t h i s . n a m e   =   n a m e ;                         t h i s . a g e   =   a g e ;                 }         } } M a p p e d B y t e B u f f e r j a v a i o 操 作 中 通 常 采 用 B u f f e r e d R e a d e r ， B u f f e r e d I n p u t S t r e a m 等 带 缓 冲 的 I O 类 处 理 大 文 件 ， 不 过 j a v a n i o 中 引 入 了 一 种 基 于 M a p p e d B y t e B u f f e r 操 作 大 文 件 的 方 式 ， 其 读 写 性 能 极 高 。 
 3 . 3 进 行 写 入 操 作 的 核 心 代 码 为 了 节 约 文 章 篇 幅 ， 下 面 我 只 展 示 核 心 代 码 。 
 R a n d o m A c c e s s F i l e 实 现 方 式 @ U p l o a d M o d e ( m o d e   =   U p l o a d M o d e E n u m . R A N D O M _ A C C E S S ) @ S l f 4 j p u b l i c   c l a s s   R a n d o m A c c e s s U p l o a d S t r a t e g y   e x t e n d s   S l i c e U p l o a d T e m p l a t e   )     p r i v a t e   l o n g   d e f a u l t C h u n k S i z e ;     @ O v e r r i d e     p u b l i c   b o o l e a n   u p l o a d ( F i l e U p l o a d R e q u e s t D T O   p a r a m )     c a t c h   ( I O E x c e p t i o n   e )     f i n a l l y           r e t u r n   f a l s e ;     } } M a p p e d B y t e B u f f e r 实 现 方 式 @ U p l o a d M o d e ( m o d e   =   U p l o a d M o d e E n u m . M A P P E D _ B Y T E B U F F E R ) @ S l f 4 j p u b l i c   c l a s s   M a p p e d B y t e B u f f e r U p l o a d S t r a t e g y   e x t e n d s   S l i c e U p l o a d T e m p l a t e   )     p r i v a t e   l o n g   d e f a u l t C h u n k S i z e ;     @ O v e r r i d e     p u b l i c   b o o l e a n   u p l o a d ( F i l e U p l o a d R e q u e s t D T O   p a r a m )     c a t c h   ( I O E x c e p t i o n   e )     f i n a l l y           r e t u r n   f a l s e ;     } } 文 件 操 作 核 心 模 板 类 代 码 @ S l f 4 j p u b l i c   a b s t r a c t   c l a s s   S l i c e U p l o a d T e m p l a t e   i m p l e m e n t s   S l i c e U p l o a d S t r a t e g y           r e t u r n   t m p F i l e ;     }     @ O v e r r i d e     p u b l i c   F i l e U p l o a d D T O   s l i c e U p l o a d ( F i l e U p l o a d R e q u e s t D T O   p a r a m )           S t r i n g   m d 5   =   F i l e M D 5 U t i l . g e t F i l e M D 5 ( p a r a m . g e t F i l e ( ) ) ;         M a p   m a p   =   n e w   H a s h M a p ( ) ;         m a p . p u t ( p a r a m . g e t C h u n k ( ) ,   m d 5 ) ;         r e t u r n   F i l e U p l o a d D T O . b u i l d e r ( ) . c h u n k M d 5 I n f o ( m a p ) . b u i l d ( ) ;     }     / * *       *   检 查 并 修 改 文 件 上 传 进 度       * /     p u b l i c   b o o l e a n   c h e c k A n d S e t U p l o a d P r o g r e s s ( F i l e U p l o a d R e q u e s t D T O   p a r a m ,   S t r i n g   u p l o a d D i r P a t h )           }   c a t c h   ( I O E x c e p t i o n   e )     f i n a l l y           b o o l e a n   i s O k   =   s e t U p l o a d P r o g r e s s 2 R e d i s ( p a r a m ,   u p l o a d D i r P a t h ,   f i l e N a m e ,   c o n f F i l e ,   i s C o m p l e t e ) ;         r e t u r n   i s O k ;     }     / * *       *   把 上 传 进 度 信 息 存 进 r e d i s       * /     p r i v a t e   b o o l e a n   s e t U p l o a d P r o g r e s s 2 R e d i s ( F i l e U p l o a d R e q u e s t D T O   p a r a m ,   S t r i n g   u p l o a d D i r P a t h ,             S t r i n g   f i l e N a m e ,   F i l e   c o n f F i l e ,   b y t e   i s C o m p l e t e )     e l s e               r e t u r n   f a l s e ;         }     }     / * *       *   保 存 文 件 操 作       * /     p u b l i c   F i l e U p l o a d D T O   s a v e A n d F i l e U p l o a d D T O ( S t r i n g   f i l e N a m e ,   F i l e   t m p F i l e )           }   c a t c h   ( E x c e p t i o n   e )     f i n a l l y           r e t u r n   f i l e U p l o a d D T O ;     }     / * *       *   文 件 重 命 名       *       *   @ p a r a m   t o B e R e n a m e d   将 要 修 改 名 字 的 文 件       *   @ p a r a m   t o F i l e N e w N a m e   新 的 名 字       * /     p r i v a t e   F i l e U p l o a d D T O   r e n a m e F i l e ( F i l e   t o B e R e n a m e d ,   S t r i n g   t o F i l e N e w N a m e )   ,   t o B e R e n a m e d . g e t N a m e ( ) ) ;             f i l e U p l o a d D T O . s e t U p l o a d C o m p l e t e ( f a l s e ) ;             r e t u r n   f i l e U p l o a d D T O ;         }         S t r i n g   e x t   =   F i l e U t i l . g e t E x t e n s i o n ( t o F i l e N e w N a m e ) ;         S t r i n g   p   =   t o B e R e n a m e d . g e t P a r e n t ( ) ;         S t r i n g   f i l e P a t h   =   p   +   F i l e C o n s t a n t . F I L E _ S E P A R A T O R C H A R   +   t o F i l e N e w N a m e ;         F i l e   n e w F i l e   =   n e w   F i l e ( f i l e P a t h ) ;         / / 修 改 文 件 名         b o o l e a n   u p l o a d F l a g   =   t o B e R e n a m e d . r e n a m e T o ( n e w F i l e ) ;         f i l e U p l o a d D T O . s e t M t i m e ( D a t e U t i l . g e t C u r r e n t T i m e S t a m p ( ) ) ;         f i l e U p l o a d D T O . s e t U p l o a d C o m p l e t e ( u p l o a d F l a g ) ;         f i l e U p l o a d D T O . s e t P a t h ( f i l e P a t h ) ;         f i l e U p l o a d D T O . s e t S i z e ( n e w F i l e . l e n g t h ( ) ) ;         f i l e U p l o a d D T O . s e t F i l e E x t ( e x t ) ;         f i l e U p l o a d D T O . s e t F i l e I d ( t o F i l e N e w N a m e ) ;         r e t u r n   f i l e U p l o a d D T O ;     } } 上 传 接 口 @ P o s t M a p p i n g ( v a l u e   =   / u p l o a d ) @ R e s p o n s e B o d y p u b l i c   R e s u l t   u p l o a d ( F i l e U p l o a d R e q u e s t D T O   f i l e U p l o a d R e q u e s t D T O )   t h r o w s   I O E x c e p t i o n     e l s e               s t o p W a t c h . s t o p ( ) ;             l o g . i n f o ( , s t o p W a t c h . p r e t t y P r i n t ( ) ) ;             r e t u r n   n e w   R e s u l t ( ) . s e t D a t a ( f i l e U p l o a d D T O ) ;         }         t h r o w   n e w   B i z E x c e p t i o n ( 上 传 失 败 ,   4 0 6 ) ; } 4 、 秒 传 4 . 1 什 么 是 秒 传 通 俗 的 说 ， 你 把 要 上 传 的 东 西 上 传 ， 服 务 器 会 先 做 M D 5 校 验 ， 如 果 服 务 器 上 有 一 样 的 东 西 ， 它 就 直 接 给 你 个 新 地 址 ， 其 实 你 下 载 的 都 是 服 务 器 上 的 同 一 个 文 件 ， 想 要 不 秒 传 ， 其 实 只 要 让 M D 5 改 变 ， 就 是 对 文 件 本 身 做 一 下 修 改 （ 改 名 字 不 行 ） ， 例 如 一 个 文 本 文 件 ， 你 多 加 几 个 字 ， M D 5 就 变 了 ， 就 不 会 秒 传 了 。 
 4 . 2 实 现 的 秒 传 核 心 逻 辑 利 用 r e d i s 的 s e t 方 法 存 放 文 件 上 传 状 态 ， 其 中 k e y 为 文 件 上 传 的 m d 5 ， v a l u e 为 是 否 上 传 完 成 的 标 志 位 ， 当 标 志 位 t r u e 为 上 传 已 经 完 成 ， 此 时 如 果 有 相 同 文 件 上 传 ， 则 进 入 秒 传 逻 辑 。 
 如 果 标 志 位 为 f a l s e ， 则 说 明 还 没 上 传 完 成 ， 此 时 需 要 在 调 用 s e t 的 方 法 ， 保 存 块 号 文 件 记 录 的 路 径 ， 其 中 ， k e y 为 上 传 文 件 m d 5 加 一 个 固 定 前 缀 ， v a l u e 为 块 号 文 件 记 录 路 径 图 片 4 . 3 核 心 代 码 p r i v a t e   b o o l e a n   s e t U p l o a d P r o g r e s s 2 R e d i s ( F i l e U p l o a d R e q u e s t D T O   p a r a m ,   S t r i n g   u p l o a d D i r P a t h ,             S t r i n g   f i l e N a m e ,   F i l e   c o n f F i l e ,   b y t e   i s C o m p l e t e )     e l s e               r e t u r n   f a l s e ;         } } 5 、 总 结 在 实 现 分 片 上 传 的 过 程 ， 需 要 前 端 和 后 端 配 合 ， 比 如 前 后 端 的 上 传 块 号 的 文 件 大 小 ， 前 后 端 必 须 得 要 一 致 ， 否 则 上 传 就 会 有 问 题 。 
 其 次 文 件 相 关 操 作 正 常 都 是 要 搭 建 一 个 文 件 服 务 器 的 ， 比 如 使 用 f a s t d f s 、 h d f s 等 。 
 复 制 搜 一 搜 分 享 收 藏 划 线 人 划 线 数 据 迁 移 工 具 ， 用 这 8 种 ! E T L ( 是 E x t r a c t T r a n s f o r m L o a d 的 缩 写 ， 即 数 据 抽 取 、 转 换 、 装 载 的 过 程 ) ， 对 于 企 业 应 用 来 说 ， 我 们 经 常 会 遇 到 各 种 数 据 的 处 理 、 转 换 、 迁 移 的 场 景 。 
 今 天 特 地 给 大 家 汇 总 了 一 些 目 前 市 面 上 比 较 常 用 的 E T L 数 据 迁 移 工 具 ， 希 望 对 你 会 有 所 帮 助 。 
 1 . K e t t l e K e t t l e 是 一 款 国 外 开 源 的 E T L 工 具 ， 纯 J a v a 编 写 ， 绿 色 无 需 安 装 ， 数 据 抽 取 高 效 稳 定 ( 数 据 迁 移 工 具 ) 。 
 K e t t l e 中 有 两 种 脚 本 文 件 ， t r a n s f o r m a t i o n 和 j o b ， t r a n s f o r m a t i o n 完 成 针 对 数 据 的 基 础 转 换 ， j o b 则 完 成 整 个 工 作 流 的 控 制 。 
 K e t t l e 中 文 名 称 叫 水 壶 ， 该 项 目 的 主 程 序 员 M A T T 希 望 把 各 种 数 据 放 到 一 个 壶 里 ， 然 后 以 一 种 指 定 的 格 式 流 出 。 
 K e t t l e 这 个 E T L 工 具 集 ， 它 允 许 你 管 理 来 自 不 同 数 据 库 的 数 据 ， 通 过 提 供 一 个 图 形 化 的 用 户 环 境 来 描 述 你 想 做 什 么 ， 而 不 是 你 想 怎 么 做 。 
 K e t t l e 家 族 目 前 包 括 4 个 产 品 ： S p o o n 、 P a n 、 C H E F 、 K i t c h e n 。 
 S P O O N ： 允 许 你 通 过 图 形 界 面 来 设 计 E T L 转 换 过 程 （ T r a n s f o r m a t i o n ） 。 
 P A N ： 允 许 你 批 量 运 行 由 S p o o n 设 计 的 E T L 转 换 ( 例 如 使 用 一 个 时 间 调 度 器 ) 。 
 P a n 是 一 个 后 台 执 行 的 程 序 ， 没 有 图 形 界 面 。 
 C H E F ： 允 许 你 创 建 任 务 （ J o b ） 。 
 任 务 通 过 允 许 每 个 转 换 ， 任 务 ， 脚 本 等 等 ， 更 有 利 于 自 动 化 更 新 数 据 仓 库 的 复 杂 工 作 。 
 任 务 通 过 允 许 每 个 转 换 ， 任 务 ， 脚 本 等 等 。 
 任 务 将 会 被 检 查 ， 看 看 是 否 正 确 地 运 行 了 。 
 K I T C H E N ： 允 许 你 批 量 使 用 由 C h e f 设 计 的 任 务 ( 例 如 使 用 一 个 时 间 调 度 器 ) 。 
 K I T C H E N 也 是 一 个 后 台 运 行 的 程 序 。 
 2 . D a t a x D a t a X 是 阿 里 云 D a t a W o r k s 数 据 集 成 的 开 源 版 本 ， 在 阿 里 巴 巴 集 团 内 被 广 泛 使 用 的 离 线 数 据 同 步 工 具 / 平 台 。 
 D a t a X 是 一 个 异 构 数 据 源 离 线 同 步 工 具 ， 致 力 于 实 现 包 括 关 系 型 数 据 库 ( M y S Q L 、 O r a c l e 等 ) 、 H D F S 、 H i v e 、 O D P S 、 H B a s e 、 F T P 等 各 种 异 构 数 据 源 之 间 稳 定 高 效 的 数 据 同 步 功 能 。 
 设 计 理 念 ： 为 了 解 决 异 构 数 据 源 同 步 问 题 ， D a t a X 将 复 杂 的 网 状 的 同 步 链 路 变 成 了 星 型 数 据 链 路 ， D a t a X 作 为 中 间 传 输 载 体 负 责 连 接 各 种 数 据 源 。 
 当 需 要 接 入 一 个 新 的 数 据 源 的 时 候 ， 只 需 要 将 此 数 据 源 对 接 到 D a t a X ， 便 能 跟 已 有 的 数 据 源 做 到 无 缝 数 据 同 步 。 
 当 前 使 用 现 状 ： D a t a X 在 阿 里 巴 巴 集 团 内 被 广 泛 使 用 ， 承 担 了 所 有 大 数 据 的 离 线 同 步 业 务 ， 并 已 持 续 稳 定 运 行 了 6 年 之 久 。 
 目 前 每 天 完 成 同 步 8 w 多 道 作 业 ， 每 日 传 输 数 据 量 超 过 3 0 0 T B 。 
 D a t a X 本 身 作 为 离 线 数 据 同 步 框 架 ， 采 用 F r a m e w o r k + p l u g i n 架 构 构 建 。 
 将 数 据 源 读 取 和 写 入 抽 象 成 为 R e a d e r / W r i t e r 插 件 ， 纳 入 到 整 个 同 步 框 架 中 。 
 D a t a X 3 . 0 开 源 版 本 支 持 单 机 多 线 程 模 式 完 成 同 步 作 业 运 行 ， 本 小 节 按 一 个 D a t a X 作 业 生 命 周 期 的 时 序 图 ， 从 整 体 架 构 设 计 非 常 简 要 说 明 D a t a X 各 个 模 块 相 互 关 系 。 
 D a t a X 3 . 0 六 大 核 心 优 势 ： 可 靠 的 数 据 质 量 监 控 丰 富 的 数 据 转 换 功 能 精 准 的 速 度 控 制 强 劲 的 同 步 性 能 健 壮 的 容 错 机 制 极 简 的 使 用 体 验 3 . D a t a P i p e l i n e D a t a P i p e l i n e 采 用 基 于 日 志 的 增 量 数 据 获 取 技 术 （ L o g b a s e d C h a n g e D a t a C a p t u r e ） ， 支 持 异 构 数 据 之 间 丰 富 、 自 动 化 、 准 确 的 语 义 映 射 构 建 ， 同 时 满 足 实 时 与 批 量 的 数 据 处 理 。 
 可 实 现 O r a c l e 、 I B M D B 2 、 M y S Q L 、 M S S Q L S e r v e r 、 P o s t g r e S Q L 、 G o l d e n D B 、 T D S Q L 、 O c e a n B a s e 等 数 据 库 准 确 的 增 量 数 据 获 取 。 
 平 台 具 备 “ 数 据 全 、 传 输 快 、 强 协 同 、 更 敏 捷 、 极 稳 定 、 易 维 护 ” 六 大 特 性 。 
 在 支 持 传 统 关 系 型 数 据 库 的 基 础 上 ， 对 大 数 据 平 台 、 国 产 数 据 库 、 云 原 生 数 据 库 、 A P I 及 对 象 存 储 也 提 供 广 泛 的 支 持 ， 并 在 不 断 扩 展 。 
 D a t a P i p e l i n e 数 据 融 合 产 品 致 力 于 为 用 户 提 供 企 业 级 数 据 融 合 解 决 方 案 ， 为 用 户 提 供 统 一 平 台 同 时 管 理 异 构 数 据 节 点 实 时 同 步 与 批 量 数 据 处 理 任 务 ， 在 未 来 还 将 提 供 对 实 时 流 计 算 的 支 持 。 
 采 用 分 布 式 集 群 化 部 署 方 式 ， 可 水 平 垂 直 线 性 扩 展 的 ， 保 证 数 据 流 转 稳 定 高 效 ， 让 客 户 专 注 数 据 价 值 释 放 。 
 产 品 特 点 ： 全 面 的 数 据 节 点 支 持 ： 支 持 关 系 型 数 据 库 、 N o S Q L 数 据 库 、 国 产 数 据 库 、 数 据 仓 库 、 大 数 据 平 台 、 云 存 储 、 A P I 等 多 种 数 据 节 点 类 型 ， 可 自 定 义 数 据 节 点 。 
 高 性 能 实 时 处 理 ： 针 对 不 同 数 据 节 点 类 型 提 供 T B 级 吞 吐 量 、 秒 级 低 延 迟 的 增 量 数 据 处 理 能 力 ， 加 速 企 业 各 类 场 景 的 数 据 流 转 。 
 分 层 管 理 降 本 增 效 ： 采 用 “ 数 据 节 点 注 册 、 数 据 链 路 配 置 、 数 据 任 务 构 建 、 系 统 资 源 分 配 ” 的 分 层 管 理 模 式 ， 企 业 级 平 台 的 建 设 周 期 从 三 到 六 个 月 减 少 为 一 周 。 
 无 代 码 敏 捷 管 理 ： 提 供 限 制 配 置 与 策 略 配 置 两 大 类 十 余 种 高 级 配 置 ， 包 括 灵 活 的 数 据 对 象 映 射 关 系 ， 数 据 融 合 任 务 的 研 发 交 付 时 间 从 2 周 减 少 为 5 分 钟 。 
 极 稳 定 高 可 靠 ： 采 用 分 布 式 架 构 ， 所 有 组 件 均 支 持 高 可 用 ， 提 供 丰 富 容 错 策 略 ， 应 对 上 下 游 的 结 构 变 化 、 数 据 错 误 、 网 络 故 障 等 突 发 情 况 ， 可 以 保 证 系 统 业 务 连 续 性 要 求 。 
 全 链 路 数 据 可 观 测 ： 配 备 容 器 、 应 用 、 线 程 、 业 务 四 级 监 控 体 系 ， 全 景 驾 驶 舱 守 护 任 务 稳 定 运 行 。 
 自 动 化 运 维 体 系 ， 灵 活 扩 缩 容 ， 合 理 管 理 和 分 配 系 统 资 源 。 
 4 . T a l e n d T a l e n d ( 踏 蓝 ) 是 第 一 家 针 对 的 数 据 集 成 工 具 市 场 的 E T L ( 数 据 的 提 取 E x t r a c t 、 传 输 T r a n s f o r m 、 载 入 L o a d ) 开 源 软 件 供 应 商 。 
 T a l e n d 以 它 的 技 术 和 商 业 双 重 模 式 为 E T L 服 务 提 供 了 一 个 全 新 的 远 景 。 
 它 打 破 了 传 统 的 独 有 封 闭 服 务 ， 提 供 了 一 个 针 对 所 有 规 模 的 公 司 的 公 开 的 ， 创 新 的 ， 强 大 的 灵 活 的 软 件 解 决 方 案 。 
 5 . D a t a S t a g e D a t a S t a g e ， 即 I B M W e b S p h e r e D a t a S t a g e ， 是 一 套 专 门 对 多 种 操 作 数 据 源 的 数 据 抽 取 、 转 换 和 维 护 过 程 进 行 简 化 和 自 动 化 ， 并 将 其 输 入 数 据 集 市 或 数 据 仓 库 目 标 数 据 库 的 集 成 工 具 ， 可 以 从 多 个 不 同 的 业 务 系 统 中 ， 从 多 个 平 台 的 数 据 源 中 抽 取 数 据 ， 完 成 转 换 和 清 洗 ， 装 载 到 各 种 系 统 里 面 。 
 其 中 每 步 都 可 以 在 图 形 化 工 具 里 完 成 ， 同 样 可 以 灵 活 地 被 外 部 系 统 调 度 ， 提 供 专 门 的 设 计 工 具 来 设 计 转 换 规 则 和 清 洗 规 则 等 ， 实 现 了 增 量 抽 取 、 任 务 调 度 等 多 种 复 杂 而 实 用 的 功 能 。 
 其 中 简 单 的 数 据 转 换 可 以 通 过 在 界 面 上 拖 拉 操 作 和 调 用 一 些 D a t a S t a g e 预 定 义 转 换 函 数 来 实 现 ， 复 杂 转 换 可 以 通 过 编 写 脚 本 或 结 合 其 他 语 言 的 扩 展 来 实 现 ， 并 且 D a t a S t a g e 提 供 调 试 环 境 ， 可 以 极 大 提 高 开 发 和 调 试 抽 取 、 转 换 程 序 的 效 率 。 
 D a t a s t a g e 操 作 界 面 对 元 数 据 的 支 持 ： D a t a s t a g e 是 自 己 管 理 M e t a d a t a ， 不 依 赖 任 何 数 据 库 。 
 参 数 控 制 ： D a t a s t a g e 可 以 对 每 个 j o b 设 定 参 数 ， 并 且 可 以 j o b 内 部 引 用 这 个 参 数 名 。 
 数 据 质 量 ： D a t a s t a g e 有 配 套 用 的 P r o f i l e S t a g e 和 Q u a l i t y S t a g e 保 证 数 据 质 量 。 
 定 制 开 发 ： 提 供 抽 取 、 转 换 插 件 的 定 制 ， D a t a s t a g e 内 嵌 一 种 类 B A S I C 语 言 ， 可 以 写 一 段 批 处 理 程 序 来 增 加 灵 活 性 。 
 修 改 维 护 ： 提 供 图 形 化 界 面 。 
 这 样 的 好 处 是 直 观 、 傻 瓜 式 的 ； 不 好 的 地 方 就 是 改 动 还 是 比 较 费 事 （ 特 别 是 批 量 化 的 修 改 ） 。 
 D a t a s t a g e 包 含 四 大 部 件 ： A d m i n i s t r a t o r ： 新 建 或 者 删 除 项 目 ， 设 置 项 目 的 公 共 属 性 ， 比 如 权 限 。 
 D e s i g n e r ： 连 接 到 指 定 的 项 目 上 进 行 J o b 的 设 计 ； D i r e c t o r ： 负 责 J o b 的 运 行 ， 监 控 等 。 
 例 如 设 置 设 计 好 的 J o b 的 调 度 时 间 。 
 M a n a g e r ： 进 行 J o b 的 备 份 等 J o b 的 管 理 工 作 。 
 6 . S q o o p S q o o p 是 C l o u d e r a 公 司 创 造 的 一 个 数 据 同 步 工 具 ， 现 在 已 经 完 全 开 源 了 。 
 目 前 已 经 是 h a d o o p 生 态 环 境 中 数 据 迁 移 的 首 选     S q o o p 是 一 个 用 来 将 H a d o o p 和 关 系 型 数 据 库 中 的 数 据 相 互 转 移 的 工 具 ， 可 以 将 一 个 关 系 型 数 据 库 （ 例 如 ： M y S Q L , O r a c l e , P o s t g r e s 等 ） 中 的 数 据 导 入 到 H a d o o p 的 H D F S 中 ， 也 可 以 将 H D F S 的 数 据 导 入 到 关 系 型 数 据 库 中 。 
 他 将 我 们 传 统 的 关 系 型 数 据 库 | 文 件 型 数 据 库 | 企 业 数 据 仓 库 同 步 到 我 们 的 h a d o o p 生 态 集 群 中 。 
 同 时 也 可 以 将 h a d o o p 生 态 集 群 中 的 数 据 导 回 到 传 统 的 关 系 型 数 据 库 | 文 件 型 数 据 库 | 企 业 数 据 仓 库 中 。 
 那 么 S q o o p 如 何 抽 取 数 据 呢 ? 首 先 S q o o p 去 r d b m s 抽 取 元 数 据 。 
 当 拿 到 元 数 据 之 后 将 任 务 切 成 多 个 任 务 分 给 多 个 m a p 。 
 然 后 再 由 每 个 m a p 将 自 己 的 任 务 完 成 之 后 输 出 到 文 件 。 
 7 . F i n e D a t a L i n k F i n e D a t a L i n k 是 国 内 做 的 比 较 好 的 E T L 工 具 ， F i n e D a t a L i n k 是 一 站 式 的 数 据 处 理 平 台 ， 具 备 高 效 的 数 据 同 步 功 能 ， 可 以 实 现 实 时 数 据 传 输 、 数 据 调 度 、 数 据 治 理 等 各 类 复 杂 组 合 场 景 的 能 力 ， 提 供 数 据 汇 聚 、 研 发 、 治 理 等 功 能 。 
 F D L 拥 有 低 代 码 优 势 ， 通 过 简 单 的 拖 拽 交 互 就 能 实 现 E T L 全 流 程 。 
 F i n e D a t a L i n k — — 中 国 领 先 的 低 代 码 / 高 时 效 数 据 集 成 产 品 ， 能 过 为 企 业 提 供 一 站 式 的 数 据 服 务 ， 通 过 快 速 连 接 、 高 时 效 融 合 多 种 数 据 ， 提 供 低 代 码 D a t a A P I 敏 捷 发 布 平 台 ， 帮 助 企 业 解 决 数 据 孤 岛 难 题 ， 有 效 提 升 企 业 数 据 价 值 。 
 8 . c a n a l c a n a l [ k ə n æ l ] ， 译 意 为 水 道 / 管 道 / 沟 渠 ， 主 要 用 途 是 基 于 M y S Q L 数 据 库 增 量 日 志 解 析 ， 提 供 增 量 数 据 订 阅 和 消 费 。 
 早 期 阿 里 巴 巴 因 为 杭 州 和 美 国 双 机 房 部 署 ， 存 在 跨 机 房 同 步 的 业 务 需 求 ， 实 现 方 式 主 要 是 基 于 业 务 t r i g g e r 获 取 增 量 变 更 。 
 从 2 0 1 0 年 开 始 ， 业 务 逐 步 尝 试 数 据 库 日 志 解 析 获 取 增 量 变 更 进 行 同 步 ， 由 此 衍 生 出 了 大 量 的 数 据 库 增 量 订 阅 和 消 费 业 务 。 
 基 于 日 志 增 量 订 阅 和 消 费 的 业 务 包 括 ： 数 据 库 镜 像 数 据 库 实 时 备 份 索 引 构 建 和 实 时 维 护 ( 拆 分 异 构 索 引 、 倒 排 索 引 等 ) 业 务 c a c h e 刷 新 带 业 务 逻 辑 的 增 量 数 据 处 理 当 前 的 c a n a l 支 持 源 端 M y S Q L 版 本 包 括 5 . 1 . x , 5 . 5 . x , 5 . 6 . x , 5 . 7 . x , 8 . 0 . x 。 
 M y S Q L m a s t e r 将 数 据 变 更 写 入 二 进 制 日 志 ( b i n a r y l o g , 其 中 记 录 叫 做 二 进 制 日 志 事 件 b i n a r y l o g e v e n t s ， 可 以 通 过 s h o w b i n l o g e v e n t s 进 行 查 看 ) 。 
 M y S Q L s l a v e 将 m a s t e r 的 b i n a r y l o g e v e n t s 拷 贝 到 它 的 中 继 日 志 ( r e l a y l o g ) 。 
 M y S Q L s l a v e 重 放 r e l a y l o g 中 事 件 ， 将 数 据 变 更 反 映 它 自 己 的 数 据 。 
 c a n a l 工 作 原 理 ： c a n a l 模 拟 M y S Q L s l a v e 的 交 互 协 议 ， 伪 装 自 己 为 M y S Q L s l a v e ， 向 M y S Q L m a s t e r 发 送 d u m p 协 议 M y S Q L m a s t e r 收 到 d u m p 请 求 ， 开 始 推 送 b i n a r y l o g 给 s l a v e ( 即 c a n a l ) c a n a l 解 析 b i n a r y l o g 对 象 ( 原 始 为 b y t e 流 ) 复 制 搜 一 搜 分 享 收 藏 划 线 人 划 线 从 3 s 到 2 5 m s ！ 看 看 京 东 的 接 口 优 化 技 巧 ， 确 实 很 优 雅 ！ ！ 一 、 背 景 针 对 老 项 目 ， 去 年 做 了 许 多 降 本 增 效 的 事 情 ， 其 中 发 现 最 多 的 就 是 接 口 耗 时 过 长 的 问 题 ， 就 集 中 搞 了 一 次 接 口 性 能 优 化 。 
 本 文 将 给 小 伙 伴 们 分 享 一 下 接 口 优 化 的 通 用 方 案 。 
 二 、 接 口 优 化 方 案 总 结 1 . 批 处 理 批 量 思 想 ： 批 量 操 作 数 据 库 ， 这 个 很 好 理 解 ， 我 们 在 循 环 插 入 场 景 的 接 口 中 ， 可 以 在 批 处 理 执 行 完 成 后 一 次 性 插 入 或 更 新 数 据 库 ， 避 免 多 次 I O 。 
 / / f o r 循 环 单 笔 入 库 l i s t . s t r e a m ( ) . f o r E a t c h ( m s g ) ; / / 批 量 入 库 b a t c h I n s e r t ( ) ; 2 . 异 步 处 理 异 步 思 想 ： 针 对 耗 时 比 较 长 且 不 是 结 果 必 须 的 逻 辑 ， 我 们 可 以 考 虑 放 到 异 步 执 行 ， 这 样 能 降 低 接 口 耗 时 。 
 例 如 一 个 理 财 的 申 购 接 口 ， 入 账 和 写 入 申 购 文 件 是 同 步 执 行 的 ， 因 为 是 T + 1 交 易 ， 后 面 这 两 个 逻 辑 其 实 不 是 结 果 必 须 的 ， 我 们 并 不 需 要 关 注 它 的 实 时 结 果 ， 所 以 我 们 考 虑 把 入 账 和 写 入 申 购 文 件 改 为 异 步 处 理 。 
 如 图 所 示 ： 至 于 异 步 的 实 现 方 式 ， 可 以 用 线 程 池 ， 也 可 以 用 消 息 队 列 ， 还 可 以 用 一 些 调 度 任 务 框 架 。 
 3 . 空 间 换 时 间 一 个 很 好 理 解 的 空 间 换 时 间 的 例 子 是 合 理 使 用 缓 存 ， 针 对 一 些 频 繁 使 用 且 不 频 繁 变 更 的 数 据 ， 可 以 提 前 缓 存 起 来 ， 需 要 时 直 接 查 缓 存 ， 避 免 频 繁 地 查 询 数 据 库 或 者 重 复 计 算 。 
 需 要 注 意 的 事 ， 这 里 用 了 合 理 二 字 ， 因 为 空 间 换 时 间 也 是 一 把 双 刃 剑 ， 需 要 综 合 考 虑 你 的 使 用 场 景 ， 毕 竟 缓 存 带 来 的 数 据 一 致 性 问 题 也 挺 令 人 头 疼 。 
 这 里 的 缓 存 可 以 是 R 2 M ， 也 可 以 是 本 地 缓 存 、 m e m c a c h e d ， 或 者 M a p 。 
 举 一 个 股 票 工 具 的 查 询 例 子 ： 因 为 策 略 轮 动 的 调 仓 信 息 ， 每 周 只 更 新 一 次 ， 所 以 原 来 的 调 接 口 就 去 查 库 的 逻 辑 并 不 合 理 ， 而 且 拿 到 调 仓 信 息 后 ， 需 要 经 过 复 杂 计 算 ， 最 终 得 出 回 测 收 益 和 跑 赢 沪 深 指 数 这 些 我 们 想 要 的 结 果 。 
 如 果 我 们 把 查 库 操 作 和 计 算 结 果 放 入 缓 存 ， 可 以 节 省 很 多 的 执 行 时 间 。 
 如 图 ： 4 . 预 处 理 也 就 是 预 取 思 想 ， 就 是 提 前 要 把 查 询 的 数 据 ， 提 前 计 算 好 ， 放 入 缓 存 或 者 表 中 的 某 个 字 段 ， 用 的 时 候 会 大 幅 提 高 接 口 性 能 。 
 跟 上 面 那 个 例 子 很 像 ， 但 是 关 注 点 不 同 。 
 举 个 简 单 的 例 子 ： 理 财 产 品 ， 会 有 根 据 净 值 计 算 年 化 收 益 率 的 数 据 展 示 需 求 ， 利 用 净 值 去 套 用 年 化 收 益 率 计 算 公 式 计 算 的 逻 辑 我 们 可 以 采 用 预 处 理 ， 这 样 每 一 次 接 口 调 用 直 接 取 对 应 字 段 就 可 以 了 。 
 5 . 池 化 思 想 我 们 都 用 过 数 据 库 连 接 池 ， 线 程 池 等 ， 这 就 是 池 思 想 的 体 现 ， 它 们 解 决 的 问 题 就 是 避 免 重 复 创 建 对 象 或 创 建 连 接 ， 可 以 重 复 利 用 ， 避 免 不 必 要 的 损 耗 ， 毕 竟 创 建 销 毁 也 会 占 用 时 间 。 
 池 化 思 想 包 含 但 并 不 局 限 于 以 上 两 种 ， 总 的 来 说 池 化 思 想 的 本 质 是 预 分 配 与 循 环 使 用 ， 明 白 这 个 原 理 后 ， 我 们 即 使 是 在 做 一 些 业 务 场 景 的 需 求 时 ， 也 可 以 利 用 起 来 。 
 比 如 ： 对 象 池 6 . 串 行 改 并 行 串 行 就 是 ， 当 前 执 行 逻 辑 必 须 等 上 一 个 执 行 逻 辑 结 束 之 后 才 执 行 ， 并 行 就 是 两 个 执 行 逻 辑 互 不 干 扰 ， 所 以 并 行 相 对 来 说 就 比 较 节 省 时 间 ， 当 然 是 建 立 在 没 有 结 果 参 数 依 赖 的 前 提 下 。 
 比 如 ， 理 财 的 持 仓 信 息 展 示 接 口 ， 我 们 既 需 要 查 询 用 户 的 账 户 信 息 ， 也 需 要 查 询 商 品 信 息 和 b a n n e r 位 信 息 等 等 来 渲 染 持 仓 页 ， 如 果 是 串 行 ， 基 本 上 接 口 耗 时 就 是 累 加 的 。 
 如 果 是 并 行 ， 接 口 耗 时 将 大 大 降 低 。 
 7 . 索 引 加 索 引 能 大 大 提 高 数 据 查 询 效 率 ， 这 个 在 接 口 设 计 之 出 也 会 考 虑 到 ， 这 里 不 再 多 赘 述 ， 随 着 需 求 的 迭 代 ， 我 们 重 点 整 理 一 下 索 引 不 生 效 的 一 些 场 景 ， 希 望 对 小 伙 伴 们 有 所 帮 助 。 
 具 体 不 生 效 场 景 不 再 一 一 举 例 ， 后 面 有 时 间 的 话 ， 单 独 整 理 一 下 。 
 8 . 避 免 大 事 务 所 谓 大 事 务 问 题 ， 就 是 运 行 时 间 较 长 的 事 务 ， 由 于 事 务 一 致 不 提 交 ， 会 导 致 数 据 库 连 接 被 占 用 ， 影 响 到 别 的 请 求 访 问 数 据 库 ， 影 响 别 的 接 口 性 能 。 
 举 个 例 子 ： @ T r a n s a c t i o n a l ( v a l u e   = t a s k T r a n s a c t i o n M a n a g e r ,   p r o p a g a t i o n   = P r o p a g a t i o n . R E Q U I R E D ,   i s o l a t i o n   = I s o l a t i o n . R E A D _ C O M M I T T E D ,   r o l l b a c k F o r   = )         p u b l i c B a s i c R e s u l t p u r c h a s e R e q u e s t ( P u r c h a s e R e c o r d r e c o r d ) 上 面 这 块 代 码 主 要 是 申 购 申 请 完 成 后 ， 执 行 一 系 列 的 后 续 操 作 ， 如 果 现 在 新 增 申 购 完 成 后 ， 发 送 p u s h 通 知 用 户 的 需 求 。 
 很 有 可 能 我 们 会 在 后 面 直 接 追 加 ， 如 下 图 所 示 ： 事 务 中 嵌 套 R P C 调 用 ， 即 非 D B 操 作 ， 这 些 非 D B 操 作 如 果 耗 时 较 大 的 话 ， 可 能 会 出 现 大 事 务 问 题 。 
 大 数 据 引 发 的 问 题 主 要 有 ： 死 锁 、 接 口 超 时 、 主 从 延 迟 等 。 
 @ T r a n s a c t i o n a l ( v a l u e   = t a s k T r a n s a c t i o n M a n a g e r ,   p r o p a g a t i o n   = P r o p a g a t i o n . R E Q U I R E D ,   i s o l a t i o n   = I s o l a t i o n . R E A D _ C O M M I T T E D ,   r o l l b a c k F o r   = )         p u b l i c B a s i c R e s u l t p u r c h a s e R e q u e s t ( P u r c h a s e R e c o r d r e c o r d ) 所 以 为 避 免 大 事 务 问 题 ， 我 们 可 以 通 过 以 下 方 案 规 避 ： 1 ， R P C 调 用 不 放 到 事 务 里 面 2 ， 查 询 操 作 尽 量 放 到 事 务 之 外 3 ， 事 务 中 避 免 处 理 太 多 数 据 9 . 优 化 程 序 结 构 程 序 结 构 问 题 一 般 出 现 在 多 次 需 求 迭 代 后 ， 代 码 叠 加 形 成 。 
 会 造 成 一 些 重 复 查 询 、 多 次 创 建 对 象 等 耗 时 问 题 。 
 在 多 人 维 护 一 个 项 目 时 比 较 多 见 。 
 解 决 起 来 也 比 较 简 单 ， 我 们 需 要 针 对 接 口 整 体 做 重 构 ， 评 估 每 个 代 码 块 的 作 用 和 用 途 ， 调 整 执 行 顺 序 。 
 1 0 . 深 分 页 问 题 深 分 页 问 题 比 较 常 见 ， 分 页 我 们 一 般 最 先 想 到 的 就 是 l i m i t ， 为 什 么 会 慢 ， 我 们 可 以 看 下 这 个 S Q L ： s e l e c t * f r o m   p u r c h a s e _ r e c o r d   w h e r e   p r o d u c t C o d e   = P A 9 0 4 4 a n d s t a t u s = 4 o r d e r b y   o r d e r T i m e   d e s c l i m i t 1 0 0 0 0 0 , 2 0 0 l i m i t 1 0 0 0 0 0 , 2 0 0 意 味 着 会 扫 描 1 0 0 2 0 0 行 ， 然 后 返 回 2 0 0 行 ， 丢 弃 掉 前 1 0 0 0 0 0 行 。 
 所 以 执 行 速 度 很 慢 。 
 一 般 可 以 采 用 标 签 记 录 法 来 优 化 ， 比 如 ： s e l e c t * f r o m   p u r c h a s e _ r e c o r d   w h e r e   p r o d u c t C o d e   = P A 9 0 4 4 a n d s t a t u s = 4 a n d   i d   > 1 0 0 0 0 0 l i m i t 2 0 0 这 样 优 化 的 好 处 是 命 中 了 主 键 索 引 ， 无 论 多 少 页 ， 性 能 都 还 不 错 ， 但 是 局 限 性 是 需 要 一 个 连 续 自 增 的 字 段 1 1 . S Q L 优 化 s q l 优 化 能 大 幅 提 高 接 口 的 查 询 性 能 ， 由 于 本 文 重 点 讲 述 接 口 优 化 的 方 案 ， 具 体 s q l 优 化 不 再 一 一 列 举 ， 小 伙 伴 们 可 以 结 合 索 引 、 分 页 、 等 关 注 点 考 虑 优 化 方 案 。 
 1 2 . 锁 粒 度 避 免 过 粗 锁 一 般 是 为 了 在 高 并 发 场 景 下 保 护 共 享 资 源 采 用 的 一 种 手 段 ， 但 是 如 果 锁 的 粒 度 太 粗 ， 会 很 影 响 接 口 性 能 。 
 关 于 锁 粒 度 ： 就 是 你 要 锁 的 范 围 有 多 大 ， 不 管 是 s y n c h r o n i z e d 还 是 r e d i s 分 布 式 锁 ， 只 需 要 在 临 界 资 源 处 加 锁 即 可 ， 不 涉 及 共 享 资 源 的 ， 不 必 要 加 锁 ， 就 好 比 你 要 上 卫 生 间 ， 只 需 要 把 卫 生 间 的 门 锁 上 就 可 以 ， 不 需 要 把 客 厅 的 门 也 锁 上 。 
 错 误 的 加 锁 方 式 ： / / 非 共 享 资 源 p r i v a t e v o i d n o t S h a r e ( ) / / 共 享 资 源 p r i v a t e v o i d s h a r e ( ) p r i v a t e i n t w r o n g ( ) } 正 确 的 加 锁 方 式 ： / / 非 共 享 资 源 p r i v a t e v o i d n o t S h a r e ( ) / / 共 享 资 源 p r i v a t e v o i d s h a r e ( ) p r i v a t e i n t r i g h t ( ) } 三 、 最 后 我 相 信 很 多 接 口 的 效 率 问 题 不 是 一 朝 一 夕 形 成 的 ， 在 需 求 迭 代 的 过 程 中 ， 为 了 需 求 快 速 上 线 ， 采 取 直 接 累 加 代 码 的 方 式 去 实 现 功 能 ， 这 样 会 造 成 以 上 这 些 接 口 性 能 问 题 。 
 变 换 思 路 ， 更 高 一 级 思 考 问 题 ， 站 在 接 口 设 计 者 的 角 度 去 开 发 需 求 ， 会 避 免 很 多 这 样 的 问 题 ， 也 是 降 本 增 效 的 一 种 行 之 有 效 的 方 式 。 
 设 计 一 个 高 流 量 高 并 发 的 系 统 ， 有 哪 些 要 点 ？ 1 、 设 计 原 则 1 . 1 、 系 统 设 计 原 则 在 设 计 一 个 系 统 之 前 ， 我 们 先 要 有 一 个 统 一 且 清 晰 的 认 知 ： 不 要 想 着 一 下 就 能 设 计 出 完 美 的 系 统 ， 好 的 系 统 是 迭 代 出 来 的 。 
 不 要 复 杂 化 ， 要 先 解 决 核 心 问 题 。 
 但 是 要 有 先 行 的 规 划 ， 对 现 有 的 问 题 有 方 案 ， 对 未 来 系 统 有 预 案 。 
 在 设 计 高 并 发 的 系 统 时 要 遵 循 以 下 几 个 原 则 ： 无 状 态 原 则 什 么 是 无 状 态 ？ 服 务 器 不 保 存 状 态 ， 对 单 次 请 求 的 处 理 不 依 赖 别 的 请 求 就 是 无 状 态 ， 主 要 是 为 了 在 应 对 高 并 发 时 方 便 水 平 扩 展 。 
 拆 分 原 则 在 我 们 的 系 统 体 积 过 于 庞 大 或 者 承 载 不 了 大 量 的 请 求 时 ， 就 要 考 虑 拆 分 系 统 ， 将 复 杂 问 题 简 单 化 或 将 流 量 分 散 不 同 子 系 统 分 担 压 力 。 
 可 以 按 照 以 下 几 个 维 度 进 行 拆 分 ： 系 统 维 度 ：   比 如 电 商 系 统 ， 我 们 可 以 拆 分 成 商 品 、 支 付 、 优 惠 券 多 个 子 系 统 。 
 功 能 维 度 ：   将 系 统 按 功 能 再 次 拆 分 。 
 读 写 维 度 ：   按 照 读 写 比 例 将 服 务 拆 分 成 读 服 务 和 写 服 务 。 
 模 块 维 度 ：   将 系 统 按 照 基 础 架 构 、 消 息 队 列 、 分 库 分 表 、 组 件 等 模 块 进 行 拆 分 维 护 。 
 服 务 化 原 则 当 我 们 的 系 统 被 拆 分 的 足 够 大 时 ， 一 旦 发 生 故 障 靠 人 工 来 处 理 是 非 常 耗 时 耗 力 。 
 这 个 时 候 就 可 以 通 过 注 册 发 现 、 限 流 、 熔 断 、 降 级 等 方 案 让 每 个 服 务 可 以 自 己 处 理 问 题 来 帮 助 我 们 减 少 排 障 成 本 。 
 1 . 2 、 业 务 设 计 原 则 在 进 行 业 务 设 计 时 要 遵 循 一 些 最 基 本 的 原 则 比 如 ： 防 重 原 则 在 某 些 场 景 下 要 防 止 用 户 重 复 操 作 ， 例 如 ： 用 户 注 册 、 用 户 下 单 、 用 户 支 付 等 。 
 我 们 需 要 在 客 户 端 和 服 务 端 有 一 些 方 案 避 免 这 种 问 题 。 
 模 块 复 用 原 则 在 业 务 中 每 个 功 能 多 多 少 少 是 有 联 系 的 ， 在 设 计 的 时 候 模 块 尽 量 要 独 立 ， 其 他 模 块 直 接 调 用 即 可 ， 调 用 减 少 代 码 的 冗 余 。 
 可 追 溯 原 则 在 程 序 的 运 行 中 避 免 不 了 业 务 问 题 以 及 故 障 的 发 生 ， 但 是 我 们 可 以 通 过 日 志 的 方 式 快 速 定 位 问 题 ， 做 到 有 据 可 查 。 
 反 馈 原 则 系 统 对 用 户 的 响 应 应 该 是 具 体 、 详 细 的 ， 举 一 个 很 简 单 的 例 子 ， 用 户 登 录 失 败 后 应 该 反 馈 给 用 户 的 是 “ 用 户 名 错 误 ” 或 者 “ 密 码 错 误 ” ， 而 不 是 “ 登 录 失 败 ” 。 
 备 份 原 则 做 好 代 码 备 份 、 数 据 备 份 以 及 人 员 备 份 。 
 基 于 S p r i n g B o o t + M y B a t i s P l u s + V u e d n s p r e f e t c h   h r e f = w w w . b a i d u . c o m   > p r e l o a d   h r e f = . . j s   >   h r e f = . . j s   > 基 于 S p r i n g C l o u d A l i b a b a + G a t e w a y + N a c o s + R o c k e t M Q + V u e                 m a p . p u t ( m e s s a g e ,   全 局 异 常 处 理   +   e . g e t M e s s a g e ( ) ) ;                 r e t u r n   m a p ;         } } 3 5 . 我 们 如 何 监 视 所 有 S p r i n g B o o t 微 服 务 ？ S p r i n g B o o t 提 供 监 视 器 端 点 以 监 控 各 个 微 服 务 的 度 量 。 
 这 些 端 点 对 于 获 取 有 关 应 用 程 序 的 信 息 （ 如 它 们 是 否 已 启 动 ） 以 及 它 们 的 组 件 （ 如 数 据 库 等 ） 是 否 正 常 运 行 很 有 帮 助 。 
 但 是 ， 使 用 监 视 器 的 一 个 主 要 缺 点 或 困 难 是 ， 我 们 必 须 单 独 打 开 应 用 程 序 的 知 识 点 以 了 解 其 状 态 或 健 康 状 况 。 
 想 象 一 下 涉 及 5 0 个 应 用 程 序 的 微 服 务 ， 管 理 员 将 不 得 不 击 中 所 有 5 0 个 应 用 程 序 的 执 行 终 端 。 
 为 了 帮 助 我 们 处 理 这 种 情 况 ， 我 们 将 使 用 位 于   h t t p s : / / g i t h u b . c o m / c o d e c e n t r i c / s p r i n g b o o t a d m i n   的 开 源 项 目 。 
 它 建 立 在   S p r i n g B o o t A c t u a t o r   之 上 ， 它 提 供 了 一 个 W e b U I ， 使 我 们 能 够 可 视 化 多 个 应 用 程 序 的 度 量 。 
 3 6 . S p r i n g B o o t 性 能 如 何 优 化 ？ 一 、 优 化 注 解   @ S p r i n g B o o t A p p l i c a t i o n @ S p r i n g B o o t A p p l i c a t i o n `   是 S p r i n g b o o t   整 合 的 一 个 复 合 注 解 ， 作 用 相 当 于   ` @ C o n f i g u r a t i o n   +   @ E n a b l e A u t o C o n f i g u r a t i o n   +   @ C o m p o n e n t S c a n 由 于 其 中 包 括 有 包 扫 描 的 注 解   @ C o m p o n e n t S c a n   ， 这 会 导 致 项 目 启 动 时 间 变 长 （ 启 动 一 个 大 的 应 用 程 序 或 做 大 量 的 集 成 测 试 启 动 应 用 程 序 时 ， 影 响 会 特 别 明 显 ） ， 会 加 载 一 些 多 余 的 实 例 （ B e a n s ） ， 也 会 增 加 C P U 消 耗 。 
 所 以 可 以 将   @ S p r i n g B o o t A p p l i c a t i o n   注 解 改 为   @ E n a b l e A u t o C o n f i g u r a t i o n + @ C o n f i g u r a t i o n + 在 我 们 需 要 的 b e a n 上 进 行 显 式 配 置 注 解 。 
 二 、 将 S e r v l e t 容 器 由 T o m c a t 变 成 U n d e r t o w 三 、 J V M 调 优 3 7 . 如 何 重 新 加 载 S p r i n g B o o t 上 的 更 改 ， 而 无 需 重 新 启 动 服 务 器 ？ S p r i n g B o o t 项 目 如 何 热 部 署 ？ 这 可 以 使 用 D E V 工 具 来 实 现 。 
 通 过 这 种 依 赖 关 系 ， 您 可 以 节 省 任 何 更 改 ， 嵌 入 式 t o m c a t 将 重 新 启 动 。 
 S p r i n g B o o t 有 一 个 开 发 工 具 （ D e v T o o l s ） 模 块 ， 它 有 助 于 提 高 开 发 人 员 的 生 产 力 。 
 J a v a 开 发 人 员 面 临 的 一 个 主 要 挑 战 是 将 文 件 更 改 自 动 部 署 到 服 务 器 并 自 动 重 启 服 务 器 。 
 开 发 人 员 可 以 重 新 加 载 S p r i n g B o o t 上 的 更 改 ， 而 无 需 重 新 启 动 服 务 器 。 
 这 将 消 除 每 次 手 动 部 署 更 改 的 需 要 。 
 S p r i n g B o o t 在 发 布 它 的 第 一 个 版 本 时 没 有 这 个 功 能 。 
 这 是 开 发 人 员 最 需 要 的 功 能 。 
 D e v T o o l s 模 块 完 全 满 足 开 发 人 员 的 需 求 。 
 该 模 块 将 在 生 产 环 境 中 被 禁 用 。 
 它 还 提 供 H 2 数 据 库 控 制 台 以 更 好 地 测 试 应 用 程 序 。 
 3 8 . S p r i n g B o o t 微 服 务 中 如 何 实 现 s e s s i o n 共 享 ? 在 微 服 务 中 ， 一 个 完 整 的 项 目 被 拆 分 成 多 个 不 相 同 的 独 立 的 服 务 ， 各 个 服 务 独 立 部 署 在 不 同 的 服 务 器 上 ， 各 自 的 s e s s i o n 被 从 物 理 空 间 上 隔 离 开 了 ， 但 是 经 常 ， 我 们 需 要 在 不 同 微 服 务 之 间 共 享 s e s s i o n ， 常 见 的 方 案 就 是 S p r i n g S e s s i o n + R e d i s 来 实 现 s e s s i o n 共 享 。 
 将 所 有 微 服 务 的 s e s s i o n 统 一 保 存 在 R e d i s 上 ， 当 各 个 微 服 务 对 s e s s i o n 有 相 关 的 读 写 操 作 时 ， 都 去 操 作 R e d i s 上 的 s e s s i o n 。 
 这 样 就 实 现 了 s e s s i o n 共 享 ， S p r i n g S e s s i o n 基 于 S p r i n g 中 的 代 理 过 滤 器 实 现 ， 使 得 s e s s i o n 的 同 步 操 作 对 开 发 人 员 而 言 是 透 明 的 ， 非 常 简 便 。 
   o r g . s p r i n g f r a m e w o r k . b o o t   s p r i n g b o o t d e v t o o l s 3 9 . 您 使 用 了 哪 些 s t a r t e r m a v e n 依 赖 项 ？ 使 用 了 下 面 的 一 些 依 赖 项 s p r i n g b o o t s t a r t e r w e b   嵌 入 t o m c a t 和 w e b 开 发 需 要 s e r v l e t 与 j s p 支 持 s p r i n g b o o t s t a r t e r d a t a j p a   数 据 库 支 持 s p r i n g b o o t s t a r t e r d a t a r e d i s   r e d i s 数 据 库 支 持 s p r i n g b o o t s t a r t e r d a t a s o l r   s o l r 支 持 m y b a t i s s p r i n g b o o t s t a r t e r   第 三 方 的 m y b a t i s 集 成 s t a r t e r 4 0 . S p r i n g B o o t 中 的 s t a r t e r 到 底 是 什 么 ? 这 个 S t a r t e r 并 非 什 么 新 的 技 术 点 ， 基 本 上 还 是 基 于 S p r i n g 已 有 功 能 来 实 现 的 。 
 首 先 它 提 供 了 一 个 自 动 化 配 置 类 ， 一 般 命 名 为   X X X A u t o C o n f i g u r a t i o n   ， 在 这 个 配 置 类 中 通 过 条 件 注 解 来 决 定 一 个 配 置 是 否 生 效 （ 条 件 注 解 就 是 S p r i n g 中 原 本 就 有 的 ） ， 然 后 它 还 会 提 供 一 系 列 的 默 认 配 置 ， 也 允 许 开 发 者 根 据 实 际 情 况 自 定 义 相 关 配 置 ， 然 后 通 过 类 型 安 全 的 属 性 注 入 将 这 些 配 置 属 性 注 入 进 来 ， 新 注 入 的 属 性 会 代 替 掉 默 认 属 性 。 
 正 因 为 如 此 ， 很 多 第 三 方 框 架 ， 我 们 只 需 要 引 入 依 赖 就 可 以 直 接 使 用 了 。 
 当 然 ， 开 发 者 也 可 以 自 定 义 S t a r t e r 4 1 . S p r i n g B o o t 中 如 何 实 现 定 时 任 务 ? 在 S p r i n g B o o t 中 使 用 定 时 任 务 主 要 有 两 种 不 同 的 方 式 ， 一 个 就 是 使 用 S p r i n g 中 的   @ S c h e d u l e d 注 解 ， 另 一 个 则 是 使 用 第 三 方 框 架 Q u a r t z 。 
 使 用 S p r i n g 中 的   @ S c h e d u l e d   的 方 式 主 要 通 过   @ S c h e d u l e d   注 解 来 实 现 。 
 4 2 . s p r i n g b o o t s t a r t e r p a r e n t 有 什 么 用 ? 我 们 都 知 道 ， 新 创 建 一 个 S p r i n g B o o t 项 目 ， 默 认 都 是 有 p a r e n t 的 ， 这 个 p a r e n t 就 是   s p r i n g b o o t s t a r t e r p a r e n t   ， s p r i n g b o o t s t a r t e r p a r e n t   主 要 有 如 下 作 用 ： 定 义 了 J a v a 编 译 版 本 为 1 . 8 。 
 使 用 U T F 8 格 式 编 码 。 
 继 承 自   s p r i n g b o o t d e p e n d e n c i e s ， 这 个 里 边 定 义 了 依 赖 的 版 本 ， 也 正 是 因 为 继 承 了 这 个 依 赖 ， 所 以 我 们 在 写 依 赖 时 才 不 需 要 写 版 本 号 。 
 执 行 打 包 操 作 的 配 置 。 
 自 动 化 的 资 源 过 滤 。 
 自 动 化 的 插 件 配 置 。 
 针 对   a p p l i c a t i o n . p r o p e r t i e s   和   a p p l i c a t i o n . y m l   的 资 源 过 滤 ， 包 括 通 过 p r o f i l e 定 义 的 不 同 环 境 的 配 置 文 件 ， 例 如   a p p l i c a t i o n d e v . p r o p e r t i e s   和   a p p l i c a t i o n d e v . y m l 。 
 总 结 就 是 打 包 用 的 4 3 . S p r i n g B o o t 如 何 实 现 打 包 ? 进 入 项 目 目 录 在 控 制 台 输 入 m v n c l e a n p a c k a g e ， c l e a n 是 清 空 已 存 在 的 项 目 包 ， p a c k a g e 进 行 打 包 ； 或 者 点 击 左 边 选 项 栏 中 的 M a v e n ， 先 点 击 c l e a n 在 点 击 p a c k a g e 4 4 . S p r i n g B o o t 打 成 的 j a r 和 普 通 的 j a r 有 什 么 区 别 ? S p r i n g B o o t 项 目 最 终 打 包 成 的 j a r 是 可 执 行 j a r ， 这 种 j a r 可 以 直 接 通 过   j a v a j a r x x x . j a r   命 令 来 运 行 ， 这 种 j a r 不 可 以 作 为 普 通 的 j a r 被 其 他 项 目 依 赖 ， 即 使 依 赖 了 也 无 法 使 用 其 中 的 类 。 
 S p r i n g B o o t 的 j a r 无 法 被 其 他 项 目 依 赖 ， 主 要 还 是 他 和 普 通 j a r 的 结 构 不 同 。 
 普 通 的 j a r 包 ， 解 压 后 直 接 就 是 包 名 ， 包 里 就 是 我 们 的 代 码 ， 而 S p r i n g B o o t 打 包 成 的 可 执 行 j a r 解 压 后 ， 在   \ \ B O O T I N F \ \ c l a s s e s   目 录 下 才 是 我 们 的 代 码 ， 因 此 无 法 被 直 接 引 用 。 
 如 果 非 要 引 用 ， 可 以 在   复 制 搜 一 搜 分 享 收 藏 划 线 人 划 线 高 并 发 系 统 设 计 的 1 5 个 锦 囊 如 何 理 解 高 并 发 系 统 所 谓 设 计 高 并 发 系 统 ， 就 是 设 计 一 个 系 统 ， 保 证 它 整 体 可 用 的 同 时 ， 能 够 处 理 很 高 的 并 发 用 户 请 求 ， 能 够 承 受 很 大 的 流 量 冲 击 。 
 我 们 要 设 计 高 并 发 的 系 统 ， 那 就 需 要 处 理 好 一 些 常 见 的 系 统 瓶 颈 问 题 ， 如 内 存 不 足 、 磁 盘 空 间 不 足 ， 连 接 数 不 够 ， 网 络 宽 带 不 够 等 等 ， 以 应 对 突 发 的 流 量 洪 峰 。 
 1 . 分 而 治 之 ， 横 向 扩 展 如 果 你 只 部 署 一 个 应 用 ， 只 部 署 一 台 服 务 器 ， 那 能 扛 住 的 流 量 请 求 是 非 常 有 限 的 。 
 并 且 ， 单 体 的 应 用 ， 有 单 点 的 风 险 ， 如 果 它 挂 了 ， 那 服 务 就 不 可 用 了 。 
 因 此 ， 设 计 一 个 高 并 发 系 统 ， 我 们 可 以 分 而 治 之 ， 横 向 扩 展 。 
 也 就 是 说 ， 采 用 分 布 式 部 署 的 方 式 ， 部 署 多 台 服 务 器 ， 把 流 量 分 流 开 ， 让 每 个 服 务 器 都 承 担 一 部 分 的 并 发 和 流 量 ， 提 升 整 体 系 统 的 并 发 能 力 。 
 2 . 微 服 务 拆 分 （ 系 统 拆 分 ） 要 提 高 系 统 的 吞 吐 ， 提 高 系 统 的 处 理 并 发 请 求 的 能 力 。 
 除 了 采 用 分 布 式 部 署 的 方 式 外 ， 还 可 以 做 微 服 务 拆 分 ， 这 样 就 可 以 达 到 分 摊 请 求 流 量 的 目 的 ， 提 高 了 并 发 能 力 。 
 所 谓 的 微 服 务 拆 分 ， 其 实 就 是 把 一 个 单 体 的 应 用 ， 按 功 能 单 一 性 ， 拆 分 为 多 个 服 务 模 块 。 
 比 如 一 个 电 商 系 统 ， 拆 分 为 用 户 系 统 、 订 单 系 统 、 商 品 系 统 等 等 。 
 3 . 分 库 分 表 当 业 务 量 暴 增 的 话 ， M y S Q L 单 机 磁 盘 容 量 会 撑 爆 。 
 并 且 ， 我 们 知 道 数 据 库 连 接 数 是 有 限 的 。 
 在 高 并 发 的 场 景 下 ， 大 量 请 求 访 问 数 据 库 ， M y S Q L 单 机 是 扛 不 住 的 ！ 高 并 发 场 景 下 ， 会 出 现 t o o m a n y c o n n e c t i o n s 报 错 。 
 所 以 高 并 发 的 系 统 ， 需 要 考 虑 拆 分 为 多 个 数 据 库 ， 来 扛 住 高 并 发 的 毒 打 。 
 而 假 如 你 的 单 表 数 据 量 非 常 大 ， 存 储 和 查 询 的 性 能 就 会 遇 到 瓶 颈 了 ， 如 果 你 做 了 很 多 优 化 之 后 还 是 无 法 提 升 效 率 的 时 候 ， 就 需 要 考 虑 做 分 表 了 。 
 一 般 千 万 级 别 数 据 量 ， 就 需 要 分 表 ， 每 个 表 的 数 据 量 少 一 点 ， 提 升 S Q L 查 询 性 能 。 
 当 面 试 官 问 要 求 你 设 计 一 个 高 并 发 系 统 的 时 候 ， 一 般 都 要 说 到 分 库 分 表 这 个 点 。 
 之 前 写 了 分 库 分 表 1 5 连 问 ， 为 了 应 对 面 试 官 追 问 到 底 ， 大 家 可 以 顺 便 复 习 一 下 分 库 分 表 的 相 关 经 典 面 试 题 哈 ， 可 以 看 我 这 篇 文 章 ： 分 库 分 表 经 典 1 5 连 问 4 . 池 化 技 术 在 高 并 发 的 场 景 下 ， 数 据 库 连 接 数 可 能 成 为 瓶 颈 ， 因 为 连 接 数 是 有 限 的 。 
 我 们 的 请 求 调 用 数 据 库 时 ， 都 会 先 获 取 数 据 库 的 连 接 ， 然 后 依 靠 这 个 连 接 来 查 询 数 据 ， 搞 完 收 工 ， 最 后 关 闭 连 接 ， 释 放 资 源 。 
 如 果 我 们 不 用 数 据 库 连 接 池 的 话 ， 每 次 执 行 S Q L ， 都 要 创 建 连 接 和 销 毁 连 接 ， 这 就 会 导 致 每 个 查 询 请 求 都 变 得 更 慢 了 ， 相 应 的 ， 系 统 处 理 用 户 请 求 的 能 力 就 降 低 了 。 
 因 此 ， 需 要 使 用 池 化 技 术 ， 即 数 据 库 连 接 池 、 H T T P 连 接 池 、 R e d i s 连 接 池 等 等 。 
 使 用 数 据 库 连 接 池 ， 可 以 避 免 每 次 查 询 都 新 建 连 接 ， 减 少 不 必 要 的 资 源 开 销 ， 通 过 复 用 连 接 池 ， 提 高 系 统 处 理 高 并 发 请 求 的 能 力 。 
 同 理 ， 我 们 使 用 线 程 池 ， 也 能 让 任 务 并 行 处 理 ， 更 高 效 地 完 成 任 务 。 
 大 家 可 以 看 下 我 之 前 线 程 池 的 这 篇 文 章 ， 到 时 候 面 试 官 问 到 这 块 时 ， 刚 好 可 以 扩 展 开 来 讲 面 试 必 备 ： J a v a 线 程 池 解 析 细 数 线 程 池 的 1 0 个 坑 5 . 主 从 分 离 通 常 来 说 ， 一 台 单 机 的 M y S Q L 服 务 器 ， 可 以 支 持 5 0 0 左 右 的 T P S 和 1 0 0 0 0 左 右 的 Q P S ， 即 单 机 支 撑 的 请 求 访 问 是 有 限 的 。 
 因 此 你 做 了 分 布 式 部 署 ， 部 署 了 多 台 机 器 ， 部 署 了 主 数 据 库 、 从 数 据 库 。 
 但 是 ， 如 果 双 十 一 搞 活 动 ， 流 量 肯 定 会 猛 增 的 。 
 如 果 所 有 的 查 询 请 求 ， 都 走 主 库 的 话 ， 主 库 肯 定 扛 不 住 ， 因 为 查 询 请 求 量 是 非 常 非 常 大 的 。 
 因 此 一 般 都 要 求 做 主 从 分 离 ， 然 后 实 时 性 要 求 不 高 的 读 请 求 ， 都 去 读 从 库 ， 写 的 请 求 或 者 实 时 性 要 求 高 的 请 求 ， 才 走 主 库 。 
 这 样 就 很 好 保 护 了 主 库 ， 也 提 高 了 系 统 的 吞 吐 。 
 当 然 ， 如 果 回 答 了 主 从 分 离 ， 面 试 官 可 能 扩 展 开 问 你 主 从 复 制 原 理 ， 问 你 主 从 延 迟 问 题 等 等 ， 这 块 大 家 需 要 全 方 位 复 习 好 哈 。 
 可 以 去 看 看 我 之 前 的 这 篇 文 章 面 试 必 备 ： 聊 聊 M y S Q L 的 主 从 6 . 使 用 缓 存 无 论 是 操 作 系 统 ， 浏 览 器 ， 还 是 一 些 复 杂 的 中 间 件 ， 你 都 可 以 看 到 缓 存 的 影 子 。 
 我 们 使 用 缓 存 ， 主 要 是 提 升 系 统 接 口 的 性 能 ， 这 样 高 并 发 场 景 ， 你 的 系 统 就 可 以 支 持 更 多 的 用 户 同 时 访 问 。 
 常 用 的 缓 存 包 括 ： R e d i s 缓 存 ， J V M 本 地 缓 存 ， m e m c a c h e d 等 等 。 
 就 拿 R e d i s 来 说 ， 它 单 机 就 能 轻 轻 松 松 应 对 几 万 的 并 发 ， 你 读 场 景 的 业 务 ， 可 以 用 缓 存 来 扛 高 并 发 。 
 缓 存 虽 然 用 得 爽 ， 但 是 要 注 意 缓 存 使 用 的 一 些 问 题 ： 缓 存 与 数 据 库 的 一 致 性 问 题 缓 存 雪 崩 缓 存 穿 透 缓 存 击 穿 如 果 大 家 打 算 使 用 R e d i s 的 话 ， 需 要 知 道 一 些 注 意 点 ， 可 以 看 下 我 之 前 的 这 篇 文 章 哈 ， 挺 好 的 。 
 使 用 R e d i s ， 你 必 须 知 道 的 2 1 个 注 意 要 点 7 . C D N ， 加 速 静 态 资 源 访 问 商 品 图 片 ， i c o n 等 等 静 态 资 源 ， 可 以 对 页 面 做 静 态 化 处 理 ， 减 少 访 问 服 务 端 的 请 求 。 
 如 果 用 户 分 布 在 全 国 各 地 ， 有 的 在 上 海 ， 有 的 在 深 圳 ， 地 域 相 差 很 远 ， 网 速 也 各 不 相 同 。 
 为 了 让 用 户 最 快 访 问 到 页 面 ， 可 以 使 用 C D N 。 
 C D N 可 以 让 用 户 就 近 获 取 所 需 内 容 。 
 什 么 是 C D N ？ C o n t e n t D e l i v e r y N e t w o r k / C o n t e n t D i s t r i b u t i o n N e t w o r k , 翻 译 过 来 就 是 内 容 分 发 网 络 ， 它 表 示 将 静 态 资 源 分 发 到 位 于 多 个 地 理 位 置 机 房 的 服 务 器 ， 可 以 做 到 数 据 就 近 访 问 ， 加 速 了 静 态 资 源 的 访 问 速 度 ， 因 此 让 系 统 更 好 地 处 理 别 的 动 态 请 求 。 
 8 . 消 息 队 列 ， 削 锋 我 们 搞 一 些 双 十 一 、 双 十 二 等 运 营 活 动 时 ， 需 要 避 免 流 量 暴 涨 ， 打 垮 应 用 系 统 的 风 险 。 
 因 此 一 般 会 引 入 消 息 队 列 ， 来 应 对 高 并 发 的 场 景 。 
 假 设 你 的 应 用 系 统 每 秒 最 多 可 以 处 理 2 k 个 请 求 ， 每 秒 却 有 5 k 的 请 求 过 来 ， 可 以 引 入 消 息 队 列 ， 应 用 系 统 每 秒 从 消 息 队 列 拉 2 k 请 求 处 理 得 了 。 
 有 些 伙 伴 担 心 这 样 可 能 会 出 现 消 息 积 压 的 问 题 ： 首 先 ， 搞 一 些 运 营 活 动 ， 不 会 每 时 每 刻 都 那 么 多 请 求 过 来 你 的 系 统 （ 除 非 有 人 恶 意 攻 击 ） ， 高 峰 期 过 去 后 ， 积 压 的 请 求 可 以 慢 慢 处 理 ； 其 次 ， 如 果 消 息 队 列 长 度 超 过 最 大 数 量 ， 可 以 直 接 抛 弃 用 户 请 求 或 跳 转 到 错 误 页 面 ； 9 . E l a s t i c S e a r c h E l a s t i c s e a r c h ， 大 家 都 使 用 得 比 较 多 了 吧 ， 一 般 搜 索 功 能 都 会 用 到 它 。 
 它 是 一 个 分 布 式 、 高 扩 展 、 高 实 时 的 搜 索 与 数 据 分 析 引 擎 ， 简 称 为 E S 。 
 我 们 在 聊 高 并 发 ， 为 啥 聊 到 E S 呢 ？ 因 为 E S 可 以 扩 容 方 便 ， 天 然 支 撑 高 并 发 。 
 当 数 据 量 大 的 时 候 ， 不 用 动 不 动 就 加 机 器 扩 容 ， 分 库 等 等 ， 可 以 考 虑 用 E S 来 支 持 简 单 的 查 询 搜 索 、 统 计 类 的 操 作 。 
 1 0 . 降 级 熔 断 熔 断 降 级 是 保 护 系 统 的 一 种 手 段 。 
 当 前 互 联 网 系 统 一 般 都 是 分 布 式 部 署 的 。 
 而 分 布 式 系 统 中 偶 尔 会 出 现 某 个 基 础 服 务 不 可 用 ， 最 终 导 致 整 个 系 统 不 可 用 的 情 况 , 这 种 现 象 被 称 为 服 务 雪 崩 效 应 。 
 比 如 分 布 式 调 用 链 路 A B C . . . . ， 下 图 所 示 ： 如 果 服 务 C 出 现 问 题 ， 比 如 是 因 为 慢 S Q L 导 致 调 用 缓 慢 ， 那 将 导 致 B 也 会 延 迟 ， 从 而 A 也 会 延 迟 。 
 堵 住 的 A 请 求 会 消 耗 占 用 系 统 的 线 程 、 I O 、 C P U 等 资 源 。 
 当 请 求 A 的 服 务 越 来 越 多 ， 占 用 计 算 机 的 资 源 也 越 来 越 多 ， 最 终 会 导 致 系 统 瓶 颈 出 现 ， 造 成 其 他 的 请 求 同 样 不 可 用 ， 最 后 导 致 业 务 系 统 崩 溃 。 
 为 了 应 对 服 务 雪 崩 , 常 见 的 做 法 是 熔 断 和 降 级 。 
 最 简 单 是 加 开 关 控 制 ， 当 下 游 系 统 出 问 题 时 ， 开 关 打 开 降 级 ， 不 再 调 用 下 游 系 统 。 
 还 可 以 选 用 开 源 组 件 H y s t r i x 来 支 持 。 
 你 要 保 证 设 计 的 系 统 能 应 对 高 并 发 场 景 ， 那 肯 定 要 考 虑 熔 断 降 级 逻 辑 进 来 。 
 1 1 . 限 流 限 流 也 是 我 们 应 对 高 并 发 的 一 种 方 案 。 
 我 们 当 然 希 望 ， 在 高 并 发 大 流 量 过 来 时 ， 系 统 能 全 部 请 求 都 正 常 处 理 。 
 但 是 有 时 候 没 办 法 ， 系 统 的 C P U 、 网 络 带 宽 、 内 存 、 线 程 等 资 源 都 是 有 限 的 。 
 因 此 ， 我 们 要 考 虑 限 流 。 
 如 果 你 的 系 统 每 秒 扛 住 的 请 求 是 一 千 ， 如 果 一 秒 钟 来 了 十 万 请 求 呢 ？ 换 个 角 度 就 是 说 ， 高 并 发 的 时 候 ， 流 量 洪 峰 来 了 ， 超 过 系 统 的 承 载 能 力 ， 怎 么 办 呢 ？ 这 时 候 ， 我 们 可 以 采 取 限 流 方 案 。 
 就 是 为 了 保 护 系 统 ， 多 余 的 请 求 ， 直 接 丢 弃 。 
 什 么 是 限 流 ： 在 计 算 机 网 络 中 ， 限 流 就 是 控 制 网 络 接 口 发 送 或 接 收 请 求 的 速 率 ， 它 可 防 止 D o S 攻 击 和 限 制 W e b 爬 虫 。 
 限 流 ， 也 称 流 量 控 制 。 
 是 指 系 统 在 面 临 高 并 发 ， 或 者 大 流 量 请 求 的 情 况 下 ， 限 制 新 的 请 求 对 系 统 的 访 问 ， 从 而 保 证 系 统 的 稳 定 性 。 
 可 以 使 用 G u a v a 的 R a t e L i m i t e r 单 机 版 限 流 ， 也 可 以 使 用 R e d i s 分 布 式 限 流 ， 还 可 以 使 用 阿 里 开 源 组 件 s e n t i n e l 限 流 。 
 面 试 的 时 候 ， 你 说 到 限 流 这 块 的 话 ？ 面 试 官 很 大 概 率 会 问 你 限 流 的 算 法 ， 因 此 ， 大 家 在 准 备 面 试 的 时 候 ， 需 要 复 习 一 下 这 几 种 经 典 的 限 流 算 法 哈 ， 可 以 看 下 我 之 前 的 这 篇 文 章 ， 面 试 必 备 ： 4 种 经 典 限 流 算 法 讲 解 1 2 . 异 步 回 忆 一 下 什 么 是 同 步 ， 什 么 是 异 步 呢 ？ 以 方 法 调 用 为 例 ， 它 代 表 调 用 方 要 阻 塞 等 待 被 调 用 方 法 中 的 逻 辑 执 行 完 成 。 
 这 种 方 式 下 ， 当 被 调 用 方 法 响 应 时 间 较 长 时 ， 会 造 成 调 用 方 长 久 的 阻 塞 ， 在 高 并 发 下 会 造 成 整 体 系 统 性 能 下 降 甚 至 发 生 雪 崩 。 
 异 步 调 用 恰 恰 相 反 ， 调 用 方 不 需 要 等 待 方 法 逻 辑 执 行 完 成 就 可 以 返 回 执 行 其 他 的 逻 辑 ， 在 被 调 用 方 法 执 行 完 毕 后 再 通 过 回 调 、 事 件 通 知 等 方 式 将 结 果 反 馈 给 调 用 方 。 
 因 此 ， 设 计 一 个 高 并 发 的 系 统 ， 需 要 在 恰 当 的 场 景 使 用 异 步 。 
 如 何 使 用 异 步 呢 ？ 后 端 可 以 借 用 消 息 队 列 实 现 。 
 比 如 在 海 量 秒 杀 请 求 过 来 时 ， 先 放 到 消 息 队 列 中 ， 快 速 响 应 用 户 ， 告 诉 用 户 请 求 正 在 处 理 中 ， 这 样 就 可 以 释 放 资 源 来 处 理 更 多 的 请 求 。 
 秒 杀 请 求 处 理 完 后 ， 通 知 用 户 秒 杀 抢 购 成 功 或 者 失 败 。 
 1 3 . 接 口 的 常 规 优 化 设 计 一 个 高 并 发 的 系 统 ， 需 要 设 计 接 口 的 性 能 足 够 好 ， 这 样 系 统 在 相 同 时 间 ， 就 可 以 处 理 更 多 的 请 求 。 
 当 说 到 这 里 的 话 ， 可 以 跟 面 试 官 说 说 接 口 优 化 的 一 些 方 案 了 。 
 大 家 可 以 看 下 我 的 这 篇 文 章 哈 : 实 战 总 结 ！ 1 8 种 接 口 优 化 方 案 的 总 结 1 4 . 压 力 测 试 确 定 系 统 瓶 颈 设 计 高 并 发 系 统 ， 离 不 开 最 重 要 的 一 环 ， 就 是 压 力 测 试 。 
 就 是 在 系 统 上 线 前 ， 需 要 对 系 统 进 行 压 力 测 试 ， 测 清 楚 你 的 系 统 支 撑 的 最 大 并 发 是 多 少 ， 确 定 系 统 的 瓶 颈 点 ， 让 自 己 心 里 有 底 ， 做 好 预 防 措 施 。 
 压 测 完 要 分 析 整 个 调 用 链 路 ， 性 能 可 能 出 现 问 题 是 网 络 层 （ 如 带 宽 ） 、 N g i n x 层 、 服 务 层 、 还 是 数 据 路 缓 存 等 中 间 件 等 等 。 
 l o a d r u n n e r 是 一 款 不 错 的 压 力 测 试 工 具 ， j m e t e r 则 是 接 口 性 能 测 试 工 具 ， 都 可 以 来 做 下 压 测 。 
 1 5 . 应 对 突 发 流 量 峰 值 ： 扩 容 + 切 流 量 如 果 是 突 发 的 流 量 高 峰 ， 除 了 降 级 、 限 流 保 证 系 统 不 跨 ， 我 们 可 以 采 用 这 两 种 方 案 ， 保 证 系 统 尽 可 能 服 务 用 户 请 求 ： 扩 容 ： 比 如 增 加 从 库 、 提 升 配 置 的 方 式 ， 提 升 系 统 / 组 件 的 流 量 承 载 能 力 。 
 比 如 增 加 M y S Q L 、 R e d i s 从 库 来 处 理 查 询 请 求 。 
 切 流 量 ： 服 务 多 机 房 部 署 ， 如 果 高 并 发 流 量 来 了 ， 把 流 量 从 一 个 机 房 切 换 到 另 一 个 机 房 。 
 复 制 搜 一 搜 分 享 收 藏 划 线 人 划 线 备 案 号 ： 粤 I C P 备 2 0 2 2 0 2 1 8 3 7 号 1
发表评论
站点推荐
成都寅鑫口腔门诊部_寅鑫口腔_郫都区刘其锦诊所_成都寅鑫口腔门诊部有限公司
成都寅鑫口腔门诊部有限公司开业至今已有30余年,在当地是一个颇有名气的牙科诊所.诊所医护人员技术力量雄厚,设备完善,既能完成一般的常规治疗,也能满足患者的需求.先进的牙科治疗和消毒仪器,保障您的就诊体验!联系电话:028-87866192
第五人格藏宝阁
第五人格藏宝阁，网易第五人格交易平台，每一笔交易都与游戏数据对应，支持多种支付方式。买号选装备，上第五人格藏宝阁。
思源水处理
氟化镁_氟化钙_二氧化硅光学镀膜材料-营口市荣兴达科技实业股份有限公司
营口市荣兴达科技实业有限公司主要产品分为超高纯氟化物、光学晶体材料、光学真空镀膜材料三大系列。专业涉及晶体生长、镀膜材料、特种有机硅、荧光材料及化工分析等领域;生产设备齐全，分析检测设备先进完备，生产能力强，年生产光学镀膜材料、单晶材料发光材料等产品2200余吨。
方盛智能印刷 - 印刷软件开发销售
PDF拼版软件、RIP软件、印刷拼版、排版、印刷、数字出版、数字印刷、CTP制版、CDR二次开发、企业网站建设、印刷打印软件
上海埃因电线电缆有限公司杭州分公司
网站描述
西安国学研究会
西安国学研究会于2019年12月正式挂牌成立，西安国学研究会是在西安社会科学界联合会、西安民政局领导的关怀和关心下，由国家研究机构、社团组织，国学专家、大学教授、博导、研究员、学者、实业家为成员的具有合法性、权威性的传播、研究国学的非营利性机构。
东阳市康贝嘉卫生用品有限公司
暂无描述...
首页 - 未来科技
首页
上海松冠食品有限公司
相关推荐
永安公交查询_永安公交车线路查询_永安公交地图 - 永安公交网
幼儿园房屋抗震结构_厂房房屋质量安全检测-广东建业检测鉴定
河北华丰工业集团有限公司
沈阳奇胜明道文化传媒有限公司
中国少儿美术网―专注少儿美术教育，打造专业少儿美术网站！▎ www.sems.cc - 书法啦导航网
东阁不锈钢_江苏东阁不锈钢_江苏东阁不锈钢制品有限公司
昆明丰田汽车零配件,云南皇冠CROWN汽车配件,凌志LS430配件,佳美CAMRY零件,大霸王PREVIA,普拉多PRADO-昆明源裕鑫汽配有限公司
一站式OEM压片糖果代加工贴牌源头工厂-预约可领样品 - 找品帮
热门推荐
常州捷豹空压机_镇江捷豹空压机_常州小彪捷豹机电有限公司
常州小彪捷豹机电有限公司主要供应常州捷豹空压机、镇江捷豹空压机、捷豹螺杆式空压机、捷豹风冷无油空压机。价格实惠，性能优异。
阀门_世伟洛克阀门_塞甫洛克阀门_飞托克阀门 - 【上海延甲阀门有限公司】
上海延甲阀门有限公司（https://mgswlk001.gys.cn）主营产品包括阀门、世伟洛克阀门、塞甫洛克阀门、飞托克阀门等,上海延甲阀门有限公司负责人许先生,上海延甲阀门有限公司希望能与您成为合作伙伴
深圳市欧可润滑油有限公司
暂无描述...
靳升遴选官网 - 遴选系统课程，助力中央、省直、地方遴选成功上岸！
靳升遴选官网，专注遴选培训，提供系统课程与高效备考服务，助力公务员、公职人员快速通关遴选考试。青云班系列课程针对中央遴选、省直遴选及地方遴选，精准匹配考试需求，强化笔试与面试能力，提升实战应试技巧。名师团队，精准押题，帮助学员高效备考、快速上岸！访问靳升遴选官网，开启学习之旅！
江苏冰醋酸_苏州代用酸_南通醋酸钠_上海液碱_浙江醋酸乙酯_昆山氯化钙_浙江苯甲醇_F113清洗剂-恒宏氟化工
常熟恒宏氟化工产品销售网络：苏州\常熟\张家港\江阴\无锡\南通\上海\昆山\江苏\浙江\广州\深圳\天津\福建及全国各地。主要生产冰醋酸、甲酸、代用酸、PH调节剂、印染用酸、醋酸钠、液碱、醋酸乙酯、氯化钙、硫酸、副产液碱、F113清洗剂、F113、三氟三氯乙烷、三氯三氟乙烷、F141B、F141B清洗剂、一氟二氯乙烷、二氯一氟乙烷、氢氟醚、全氟溶剂、全氟清洗剂、氟碳溶剂、氟碳清洗剂、六氟丙烯、六氟丙烯二聚体、六氟丙烯三聚体、防指纹油、苯甲醇、环氧稀释剂、氯化苄等化工产品。