Raft算法原理以及应用

Hadoop HDFS BlockManager解析

Hadoop HDFS 数据读写流程分析

Hadoop HDFS RPC通信框架

Hadoop HDFS 启动流程分析

前言

• 说到分布式软件，就一定绕不过Hadoop。
• Hadoop 是 Google 著名的 MapReduce 和 GFS 论文的开源实现，它为我们提供了一个分布式的数据存储和计算框架，能够让我们在低成本的PC设备上搭建一个大规模的分布式数据存储系统。
• 由于Hadoop的出现直接降低了大数据的存储和计算成本，可以说Hadoop以及他的整个生态环境拉开了大数据时代的大幕。
• Hadoop主要由 Hdfs, MapReduce 和 Yarn 三个大模块组成，我会基于 Hadoop 3.0.0 alpha2 的源码，分别解析一下这三个模块的代码逻辑。

Hdfs

• Hdfs(Hadoop Distributed File System)是Hadoop框架中的分布式存储系统，
• 主要关注点:
• Hdfs内部通信机制
• Hdfs的DFS实现机制
• Hdfs的数据冗余备份
• Hdfs的secondarynamenode和HA解析

[读书笔记]《sed and awk(2nd Edition)》

本文总结了 苏宁、美团点评、58到家、百度 在Elastic{ON}大会上分享的，基于Elasticsearch实践的几个案例。感谢这些热衷分享的工程师们的开源精神。

本文重点讨论基于5.4.3版本的ES在gradle构建项目的环境下如何做插件开发。

本文感谢 elasticsearch源码分析之plugin的开发 的精彩介绍，又梳理了其他相关内容。
以下讲述了基于maven构建的2.x版本es插件开发。重点讨论如何基于ActionFilter开发Filter类型的插件(同时拦截生效与Tcp,Http)，同时简述了插件开发简单流程。

本文简述了ES选举中应用相对于Paxos简单了许多的Bully算法，感谢elasticsearch的master选举机制,zenDiscovery和master选举的精彩介绍

本文对比的谈论了ES线程池(EsExecutors)和JVM线程池(Executors)的区别。

本文讨论了ES中的远程调用RPC部分的源码实现。

整个源码阅读基于ElasticSearch5.4.3，后续会整理成一个系列去逐步探索Elasticsearch的世界。
本文讨论了ES源码中广泛应用到的的Future模式。

本文比较全面的集中整理，总结了java集合框架jcf(Java Collection Framework)。

本文记录使用docker搭建elasticsearch集群的整个过程(文中使用的2.1.2举例)，过程亲测同样适用于elasticsearch2.x,5.x，后续作者将继续深入研究es，下一步准备基于此集群对源生elasticsearch(以下简称es)做改造测试。

文章集中整理总结mysql分库分表开源产品，分布式数据库的设计，以及实际应用案例等相关内容，部分附上本文作者实际应用过程中的理解。

本文感谢sjdbc，mycat，姜承尧，林涛等文章提供的精彩介绍。

本文讨论内容不包含秒杀，仅仅是最普遍的库存模型而已，重点讨论如何避免超卖，少卖。

本文记录工作中一次异构数十亿级别数据库的过程，数据源为mysql，目标介质为elasticsearch。

otter总结

文章简要记录部分常用git命令。本文感谢 廖雪峰 提供的详细git教程。

Elasticsearch查询优化

java锁总结

jvm总结，涉及到JVM结构，垃圾回收，类加载机制等。

mysql总结

阅读全文 »

mongo迁移mysql总结

docker的使用

disruptor总结

jmm总结

学习使用MarkDown，本文部分摘自温谦。

[总结]actor总结

maven总结

Elasticsearch使用总结

索引总结

Elasticsearch权威指南

好书读三遍

BIO-NIO-同步IO-异步IO

mysql事务的ACID

MySQL中隔离级别RC与RR的区别

阅读全文 »

Java相关名词

浅谈秒杀系统

CAP和BASE

本文将总结性的介绍如何建立自己的github.io博客，后续会持续补充，进阶。感谢baixin提供的参考文章。

并发数-吞吐量-响应时间

Elasticsearch同Solr对比

如何提高Elasticsearch性能

[总结]个人知识栈总结