Iawen's Blog

我喜欢这样自由的随手涂鸦,因为我喜欢风......

Hbase 集群的常见维护问题

Hadoop 常见问题,Hadoop元数据备份与恢复方案, hbase常见问题及数据备份与迁移,region合并与拆分,Thrift server 参数选择,Phoenix 二级索引等...

数据库 2021-01-22 15:31:48

Linux的安装与更新及基本设置

Linux 系统的U盘安装,磁盘分区、LVM的扩展与大硬盘的挂载,系统升级及安全更新(CentOS、Ubuntu)、SELinux已经内核的升级,系统优化,硬件信息查看等

操作系统 2021-01-22 11:24:15

Thrift API And Filter Language

使用Get或Scan操作从HBase读取数据时, 可以使用自定义过滤器将结果的子集返回给客户端. 虽然这不会减少服务器端IO, 但确实会减少网络带宽并减少客户端需要处理的数据量. 过滤器通常使用Java API使用, 但可以从HBase Shell中使用以进行测试和调试.

数据库 2021-01-22 11:10:02

利用ssh反向代理完成远程SHELL

这种ssh反向链接会因为超时而关闭,如果关闭了那从外网连通内网的通道就无法维持了

常用工具说明篇 2020-12-19 13:10:56

Linux 防火墙设置

防火墙设置。主要使用iptables, iptables 是一个通过控制 Linux 内核的 netfilter 模块来管理网络数据包的流动与转送的应用软件,其功能包括不仅仅包括防火墙的控制出入流量,还有端口转发等等。 尽量避免ufw与iptables同时使用

安全(WEB与软件) 2020-12-15 14:41:04

Linux 网络配置

常用网络配置和经网络检测, 包含:network, ip, sysctl, iptables, lsof, netstat, slabtop等

安全(WEB与软件) 2020-12-13 11:06:04

数据库两大必备神器:索引和锁底层原理是什么!

主要介绍了数据库中的两个比较重要的知识点:索引和锁。他俩可以说息息相关的,锁会涉及到很多关于索引的知识...哈希索引,聚集和非聚集索引,索引最左匹配原则,乐观锁和悲观锁,间隙锁GAP等

数据库 2020-12-06 16:55:16

压力及性能测试(Web & Database)

性能测试(Performance Test)和压力测试(Stress Test)的工具收集(ab, sysbench, ...)性能测试是一种“正常”测试,主要测试使用时系统是否满足要求, 压力测试的目标是测试在一定的负载下系统长时间运行的稳定性

服务器管理与架构 2020-12-06 12:40:59

使用 Docker 构建 Yapi(Api 接口管理)

YApi 是高效、易用、功能强大的 api 管理平台,旨在为开发、产品、测试人员提供更优雅的接口管理服务。可以帮助开发者轻松创建、发布、维护 API,YApi 还为用户提供了优秀的交互体验,开发人员只需利用平台提供的接口数据写入工具以及简单的点击操作就可以实现接口的管理。(yapi, api, docker)

服务器管理与架构 2020-12-06 12:04:38

关于Http协议,你必须要知道的

HTTP协议是Hyper Text Transfer Protocol(超文本传输协议)的缩写,是用于从万维网服务器传输超文本到本地浏览器的传送协议。HTTP 是基于 TCP/IP 协议通信协议来传递数据(HTML 文件, 图片文件, 查询结果等)。它不涉及数据包(packet)传输,主要规定了客户端和服务器之间的通信格式,默认使用80端口。

服务器管理与架构 2020-12-06 12:04:38

Bash 开放一二三事

Bash 脚本开发中可能会用到的点点滴滴,如sed、awk等的使用,全汇集到这篇Markdown

脚本语言 2020-12-06 12:04:38

Hbase 集群的搭建与日常操作

hbase是一款分布式的列式数据库,其数据源寄生在hadoop上,因而与hadoop共生,广泛应用在大数据领域,利用zookeeper作为其分布式协同服务,存储非结构化和半结构化的松散数据,其特点是高可靠,高性能,面向列,可伸缩,实时读写

数据库 2020-08-24 14:59:45

Websocket与Socker.IO比较与分析

为什么socketio不能兼容websocket呢?作为一名合格的工程师,不能知其然而不知其所以然,websocket是什么,它与socket.io有什么区别呢?他们又分别适合怎样的场景?为什么有了websocket还需要有socket.io?

服务器管理与架构 2020-08-08 11:54:32

分布式文件系统glusterfs部署搭建

GlusterFS是Scale-Out存储解决方案Gluster的核心,它是一个开源的分布式文件系统,具有强大的横向扩展能力,通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或InfiniBandRDMA网络将物理分布的存储资源聚集在一起,使用单一全局命名空间来管理数据。

服务器管理与架构 2020-07-24 14:16:54

安装MySQL与基本配置

MySQL的安装包安装与源码编译安装,配置文件my.cnf的一下基本设置,锁表的查看,主从的基本配置以及系统帐号和权限设置,密码与授权、重置密码等.MySql最左前缀原则,MySQL缓存

数据库 2020-05-18 10:53:23

Linux sendmail 详解

邮件服务器构成了电子邮件系统的核心。每个收信人都有一个位于某个邮件服务器上的邮箱(mailbox)。首先,当你将E-mail输入你的计算机开始发送时,计算机会根据SMTP协议和TCP/IP协议的要求将你的信“打包”

操作系统 2020-05-10 20:06:33

Go中的简单MapReduce

Hadoop MapReduce是一个软件框架.MapReduce 作业通常将输入数据集拆分为独立的块,这些任务由地图任务以完全并行的方式进行处理。今天,出于测试和学习的原因,我想在Go中编写一个简单的MapReduce作业。

编译语言 2020-05-09 22:17:21

Linux下编译程序

系统设置,环境变量,目标模块,归档生成静态库文件,在x64位Linux上生成动态链接库必须使用编译选项-fPIC的问题,查看依赖库...

编译语言 2020-05-06 21:35:26

Thrift和HBase 性能评价分析置

Thrift是Facebook开源出来的通信服务框架,典型的C/S架构模式,支持跨语言编程,例如Java, C++,Python等主流语言,能够友好地解决各大系统的数据通信问题和多种语言运行环境不同所引起的信息交互问题。Thrift采用一种IDL编码通信的方式,跟业界在以前通常采用的CORBA通信协议标准方式有点类似。它通过创建IDL文件,生成并编写相关代码文件,实现其相关的代码,编译装载即可使用。

数据库 2020-05-01 16:07:01

hbase基本配置及其各种性能调整参数配置

HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。

数据库 2020-05-01 14:21:18
1 2 3