SEO

添加title与alt

1

{% asset_img hello-world.png "title string 'alt string'" %}

Welcome to Hexo! This is your very first post. Check documentation for more info. If you get any problems when using Hexo, you can find the answer in troubleshooting or you can ask me on GitHub.

Quick Start

Create a new post

1

$ hexo new "My New Post"

More info: Writing

Flume在大数据环境下，通常用来进行数据的搬运，它提供了丰富的Source和Sink组件，使得我们可以很方便的进行各组异构环境下的配置。KafkaSink是其中较为普遍使用的sink组件，它支持Flume将采集到的数据发送到Kafka消息队列中。

在Flume提供的KafkaSink的相关配置参数中，有一些与kafka的topic以及分区相关的配置参数，可以帮助我们在面对多Topic或多分区的情况下，更灵活地利用Flume的Sink机制，将数据分发到正确的队列中。

在使用maven引用一些jar包的时候，偶尔会遇到jar引用了一些snapshot版本的第三方包，但公共库里又找不到这些snapshot版本的jar，造成代码编译时出现很多问题。

解决办法：aliyun提供了一个公共的apache-snapshots库，提供了很多snapshot版本的jar版本。

在pom.xml的repositories中添加如下的repository

1
2
3
4
5

<repository>
  <id>aliyun snapshot</id>
  <name>alyun snapshot</name>
  <url>https://maven.aliyun.com/repository/apache-snapshots</url>
</repository>

记录一些常用，又不是太记得住的命令。

[TOC]

添加

添加DNS配置

1.修改NetworkManager.conf文件

1
2
3
4
5
6

vi /etc/NetworkManager/NetworkManager.conf

修改文件，在main部分添加 “dns=none” 选项：
[main]
plugins=ifcfg-rh
dns=none

2.重启服务

1

systemctl restart NetworkManager.service

3.修改/etc/resolv.conf

1
2
3
4

vi /etc/resolv.conf
添加
nameserver 114.114.114.114
nameserver 8.8.8.8

挂载硬盘

临时挂载

1.查看磁盘及分区信息，获取磁盘设备分区地址,如下例的/dev/sdc

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41

fdisk -l

磁盘 /dev/sdb：2000.4 GB, 2000398934016 字节，3907029168 个扇区
Units = 扇区 of 1 * 512 = 512 bytes
扇区大小(逻辑/物理)：512 字节 / 512 字节
I/O 大小(最小/最佳)：512 字节 / 512 字节


磁盘 /dev/sdd：4000.8 GB, 4000787030016 字节，7814037168 个扇区
Units = 扇区 of 1 * 512 = 512 bytes
扇区大小(逻辑/物理)：512 字节 / 512 字节
I/O 大小(最小/最佳)：512 字节 / 512 字节


磁盘 /dev/sdc：4000.8 GB, 4000787030016 字节，7814037168 个扇区
Units = 扇区 of 1 * 512 = 512 bytes
扇区大小(逻辑/物理)：512 字节 / 512 字节
I/O 大小(最小/最佳)：512 字节 / 512 字节


磁盘 /dev/sda：2000.4 GB, 2000398934016 字节，3907029168 个扇区
Units = 扇区 of 1 * 512 = 512 bytes
扇区大小(逻辑/物理)：512 字节 / 512 字节
I/O 大小(最小/最佳)：512 字节 / 512 字节
磁盘标签类型：dos
磁盘标识符：0x0001e1af

   设备 Boot      Start         End      Blocks   Id  System
/dev/sda1   *        2048     2099199     1048576   83  Linux
/dev/sda2         2099200  3907028991  1952464896   8e  Linux LVM

磁盘 /dev/mapper/centos-root：1930.6 GB, 1930600382464 字节，3770703872 个扇区
Units = 扇区 of 1 * 512 = 512 bytes
扇区大小(逻辑/物理)：512 字节 / 512 字节
I/O 大小(最小/最佳)：512 字节 / 512 字节


磁盘 /dev/mapper/centos-swap：68.7 GB, 68719476736 字节，134217728 个扇区
Units = 扇区 of 1 * 512 = 512 bytes
扇区大小(逻辑/物理)：512 字节 / 512 字节
I/O 大小(最小/最佳)：512 字节 / 512 字节

2.创建挂载目录

1

mkdir /data

3.挂载硬盘

1

mount /dev/sdc  /data

以上为临时挂载操作，如需要在开机后自动挂载操作，则需以下操作：

1.查看磁盘分区UUID

1
2

blkid /dev/sdb
/dev/sdc: UUID="2d4c4a92-d913-4398-b6c5-1a0f2b5f6d53" TYPE="ext4"

2.在/etc/fstab中添加设备信息

1

vi /etc/fstab

在文末添加如下内容：

1
2
3
4
5
6
7
8
9

UUID=2d4c4a92-d913-4398-b6c5-1a0f2b5f6d53 /data ext4               defaults 0 2

格式说明：
UUID：磁盘分区的UUID
/data: 挂载的目录
ext4: 文件类型，blkid命令有显示
defaults: 挂载设定参数defaults为默认
0: dump是否记录，0为不记录
2: 开机检查的顺序，boot系统文件为1，其它文件系统均为2，不检查即为0

保存退出即可。

查找

文件内容

1

grep -A 1 'strstrstr' filename*

查找所有以filename开头的文件，显示包括’strstrstr’字符串的行以及下一行

1

cat xx.log | grep 单词  | wc -l

计算某文件中，包含某一单词的行数

B端产品整体建设流程

产品总体建设流程大体上分为业务问题诊断、设计解决方案（包括整体与细节方案）、执行并优化解决方案（分为设计技术方案、实施、迭代）三大阶段。

业务调研

业务调研是在产品设计之前要开展的非常重要的准备工作，在这个阶段，产品经理要全面研究并理解业务的现状和规划，挖掘并总结业务问题。

在业务调研阶段，产品经理需要尽可能地用各种手段和工具收集业务关键信息，通过对业务负责人、一线业务人员等角色进行访谈，获取全面的信息；另外，可以邀请技术负责人一起参与业务调研，确保对业务的理解是一致的。通过业务调研找到关键业务问题，这是设计产品解决方案的核心前提。

R 的基本介绍

R 语言基于 S 语言，是一种免费的用于数据分析的语言。

R系统从概念上分为两部分：

1. 从 CRAN上下载的基础的R 系统；
2. 其它

R 的功能基本上是由各种不同的 package 提供实现的:

作者：Vijay Jayaram

时间：June 2018

译者：ovasty

介绍

Mixpanel是一个用户分析平台，它让任何人都可以从数据中学习并采取行动。它从遍布全世界的客户的网站和移动App中获取数据并通过可交互的用户界面生成汇总的报告。为了能够提供一个强有力的，支持大规模用户分析的工具，我们花费了数年时间搭建自已的数据库，名叫Arb。在这篇文章中，我们将深入系统架构之中，一探究竟。

我们内部开发了Arb来满足自身严苛的需求：

• 以用户为中心：Arb是一个定制开发的数据库，为了满足复杂的以用户为中心的查询请求
• 速度：多数的查询响应时间都少于1秒
• 实时：采集的数据在1分钟之内即可被查询
• 可扩展：我们每天采集TB规模的数据，单个查询通常扫描100GB。我们使用Google Cloud，可以进行有效的扩展以满足客户的需求。