BigData-kafka

2016-11-22

常用命令

1
2
3
4
5
6
7
8
9
10
11
bin/kafka-run-class.sh kafka.admin.ConsumerGroupCommand
bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker

bin/kafka-run-class.sh kafka.admin.ConsumerGroupCommand --describe --group dbanalysis-storm-reader  --zookeeper 192.168.0.117:2181

bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --group dbanalysis-storm-reader --topic OracleFantasy --zookeeper 192.168.0.117:2181

## 列出所有的 new consumer
bin/kafka-run-class.sh kafka.admin.ConsumerGroupCommand --list --new-consumer --bootstrap-server 192.168.0.20:9092

bin/kafka-run-class.sh kafka.admin.ConsumerGroupCommand --describe --new-consumer --group storm-reader --bootstrap-server 192.168.0.20:9092

阅读全文

BigData-storm

2016-11-17

storm

storm 底层使用 Thrift 进行通信。

topology 的提交

使用org.apache.storm.StormSubmitter.submitTopologyAs 进行提交。

阅读全文

oracle-常用命令

2016-11-02

  1. sysdba 登录本地oracle.

    在忘记密码的时候，可以使用这个方法，登录到数据库安装的机器上然后，使用下面的命令登录 oracle 再使用 alter 重置密码。

    sqlplus / as sysdba

阅读全文

socket

2016-10-24

java.net 包中的分类

  • Address
  • Socket
  • DatagramSocket

阅读全文

TCP&UDP

2016-10-24

TCP&UDP

格式

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
 0                   1                   2                   3
 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|Version|  IHL  |Type of Service|          Total Length         |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|         Identification        |Flags|      Fragment Offset    |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|  Time to Live |    Protocol   |         Header Checksum       |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|                       Source Address                          |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|                    Destination Address                        |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|                    Options                    |    Padding    |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

                 Example Internet Datagram Header
                 
 0                   1                   2                   3
 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|          Source Port          |       Destination Port        |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|                        Sequence Number                        |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|                    Acknowledgment Number                      |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|  Data |           |U|A|P|R|S|F|                               |
| Offset| Reserved  |R|C|S|S|Y|I|            Window             |
|       |           |G|K|H|T|N|N|                               |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|           Checksum            |         Urgent Pointer        |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|                    Options                    |    Padding    |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|                             data                              |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
				TCP Header Format

阅读全文

java.nio.file

2016-10-20

java.nio.file的使用

这个包中最核心的概念就是 Path， 可以说 Path 是整个java.nio.file包和java.nio.file.attribute包中操作的目标，几乎所有的API都是围绕Path进行的。

阅读全文

磁盘存储与文件系统

2016-10-20

学习计划

  1. 磁盘结构，存储机制，分区方法。
  2. linux 文件系统的实现
  3. linux 内存管理
  4. linux 线程和进程的实现

阅读全文

AsynchronousFileChannel

2016-10-19

AsynchronousFileChannel

阅读全文

FileChannel

2016-10-17

FileChannel

FileChannel对象的获得：

  • FileInputStream.getChannel

阅读全文

Buffer

2016-10-17

Buffer

1
2
3
4
5
6
7
8
9
						  capacity
                              ↓
 _______________________________________________________________
↓                                                               ↓
+---+---+---+---+---+---+---+---+---+---+---+---+---+---+---+---+
|   |   |   |   |   |   |   |   |   |   |   |   |   |   |   |   |
+---+---+---+---+---+---+---+---+---+---+---+---+---+---+---+---+
        ↑                   ↑                       ↑
      mark               position                 limit

阅读全文