BigData-kafka

常用命令

1
2
3
4
5
6
7
8
9
10
11
bin/kafka-run-class.sh kafka.admin.ConsumerGroupCommand
bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker

bin/kafka-run-class.sh kafka.admin.ConsumerGroupCommand --describe --group dbanalysis-storm-reader --zookeeper 192.168.0.117:2181

bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --group dbanalysis-storm-reader --topic OracleFantasy --zookeeper 192.168.0.117:2181

## 列出所有的 new consumer
bin/kafka-run-class.sh kafka.admin.ConsumerGroupCommand --list --new-consumer --bootstrap-server 192.168.0.20:9092

bin/kafka-run-class.sh kafka.admin.ConsumerGroupCommand --describe --new-consumer --group storm-reader --bootstrap-server 192.168.0.20:9092

阅读全文

BigData-storm

storm

storm 底层使用 Thrift 进行通信。

topology 的提交

使用org.apache.storm.StormSubmitter.submitTopologyAs 进行提交。

阅读全文

oracle-常用命令

  1. sysdba 登录本地oracle.

    在忘记密码的时候,可以使用这个方法,登录到数据库安装的机器上然后,使用下面的命令登录 oracle 再使用 alter 重置密码。

    sqlplus / as sysdba

阅读全文

socket

java.net 包中的分类

  • Address
  • Socket
  • DatagramSocket

阅读全文

TCP&UDP

TCP&UDP

格式

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
 0                   1                   2                   3
0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|Version| IHL |Type of Service| Total Length |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| Identification |Flags| Fragment Offset |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| Time to Live | Protocol | Header Checksum |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| Source Address |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| Destination Address |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| Options | Padding |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

Example Internet Datagram Header

0 1 2 3
0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| Source Port | Destination Port |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| Sequence Number |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| Acknowledgment Number |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| Data | |U|A|P|R|S|F| |
| Offset| Reserved |R|C|S|S|Y|I| Window |
| | |G|K|H|T|N|N| |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| Checksum | Urgent Pointer |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| Options | Padding |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| data |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
TCP Header Format

阅读全文

java.nio.file

java.nio.file的使用

这个包中最核心的概念就是 Path, 可以说 Path 是整个java.nio.file包和java.nio.file.attribute包中操作的目标,几乎所有的API都是围绕Path进行的。

阅读全文

磁盘存储与文件系统

学习计划

  1. 磁盘结构,存储机制,分区方法。
  2. linux 文件系统的实现
  3. linux 内存管理
  4. linux 线程和进程的实现

阅读全文

AsynchronousFileChannel

AsynchronousFileChannel

阅读全文

FileChannel

FileChannel

FileChannel对象的获得:

  • FileInputStream.getChannel

阅读全文

Buffer

Buffer

1
2
3
4
5
6
7
8
9
						  capacity

_______________________________________________________________
↓ ↓
+---+---+---+---+---+---+---+---+---+---+---+---+---+---+---+---+
| | | | | | | | | | | | | | | | |
+---+---+---+---+---+---+---+---+---+---+---+---+---+---+---+---+
↑ ↑ ↑
mark position limit

阅读全文