包含标签 Go articles

容器化和kvm的区别

容器和KVM虚拟化是两种不同的虚拟化技术,它们各有优缺点,适用于不同的场景。

容器

容器是一种轻量级的虚拟化技术,利用操作系统层面的虚拟化实现。每个容器都运行在一个独立的命名空间中,可以看作是进程的一个集合,共享主机操作系统的内核。容器可以快速启动、停止和迁移,占用的资源比KVM虚拟机少,因此更适合部署大规模的分布式应用程序。常见的容器技术包括Docker、LXC等。 优点:

……

Continue reading

超时控制下执行函数

go中实现超时控制下执行函数功能

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
func RunWithTimeout(fun func() error, timeout time.Duration) error {
	finished := make(chan struct{})
	var err error
	go func() {
		err = fun()
		finished <- struct{}{}
	}()

	select {
	case <-finished:
		return err
	case <-time.After(timeout):
		return fmt.Errorf("timeout")
	}
}
……

Continue reading

CNI插件

参考文章:https://developer.aliyun.com/learning/course/572/detail/7866

如何开发自己的CNI插件

CNI插件的实现通常包含两个部分:

  1. 一个二进制的CNI插件去配置Pod网卡和IP地址。这一步配置完成后相当于给Pod插上了一条网线:有了自己的IP、自己的网卡;
  2. 一个Daemon进程去管理Pod之间的网络打通。这一步相当于将Pod真正连上网络,让Pod之间能够互通。

给Pod插上网线

  1. 给Pod准备虚拟网卡
    • 创建“veth”虚拟网卡对
    • 将一端的网卡挪到Pod中
  2. 给Pod分配IP地址
    • 给Pod分配集群中唯一的IP地址
    • 一般把Pod网段按Node分段
    • 每个Pod再从Node段中分配IP
  3. 配置Pod的IP和路由
    • 给Pod的虚拟网卡网址分配到的IP
    • 给Pod的网卡上配置集群网段的路由
    • 在宿主机上配置到Pod的IP地址的路由到对端虚拟网卡上

给Pod连上网络

刚才是给Pod插上网线,也就是说分配了IP地址和路由表。接下来说明怎么让每一个Pod的IP地址在集群里都能被访问到。

……

Continue reading

复原 IP 地址

有效 IP 地址 正好由四个整数(每个整数位于 0 到 255 之间组成,且不能含有前导 0),整数之间用 ‘.’ 分隔。

例如:“0.1.2.201” 和 “192.168.1.1” 是 有效 IP 地址,但是 “0.011.255.245”、“192.168.1.312” 和 “192.168@1.1” 是 无效 IP 地址。 给定一个只包含数字的字符串 s ,用以表示一个 IP 地址,返回所有可能的有效 IP 地址,这些地址可以通过在 s 中插入 ‘.’ 来形成。你 不能 重新排序或删除 s 中的任何数字。你可以按 任何 顺序返回答案。

……

Continue reading

gorm删除记录(删除具有级联关系的数据)

删除具有级联关系的数据

参考:https://gorm.io/zh_CN/docs/associations.html#Association-Mode

带 Select 的删除

你可以在删除记录时通过 Select 来删除具有 has one、has many、many2many 关系的记录,例如:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

// 删除 user 时,也删除 user 的 account
db.Select("Account").Delete(&user)

// 删除 user 时,也删除 user 的 Orders、CreditCards 记录
db.Select("Orders", "CreditCards").Delete(&user)

// 删除 user 时,也删除用户所有 has one/many、many2many 记录
db.Select(clause.Associations).Delete(&user)

// 删除 users 时,也删除每一个 user 的 account
db.Select("Account").Delete(&users)

注意:只有当记录的主键不为空时,关联才会被删除,GORM 会使用这些主键作为条件来删除关联记录

……

Continue reading

Go语言的%d,%p,%v等占位符的使用

1.占位符分别代表了什么?

golang 的fmt 包实现了格式化I/O函数,类似于C的 printf 和 scanf。 定义示例类型和变量

1
2
3
4
5
type Human struct {
	Name string
} 

var people = Human{Name:"zhangsan"}

2 普通占位符

占位符 说明 举例 输出
%v 相应值的默认格式。 Printf("%v", people) {zhangsan}
%+v 打印结构体时,会添加字段名 Printf("%+v", people) {Name:zhangsan}
%#v 相应值的Go语法表示 Printf("#v", people) main.Human{Name:“zhangsan”}
%T 相应值的类型的Go语法表示 Printf("%T", people) main.Human
%% 字面上的百分号,并非值的占位符 Printf("%%") %

3 布尔占位符

占位符 说明 举例 输出
%t true或false Printf("%t", true) true

4 整数占位符

占位符 说明 举例 输出
%b 二进制表示 Printf("%b", 5) 101
%c 相应Unicode码点锁表示的字符 Printf("%c", 0x4e2d)
%d 十进制表示 Printf("%d", 0x12) 18
%o 八进制表示 Printf("%d", 10) 12
%q单引号围绕的字符字面值,由Go语法安全地转义 Printf("%q", 0x4E2D) ‘中’
%x 十六进制表示,字母形式为小写 a-f Printf("%x", 13) d
%X 十六进制表示,字母形式为大写 A-F Printf("%x", 13) D
%U Unicode格式:U+1234,等同于 “U+%04X” Printf("%U", 0x4E2D) U+4E2D

5 浮点数和复数的组成部分(实部和虚部)

占位符 说明 举例 输出
%b 无小数部分的,指数为二的幂的科学计数法, 与 strconv.FormatFloat 的 ‘b’ 转换格式一致。例如 -123456p-78
%e 科学计数法,例如 -1234.456e+78 Printf("%e", 10.2) 1.020000e+01
%E 科学计数法,例如 -1234.456E+78 Printf("%e", 10.2) 1.020000E+01
%f 有小数点而无指数,例如 123.456 Printf("%e", 10.2) 10.200000
%g 根据情况选择 %e 或 %f 以产生更紧凑的(无末尾的0)输出 Printf("%g", 10.20) 10.2
%G 根据情况选择 %E 或 %f 以产生更紧凑的(无末尾的0)输出 Printf("%G", 10.20+2i) (10.2+2i)

6 字符串与字节切片

占位符 说明 举例 输出
%s 输出字符串表示(string类型或[]byte) Printf("%s", []byte(“Go语言”)) Go语言
%q 双引号围绕的字符串,由Go语法安全地转义 Printf("%q", “Go语言”) “Go语言”
%x 十六进制,小写字母,每字节两个字符 Printf("%x", “golang”) 676f6c616e67
%X 十六进制,大写字母,每字节两个字符 Printf("%X", “golang”) 676F6C616E67

7 指针

占位符 说明 举例 输出
%p 十六进制表示,前缀 0x Printf("%p", &people) 0x4f57f0

8 其它标记

占位符 说明 举例 输出
+ 总打印数值的正负号;对于%q(%+q)保证只输出ASCII编码的字符。 Printf("%+q", “中文”) “\u4e2d\u6587”
- 在右侧而非左侧填充空格(左对齐该区域)
# 备用格式:为八进制添加前导 0(%#o) 为十六进制添加前导 0x(%#x)或 0X(%#X),为 %p(%#p)去掉前导 0x; 如果可能的话,%q(%#q)会打印原始(即反引号围绕的)字符串; 如果是可打印字符,%U(%#U)会写出该字符的 Unicode 编码形式(如字符 x 会被打印成 U+0078 ‘x’)。 Printf("%#U", ‘中’) U+4E2D
’ ' (空格)为数值中省略的正负号留出空白(% d); 以十六进制(% x, % X)打印字符串或切片时,在字节之间用空格隔开
0 填充前导的0而非空格;对于数字,这会将填充移到正负号之后
……

Continue reading

互斥锁

互斥锁

用一个互斥锁来在Go协程间安全的访问数据

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
package main

import (
	"fmt"
	"math/rand"
	"runtime"
	"sync"
	"sync/atomic"
	"time"
)

func main() {
	var state = make(map[int]int)
	var mutex = &sync.Mutex{}
	var ops int64 = 0
	for r := 0; r < 100; r++ {
		// 运行100个go协程来重复读取state
		go func() {
			total := 0
			for {
				key := rand.Intn(5)
				mutex.Lock()
				total += state[key]
				mutex.Unlock()
				atomic.AddInt64(&ops, 1)
				runtime.Gosched() // 为了确保这个Go协程不会在调度中饿死,我们在每次操作后明确的使用runtime.Gosched()进行释放。是自动处理的。
			}
		}()
	}
	for w := 0; w < 10; w++ { // 模拟写入操作
		go func() {
			for {
				key := rand.Intn(5)
				val := rand.Intn(100)
				mutex.Lock()
				state[key] = val
				mutex.Unlock()
				atomic.AddInt64(&ops, 1)
				runtime.Gosched()
			}
		}()
	}
	time.Sleep(time.Second)
	opsFinal := atomic.LoadInt64(&ops)
	fmt.Println("ops:", opsFinal)
	mutex.Lock() //对 state 使用一个最终的锁,显示它是如何结束的。
	fmt.Println("state:", state)
	mutex.Unlock()
}
……

Continue reading

关于锁的一些注意事项

尽量减少锁的持有时间

  • 细化锁的粒度。通过细化锁的粒度来减少锁的持有时间以及避免在持有锁操作的时候做各种耗时的操作。
  • 不要在持有锁的时候做 IO 操作。尽量只通过持有锁来保护 IO 操作需要的资源而不是 IO 操作本身
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16

func doSomething() {
    m.Lock()
    item := ...
    http.Get()  // 各种耗时的 IO 操作
    m.Unlock()
}

// 改为
func doSomething() {
    m.Lock()
    item := ...
    m.Unlock()

    http.Get()
}

善用 defer 来确保在函数内正确释放

通过 defer 可以确保不会遗漏释放锁操作,避免出现死锁问题,以及避免函数内非预期的 panic 导致死锁的问题 不过使用 defer 的时候也要注意别因为习惯性的 defer m.Unlock() 导致无意中在持有锁的时候做了 IO 操作,出现了非预期的持有锁时间太长的问题。

……

Continue reading

学习一下sync.Cond的用法

使用场景:
我需要完成一项任务,但是这项任务需要满足一定条件才可以执行,否则我就等着。
那我可以怎么获取这个条件呢?一种是循环去获取,一种是条件满足的时候通知我就可以了。显然第二种效率高很多。
通知的方式的话,golang里面通知可以用channel的方式

1
2
3
4
5
6
7
	var mail = make(chan string)
    go func() {
        <- mail
        fmt.Println("get chance to do something")
    }()
    time.Sleep(5*time.Second)
    mail <- "moximoxi"

但是channel的方式还是比较适合一对一,一对多并不是很适合。下面就来介绍一下另一种方式:sync.Cond sync.Cond就是用于实现条件变量的,是基于sync.Mutex的基础上,增加了一个通知队列,通知的线程会从通知队列中唤醒一个或多个被通知的线程。
主要有以下几个方法:

……

Continue reading