Devops là gì?#

CI - Continous Integration#

CD - Continous Delivery#

Trước khi có Virtualization#

• Chạy app cần server
• Server vật lí
• 1 service - 1 server (isolation: độc lập)
• Luôn luôn overprovisioned
• Tài nguyên server chưa được tận dụng tối đa
• CapEx (Capital Expenditure): Chi phí vốn và OpEx (Operational Expenditure): Chi phí hoạt động cực lớn

VMware

• 1 máy tính chạy được nhiều OS
• Lấy phân vùng của máy host làm tài nguyên cho máy ảo
• Máy ảo chạy độc lập trên các môi trường độc lập
• Mỗi máy áo đều cần một OS
• Phổ biến nhất là Server Virtualization

Các thuật ngữ#

• Host OS
• Guest OS
• VM
• Snapshot: backup VM
• Hypervisor: tool để tạo VM, 2 loại
  • Type 1:
    • Bare Metal
    • Chạy như là một Base OS
    • Production
    • Ex: VMware esxi, Xen Hypervisor, Hyper-V (Microsoft)
  • Type 2:
    • Run a software
    • Learn & Test
    • Ex: Oracle VirutalBox, VMware Server

If you want to Automate something, make sure you know how to do it Manually.

• Tạo máy ảo Manual

  • Oracle VM Virtualbox (Hypervisor)
  • ISO file (CentOS & Ubuntu)
  • Login tool (Git Bash & Putty)

• Tạo máy ảo Automated

  • Oracle VM Virtualbox (Hypervisor)
  • Vagrant (Vagrantfile)
  • commands
    • vagrant up
    • vagrant ssh
    • vagrant halt/destroy
    • vagrant global-status

• Tạo Vagrantfile (tìm các bản phân phối linux ở đây: https://portal.cloud.hashicorp.com/vagrant/discover/eurolinux-vagrant/centos-stream-9)

1
❯ vagrant init eurolinux-vagrant/centos-stream-9 --box-version 9.0.48

• Lỗi xung đột kvm với hypervisor virtualbox

1
❯ vagrant up
2
Bringing machine 'default' up with 'virtualbox' provider...
3
==> default: Box 'eurolinux-vagrant/centos-stream-9' could not be found. Attempting to find and install...
4
    default: Box Provider: virtualbox
5
    default: Box Version: 9.0.48
6
==> default: Loading metadata for box 'eurolinux-vagrant/centos-stream-9'
7
    default: URL: https://vagrantcloud.com/api/v2/vagrant/eurolinux-vagrant/centos-stream-9
8
==> default: Adding box 'eurolinux-vagrant/centos-stream-9' (v9.0.48) for provider: virtualbox (amd64)
9
    default: Downloading: https://vagrantcloud.com/eurolinux-vagrant/boxes/centos-stream-9/versions/9.0.48/providers/virtualbox/amd64/vagrant.box
10
==> default: Successfully added box 'eurolinux-vagrant/centos-stream-9' (v9.0.48) for 'virtualbox (amd64)'!
11
==> default: Importing base box 'eurolinux-vagrant/centos-stream-9'...
12
==> default: Matching MAC address for NAT networking...
13
==> default: Checking if box 'eurolinux-vagrant/centos-stream-9' version '9.0.48' is up to date...
14
==> default: Setting the name of the VM: centos_default_1766133488873_29698
15
==> default: Clearing any previously set network interfaces...
16
==> default: Preparing network interfaces based on configuration...
17
    default: Adapter 1: nat
18
==> default: Forwarding ports...
19
    default: 22 (guest) => 2222 (host) (adapter 1)
20
==> default: Booting VM...
21
There was an error while executing `VBoxManage`, a CLI used by Vagrant
22
for controlling VirtualBox. The command and stderr is shown below.
23

24
Command: ["startvm", "d94d141a-1545-4135-aeb5-2a24df8d1eb6", "--type", "headless"]
25

26
Stderr: VBoxManage: error: VT-x is being used by another hypervisor (VERR_VMX_IN_VMX_ROOT_MODE).
27
VBoxManage: error: VirtualBox can't operate in VMX root mode. Please disable the KVM kernel extension, recompile your kernel and reboot (VERR_VMX_IN_VMX_ROOT_MODE)
28
VBoxManage: error: Details: code NS_ERROR_FAILURE (0x80004005), component ConsoleWrap, interface IConsole
29

30
❯ vagrant box list
31
eurolinux-vagrant/centos-stream-9 (virtualbox, 9.0.48, (amd64))
32
❯ vagrant status
33
Current machine states:
34

35
default                   poweroff (virtualbox)
36

37
The VM is powered off. To restart the VM, simply run `vagrant up`

What is Computer Network?#

• Communication between two or more network Interfaces

Components of Computer Network#

• Two ore more computers/Devices
• Cables as links between the computers
• A network interfacing card (NIC) on each
• Computer
• Switches
• Routers
• Software call;ed operating system (OS)

OSI Model#

• Có quá nhiều thiết bị kết nối với nhau qua mạng, thì ta cần một chuẩn chung để có thể giao tiếp được với nhau
• ISO (International Organization of Standardization) phát triển chuẩn chung này

• OSI (Open System Interconnection)
  • Mô hình ISO-OSI (1984) là kiến trúc 7 layer
    • 1. Physical: dây mạng, truyền tín hiệu bit
    • 1. Data link: bit -> frame (switch)
    • 1. Network: vận chuyển package từ source -> destination (router)
    • 1. Transport: cung cấp vận chuyển message và phục hồi error một cách tin cậy
    • 1. Session: thiết lập, quản lí các session
    • 1. Presentation: translate, encrypt, compress data
    • 1. Application: allow access to network resources
• Các thành phần cơ bản của một layer
  • services: một service, hay các hành động mà layer này cung cấp cho layer cao hơn
  • protocols: tập hợp các rules mà layer dùng để trao đổi thông tin
  • interfaces: giao tiếp giữa các layer
• Sending - Receiving Letters

Classification of network By Geography#

• LAN (Local area Network)
• WAN (Wide Area Network)
• MAN (Metropolitan Area Network)
• CAN (Campus Area Network)
• PAN (Personal Area Network)

Switches#

• Connect nhiều thiết bị lại với nhau

Routers#

• Connect các network lại với nhau
• Nội bộ công ty A xài switch A, nội bộ công ty B xài switch B -> 2 công ty muốn kết nối với nhau -> Dùng Router

• Router nhà bạn là thiết bị kết nối mạng LAN ra mạng WAN (Internet), nó kèm theo switch nữa, nên các thiết bị có thể kết nối với nhau

Home Network#

• Internet -> cáp -> Modem -> cáp -> Router -> Switch (ở ngoài router)
• Các thiết bị kết nối với nhau qua Switch rồi qua Router -> ra ngoài
• Mỗi thiết bị đều có một địa chỉ ip

Corporate Network#

• Many many switch, router
• Multiple internet service providers
• High availability purpose

Data Center Network#

IPv4#

• Range
  • 0.0.0.0 - 255.255.255.255

Tại sao lại có range như này, hãy nhớ đây là số binary, đây là 2 giá trị đầu tiên và cuối cùng 0.0.0.0 -> 00000000.00000000.00000000.00000000 255.255.255.255 -> 11111111.11111111.11111111.11111111

1
ipconfig

1
ip a

Giao thức (Protocols)#

• Giao thức mạng (Network Protocol) là bộ quy tắc và tiêu chuẩn chung quy định cách các thiết bị (máy tính, điện thoại, router) giao tiếp, định dạng, truyền và nhận dữ liệu trên mạng, đảm bảo chúng có thể trao đổi thông tin một cách chính xác, hiệu quả, bất kể sự khác biệt về phần cứng hay hệ điều hành, giống như một “ngôn ngữ chung” để các thiết bị “nói chuyện” với nhau.

Port Number#

• Máy tính có địa chỉ ip, mỗi app chạy trên một port riêng, tưởng tượng rằng bạn đang đi lựa đồ ăn, món nhiều người ăn ở cổng 443 -> HTTPS,…

• Nhớ mấy port default này giúp ích khi setup firewalls như trong AWS Security group, Network Access Control List

• 2 máy, dịch vụ kết nối với nhau bằng địa chỉ ip + port
  • 192.168.10.155:8080 (Java Spring Boot) -> 192.168.10.155:3306 (MySQL)

Process#

• Có nhiều process (tiến trình) trong linux
• systemd -> pid = 1, rồi được chia thành nhiều process khác -> Chạy Nginx, MongoDB, Tomcat, bla bla

• Vấn đề đặt ra mình muốn connfig các app khác nhau thì sẽ bị ảnh hưởng lẫn nhau, tại các process (app) chạy chung trên một máy -> Isolation (độc lập) -> Tách các server riêng -> Thêm tiền

• Giải pháp -> Container -> Một OS thu nhỏ, hay chỉ là thư mục riêng, kết nối với nhau thông qua network

  • Nhỏ nhẹ, không cần chứa mọi thứ không liên quan
  • pid 1 của Nginx container là Nginx (không cần systemd)
  • Lưu trữ (archived), vận chuyển (shipped to production)

• Ứng cử viên sáng giá, Docker

Docker#

• Doc: https://docs.docker.com/get-started/get-docker/

Docker is an open platform for developing, shipping, and running applications. Docker allows you to separate your applications from your infrastructure so you can deliver software quickly. With Docker, you can manage your infrastructure in the same ways you manage your applications. By taking advantage of Docker’s methodologies for shipping, testing, and deploying code quickly, you can significantly reduce the delay between writing code and running it in production.

• Docker Hub: where stored docker image, some other image registry on cloud providers
  • GCP: Artifact Registry
  • AWS: Amazon ECR (Amazon Elastic Container Registry)
  • Azure: ACR (Azure Container Registry)

CI là gì#

• Tự động hóa việc build và test code mỗi khi có thay đổi (commit) trong VSC

• Các bước:

  • Developer commit code vào VSC
  • CI server (Jenkins) tự động lấy code mới nhất từ VSC
  • Build code
  • Test code
  • Thông báo kết quả (thành công/ thất bại)

• Mình viết riêng một bài về Jenkins CI ở đây

Debian 12 Bookworm#

• Debian 12 are not have openjdk-21 in default repo, so we change to use temurin-openjdk-21 instead, the way install are harder than ubuntu

• Check out the available versions: Termurin OpenJDK page

1
apt update -y
2
# Install some dependencies
3
apt install -y wget tar maven git
4

5
# Download
6
sudo wget https://github.com/adoptium/temurin21-binaries/releases/download/jdk-21.0.6%2B7/OpenJDK21U-jdk_x64_linux_hotspot_21.0.6_7.tar.gz
7

8
# Extract
9
tar xzf OpenJDK21U-jdk_x64_linux_hotspot_21.0.6_7.tar.gz
10

11
# Move to /opt
12
mv jdk-21.0.6+7 /opt/
13
echo "export JAVA_HOME=/opt/jdk-21.0.6+7" >> /etc/profile
14
echo "export PATH=$JAVA_HOME/bin:$PATH" >> /etc/profile
15
source /etc/profile
16

17
# Setting default java version
18
update-alternatives --install /usr/bin/java java /opt/jdk-21.0.6+7/bin/java 1
19
update-alternatives --config java

• Verfify java version

1
java -version

• Test with simple pgogram

1
cat > hello_world.java <<EOF
2
public class helloworld {
3
  public static void main(String[] args) {
4
    System.out.println("Hello World! Temurin is powerful");
5
  }
6
}
7
EOF

1
$ java hello_world.java
2
Hello World! Temurin is powerful

• Create a symlink to default location where jenkins find java

1
ln -sf /opt/jdk-21.0.6+7/bin/java /usr/bin/java

• Restart jenkins

1
systemctl reset-failed jenkins
2
systemctl daemon-reload
3
systemctl restart jenkins
4
systemctl status jenkins