首页 > > 操作系统 > Linux >

运维自动化------ansible搭建

2018-07-19 05:36:02来源：博客园阅读 ()

运维自动化发展历程及技术应用

IaaS基础设施即服务（相当于卖硬件) ，PaaS平台即服务（卖操作系统），SaaS软件即服务（卖软件）

企业实际应用场景分析

灰度环境（生产环境的一部分）

功能：在全量发布代码前将代码的功能面向少量精准用户发布的环境,可基于主机或用户执行灰度发布

案例：共100台生产服务器，先发布其中的10台服务器，这10台服务器就是灰度服务器

灰度环境：往往该版本功能变更较大，为保险起见特意先让一部分用户优化体验该功能，待这部分用户使用没有重大问题的时候，再全量发布至所有服务器

程序发布

程序发布要求：

不能导致系统故障或造成系统完全不可用

不能影响用户体验

预发布验证：

新版本的代码先发布到服务器（跟线上环境配置完全相同，只是未接入到调度器）

灰度发布：

基于主机，用户，业务

发布路径：

/webapp/tuangou

/webapp/tuangou-1.1

/webapp/tuangou-1.2

发布过程：在调度器上下线一批主机(标记为maintanance状态) --> 关闭服务 --> 部署新版本的应用程序 --> 启动服务 --> 在调度器上启用这一批服务器

自动化灰度发布：脚本、发布

常用自动化运维工具

Ansible:python,Agentless,中小型应用环境 （管理上百台机器）

 利用ssh协议远程来进行管理，基于key验证，把管理者的公钥传到被管理的主机上去，

Saltstack:python，一般需部署agent(代理)，执行效率更高 （管理上千台机器）

Puppet:ruby, 功能强大,配置复杂，重型,适合大型环境 （管理上百台机器）

Fabric：python，agentless

Chef: ruby,国内应用少

Cfengine

func

Ansible简介

Ansible是一个简单的自动化运维管理工具，基于Python语言实现，由ParamikoPyYAML两个关键模块构建，可用于自动化部署应用、配置、编排task(持续交付、无宕机更等)。

　　 Ansible官网：https://www.ansible.com/ 

　　 github地址：https://github.com/Ansible

特性

　　模块化：调用特定的模块，完成特定任务，一千多个模块

　　有Paramiko，PyYAML，Jinja2（模板语言）三个关键模块

　　支持自定义模块

　　基于Python语言实现

　　部署简单，基于python和SSH(默认已安装)免代理，agentless

　　安全，基于OpenSSH

　　支持playbook编排任务

幂等性：一个任务执行1遍和执行n遍效果一样，不因重复执行带来意外情况

　　无需代理不依赖PKI（无需ssl）

　　可使用任何编程语言写模块

　　AML格式，编排任务，支持丰富的数据结构

　　较强大的多层解决方案

Ansible主要组成部分

1:ANSIBLE PLAYBOOKS：任务剧本（任务集），编排定义Ansible任务集的配置文件，由Ansible顺序 依次执行，通常是JSON格式的YML文件

2:INVENTORY：Ansible管理主机的清单/etc/ansible/hosts

3:MODULES：Ansible执行命令的功能模块，多数为内置核心模块，也可自定义

4:PLUGINS：模块功能的补充，如连接类型插件、循环插件、变量插件、过滤插件等，该功能不常用

5:API：供第三方程序调用的应用程序编程接口

6:ANSIBLE：组合INVENTORY、API、MODULES、PLUGINS的绿框，可以理解为是ansible命令工 具，其为核心执行工具

7:Ansible命令执行来源：

U7SER，普通用户，即SYSTEM ADMINISTRATOR

CMDB（配置管理数据库） API 调用

PUBLIC/PRIVATE CLOUD API调用

USER-> Ansible Playbook -> Ansibile

8:利用ansible实现管理的方式：

Ad-Hoc 即ansible命令，主要用于临时命令使用场景

Ansible-playbook 主要用于长期规划好的，大型项目的场景，需要有前提的规划

9:Ansible-playbook（剧本）执行过程：

将已有编排好的任务集写入Ansible-Playbook

通过ansible-playbook命令分拆任务集至逐条ansible命令，按预定规则逐条执行

10:Ansible主要操作对象：

HOSTS主机

NETWORKING网络设备

11:注意事项

执行ansible的主机一般称为主控端，中控，master或堡垒机
主控端Python版本需要2.6或以上
被控端Python版本小于2.4需要安装python-simplejson
被控端如开启SELinux需要安装libselinux-python
windows不能做为主控端

安装

rpm包安装: EPEL源

yum install ansible

编译安装:

yum -y install python-jinja2 PyYAML python-paramiko python-babel python-crypto

tar xf ansible-1.5.4.tar.gz

cd ansible-1.5.4

python setup.py build

python setup.py install

mkdir /etc/ansible

cp -r examples/* /etc/ansible

Git方式:

git clone git://github.com/ansible/ansible.git --recursive

cd ./ansible

source ./hacking/env-setup

pip安装： pip是安装Python包的管理器，类似yum

yum install python-pip python-devel

yum install gcc glibc-devel zibl-devel rpm-bulid openssl-devel

pip install --upgrade pip

pip install ansible --upgrade

确认安装： ansible --version

配置文件

/etc/ansible/ansible.cfg 主配置文件，配置ansible工作特性，(软连接指向新版本，方便)

/etc/ansible/hosts 主机清单 ，

/etc/ansible/roles/ 存放角色的目录

程序

/usr/bin/ansible 主程序，临时命令执行工具

/usr/bin/ansible-doc 查看配置文档，模块功能查看工具，相当于man命令

/usr/bin/ansible-galaxy(银河) 下载/上传优秀代码或Roles模块的官网平台

/usr/bin/ansible-playbook 定制自动化任务，编排剧本工具/usr/bin/ansible-pull (拉取)远程执行命令的工具

/usr/bin/ansible-vault 文件加密工具

/usr/bin/ansible-console 基于Console界面与用户交互的执行工具

主机清单inventory

Inventory 主机清单

ansible的主要功用在于批量主机操作，为了便捷地使用其中的部分主机，可以在inventory file中 将其分组命名

/etc/ansible/hosts文件格式

inventory文件遵循INI文件风格，中括号中的字符为组名。可以将同一个主机同时归并到多个不同的组中；此外，当如若目标主机使用了非默认的SSH端口，还可以在主机名称之后使用冒号加端口号来标明

ntp.magedu.com

[webservers]

www1.magedu.com:2222

www2.magedu.com

[dbservers]

db1.magedu.com

db2.magedu.com

db3.magedu.com

如果主机名称遵循相似的命名模式，还可以使用列表的方式标识各主机

· 示例：

[websrvs]

www[01:100].example.com

[dbsrvs]

db-[a:f].example.com

ansible 配置文件

Ansible 配置文件/etc/ansible/ansible.cfg （一般保持默认）

 [defaults]

#inventory = /etc/ansible/hosts # 主机列表配置文件

#library = /usr/share/my_modules/ # 库文件存放目录

#remote_tmp = $HOME/.ansible/tmp #临时py命令文件存放在远程主机目录

#local_tmp = $HOME/.ansible/tmp # 本机的临时命令执行目录

#forks = 5 # 默认并发数

#sudo_user = root # 默认sudo 用户

#ask_sudo_pass = True #每次执行ansible命令是否询问ssh密码

#ask_pass = True

#remote_port = 22

#host_key_checking = False # 检查对应服务器的host_key，建议取消注释

#log_path=/var/log/ansible.log #日志文件

Ansible系列命令

ansible ansible-doc ansible-playbook ansible-vault

　　ansible-console ansible-galaxy ansible-pull

　　ansible-doc: 显示模块帮助

ansible-doc [options] [module...]

-a 显示所有模块的文档

-l, --list 列出可用模块

-s, --snippet显示指定模块的playbook片段

示例：

ansible-doc –l 列出所有模块

ansible-doc ping 查看指定模块帮助用法

ansible-doc –s ping 查看指定模块帮助用法

ansible

ansible通过ssh实现配置管理、应用部署、任务执行等功能，建议配置ansible端能基于密钥认证的方式联系各被管理节点

ansible <host-pattern> [-m module_name] [-a args] （-a加参数）

--version 显示版本

-m module 指定模块，默认为command

-v 详细过程 –vv -vvv更详细

--list-hosts 显示主机列表，可简写—list

-k, --ask-pass 提示输入ssh连接密码，默认Key验证

-K, --ask-become-pass 提示输入sudo时的口令

-C, --check 检查，并不执行 （测试）

-T, --timeout=TIMEOUT 执行命令的超时时间，默认10s

-u, --user=REMOTE_USER 执行远程执行的用户

　　　　-b, --become 代替旧版的sudo 切换

一、环境准备
centos7 192.168.30.110做主控端
192.168.30.100 、192.168.30.107 192.168.30.114 做被控端
二、搭建配置ansible
[root@centos7 ~]# yum -y install ansible
查看版本信息
这里面的ping是ansible的ping模块；
清单列表不包括本机；
把要管理的主机加入到主机清单中 etc/ansible/hosts
 
[root@centos7 ~]# ansible 192.168.30.100 -m ping
测试存活性是基于ssh服务的，基于密码和key验证，通常是基于key验证；部署是把ssh的可以验证做好
 
 
建议：在控制主机登录主机的同时，如果不要每次都通过验证登录，则修改配置文件，默认提供YES启动日志的功能，手动注释取消就行了
[root@centos7 ~]# vim /etc/ansible/ansible.cfg 
 
在控制端主机生成公钥，把公钥传到三台被控制端主机上去，实现key验证
 
可以对主机清单做分组
 
 
ansible的Host-pattern（主机列表）
匹配主机的列表
All ：表示所有Inventory(主机清单)中的所有主机
ansible all –m ping
* :通配符
ansible “*” -m ping
ansible 192.168.1.* -m ping
ansible “*srvs” -m ping
或关系
ansible “websrvs:appsrvs” -m ping
ansible “192.168.1.10:192.168.1.20” -m ping
逻辑与
ansible “websrvs:&dbsrvs” –m ping
在websrvs组并且在dbsrvs组中的主机
逻辑非
ansible ‘websrvs:!dbsrvs’ –m ping
在websrvs组，但不在dbsrvs组中的主机
注意：此处为单引号
综合逻辑
ansible ‘websrvs:dbsrvs:&appsrvs:!ftpsrvs’ –m ping
正则表达式
ansible “websrvs:&dbsrvs” –m ping
ansible “~(web|db).*\.magedu\.com” –m ping
逻辑与
 
ansible命令执行过程
ansible命令执行过程
1. 加载自己的配置文件 默认/etc/ansible/ansible.cfg
2. 加载自己对应的模块文件，如command
3. 通过ansible将模块或命令生成对应的临时py文件，并将该 文件传输至远程服务器的对应执行用户$HOME/.ansible/tmp/ansible-tmp-数字/XXX.PY文件
4. 给文件+x执行
5. 执行并返回结果
6. 删除临时py文件，sleep 0退出
执行状态：
绿色：执行成功并且不需要做改变的操作
黄色：执行成功并且对目标主机做变更
红色：执行失败
 
ansible使用示例
示例 sudo 切换身份默认就是root，
以wang用户执行ping存活检测
ansible all -m ping -u wang -k
以wang sudo至root执行ping存活检测（用wang用户连接对方后,sudo到root身份执行操作）
ansible all -m ping -u wang –b -k
以wang sudo至mage用户执行ping存活检测
ansible all -m ping -u wang –b -k --become-user mage
以wang sudo至root用户执行ls
ansible all -m command -u wang --become-user=root -a 'ls /root' -b –k -K
ansible常用模块
Command：在远程主机执行命令，默认模块，可忽略-m选项
ansible srvs -m command -a ‘service vsftpd start’
ansible srvs -m command -a ‘echo magedu |passwd --stdin wang’ 不成功此命令
不支持 $VARNAME < > | ; & 等，用shell模块实现
 
Shell：和command相似，用shell执行命令
 vim /etc/ansible/ansible.cfg
1：ansible srv -m shell -a ‘echo magedu |passwd –stdin wang’
:2：调用bash执行命令 类似 cat /tmp/stanley.md | awk -F‘|’ ‘{print $1,$2}’ &>/tmp/example.txt 这些复杂命令，即使使用shell也可能会失败，解决办法：写到脚本时，copy到远程，执行，再把需要的结果拉回执行命令的机器
 
Script：运行脚本
 脚本模式、用于批量执行脚本
-a "/PATH/TO/SCRIPT_FILE“
snsible websrvs -m script -a f1.sh
在控制端的主机上编写一个脚本，但是运行是在被控制端的主机上
 
Copy:从服务器复制文件到客户端,
ansible srv -m copy -a “src=/root/f1.sh dest=/tmp/f2.sh owner=wang mode=600，backup=yes”
　　如目标存在，默认覆盖，此处指定先备份
ansible srv -m copy -a “content=‘test content\n’ dest=/tmp/f1.txt” 利用内容，直接生成目标文件
复制模块、批量复制，拷贝文件到远程主机
ansible [主机ip、主机组] -m copy -a "src=源文件 dest=目标路径 owner=所有者 mode=权限 backup=yes/no是否备份"
 
备份文件名称比较长的
 
Fetch（抓取）:把远程的主机文件抓取到控住端的主机上，copy相反，目录可先tar
ansible srv -m fetch -a ‘src=/root/a.sh dest=/data/scripts’
 
 
File：设置文件属性 (删除文件的效果，创建软硬连接）
ansible srv -m file -a "path(管理的文件)=/root/a.sh owner=wang mode=755“
ansible web -m file -a ‘src=/app/testfile dest=/app/testfile-link state=link(软连接)
ansible all -m file -a 'path(管理的文件)=/data state=absent(递归的删除，缺席)'
已经删除data文件夹
还可以[root@centos7 ~]# ansible all -m file -a 'path=/data/test.txt state=touch'
在被控制端的主机上创建test.txt 文件
创建软连接
 
 
Hostname：管理主机名
ansible node1 -m hostname -a “name=websrv”
永久生效，但hosts文件没有被改
 
Cron：计划任务
[root@centos7 ~]# ansible-doc -s cron 调用模块
支持时间：minute，hour，day，month，weekday
ansible srv -m cron -a “minute=*/5(每5分钟) job(后跟执行的命令)=‘/usr/sbin/ntpdate 172.16.0.1 &>/dev/null’
 
 
name=Synctime” 创建任务
 
ansible srv -m cron -a ‘state=absent name=Synctime’ 删除任务
结果
 
 Yum：管理包
ansible srv（all） -m yum -a ‘name=httpd state=latest(最新版)’ 安装
[root@centos7 ~]# scp /etc/yum.repos.d/media.repo 192.168.30.107:/etc/yum.
repos.d/media.repo 100% 140 64.3KB/s 00:00 
[root@centos7 ~]# ansible all -m yum -a 'name=httpd state=present'
ansible srv -m yum -a ‘name=httpd state=absent’ 删除
ansible常用模块
 
Service：管理服务 ansible-doc -s service
ansible all -m service -a 'name=httpd state=stopped'
ansible all -m service -a 'name=httpd state=started'
 
ansible all –m service –a ‘name=httpd state=reloaded’
ansible all -m service -a 'name=httpd state=restarted'
 
User：管理用户 
ansible all-m user -a 'name=user1 comment=“test user” uid=2048 home=/app/user1 group=root‘
ansible all -m user -a 'name=sysuser1 system=yes home=/app/sysuser1 ’
ansible all -m user -a ‘name=user1 state=absent remove=yes‘ 删除用户及家目录等数据
[root@centos7 ~]# ansible all -m user -a 'name=testuser(用户名) system=yes(系统账号) groups(组)=wang,bin shell=/bin/csh' （shell类型）
 
 
Group：管理组
ansible srv -m group -a "name=testgroup(组名) system=yes“
ansible srv -m group -a "name=testgroup state=absen(删除组)
 
ansible系列命令
ansible-galaxy （人们写的剧本，下载ansible剧本框架工具，根据自己的需求下载相关的角色）
连接 https://galaxy.ansible.com 下载相应的roles
列出所有已安装的galaxy
ansible-galaxy list(列出有哪些装好的角色)
安装galaxy
ansible-galaxy install geerlingguy.redis
删除galaxy
ansible-galaxy remove geerlingguy.redis
ansible-pull
推送命令至远程，效率无限提升，对运维要求较高
Ansible-playbook(剧本)
ansible-playbook hello.yml(剧本文件)
 
cat hello.yml
#hello world yml file
　　　　　　- hosts（主机清单）: websrvs （主机清单的分组名）
　　　　　　　　remote_user: root (远程连接以root身份)
　　tasks:(任务) 
　　　　　　- name: hello world(之后要做的事)
　　　　　　　　ommand: /usr/bin/wall hello world （是-a后的所有的操作）
 
[root@centos7 ~]# vim hello.yml
[root@centos7 ~]# ansible-playbook hello.yml 用次命令执行
 
 Ansible-vault
功能：管理加密解密yml文件
ansible-vault [create|decrypt|edit|encrypt|rekey|view]
ansible-vault encrypt hello.yml 加密
ansible-vault decrypt hello.yml 解密
ansible-vault view hello.yml 查看
ansible-vault edit hello.yml 编辑加密文件
ansible-vault rekey hello.yml 修改口令
ansible-vault create new.yml 创建新文件
Ansible-console：2.0+新增，可交互执行命令，支持tab
root@test (2)[f:10] $
执行用户@当前操作的主机组 (当前组的主机数量)[f:并发数]$
设置并发数： forks n 例如： forks 10
切换组： cd 主机组 例如： cd web
列出当前组主机列表： list
列出所有的内置命令： ?或help
示例：
root@all (2)[f:5]$ list
root@all (2)[f:5]$ cd appsrvs
root@appsrvs (2)[f:5]$ list
root@appsrvs (2)[f:5]$ yum name=httpd state=present
root@appsrvs (2)[f:5]$ service name=httpd state=started