scsi特点
设备无关性
多设备并行
高带宽
地系统开销
iSCSI Target: scsi-target-utils
3260
客户端认证方式
基于IP
基于用户，CHAP
iSCSI Initiator: iscsi-initiator-utils
open-iscsi
tgtadm模式化的命令
--mode
常用模式：target、logicalunit、account
target --op
new、delete、show、update、bind、unbind
logicalunit --op
new、delete
account --op
new、delete、bind、unbind
--lld, -L
--tid, -t
--lun, -l
--backing-store <path>, -b
--initiator-address <address>, -I
-T, --targetname <targetname>
targetname:
iqn.yyyy-mm.<reversed domain name>[:identifier]
iqn.2013-05.com.magedu:tstore.disk1
iscsiadm模式化的命令
-m {discovery|node|session|iface}
discovery: 发现某服务器是否有target输出，以及输出了哪些target；
node: 管理跟某target的关联关系；
session: 会话管理
iface: 接口管理
iscsiadm -m discovery [ -d debug_level ] [ -P printlevel ] [ -I iface -t type -p ip:port [ -l ] ]
-d：有效范围0-8
-I：接口
-t type：SendTargets(st), SLP, and iSNS
-p : IP:port 默认3260
iscsiadm -m discovery -d 2 -t st -p 172.16.100.100
iscsiadm -m node [ -d debug_level ] [ -L all,manual,automatic ] | [ -U all,manual,automatic ]
iscsiadm -m node [ -d debug_level ] [ [ -T targetname -p ip:port -I ifaceN ] [ -l | -u ] ] [ [ -o operation ] [ -n name ] [ -v value ] ]
iscsi-initiator-utils:
不支持discovery认证；
如果使用基于用户的认证，必须首先开放基于IP的认证；
服务端
#yum -y install scsi-target-utils
#tgtadm --lld iscsi --mode target --op new --targetname iqn.2017-01.cn.atang:teststore.disk1 --tid 1 创建target
#tgtadm --lld iscsi --mode target --op show 查看tgtadm
#tgtadm --lld iscsi --mode logicalunit --op new --tid 1 --lun 1 --backing-store /dev/sda5 添加lun
#tgtadm --lld iscsi --mode target --op bind --tid 1 --initiator-address 172.16.0.0/16
客户端
#yum -y install iscsi-initiator-utils
#echo "InitiatorName=`iiscsi-iname -p iqn.2017-01.cn.atang">/dec/iscsi/initiatorname.iscsi 也可以定义别名InitiatorAlias=node1.atang.cn
#iscsiadm -m discovery -d 2 -t st -p 172.16.100.100 发现target
#iscsiadm -m node -T iqn.2017-01.cn.atang:teststore.disk1 -p 172.16.100.100 -l 登录
#fdisk -l 发现硬盘后可以进行分区格式化
基于用户名登录
客户端
#iscsiadm -m node -T iqn.2017-01.cn.atang:teststore.disk1 -p 172.16.100.100 -u 登出
#iscsiadm -m node -T iqn.2017-01.cn.atang:teststore.disk1 -p 172.16.100.100 -o delete 删除相关数据库
#tgtadm --lld iscsi -m target --op unbind --tid 1 --initiator-address 172.16.0.0/16
服务端
#tgtadm --lld iscsi --op new --mode account --user iscsiuser --password mypass
#tgtadm --lld iscsi --op new --mode account --user myuser --password mypass
#tgtadm --lld iscsi --op bind --mode account --tid 1 --user iscsiuser
#tgtadm --lld iscsi --op bind --mode account --tid 1 --user myuser --outgoing
cman, rgmanger, gfs2-utils
mkfs.gfs2
-j #: 指定日志区域的个数，有几个就能够被几个节点所挂载；
-J #: 指定日志区域的大小，默认为128MB;
-p {lock_dlm|lock_nolock}:
-t <name>: 锁表的名称，格式为clustername:locktablename, clustername为当前节点所在的集群的名称，locktablename要在当前集群惟一；cLVM: 共享存储做成LVM
借用HA的机制
/etc/lvm/lvm.conf
locking_type = 3
ISCSI安装配置
Internet iStorage Name Service Server
The Internet Storage Name Service (iSNS) protocol is used for interaction between iSNS servers and iSNS clients. iSNS clients are computers, also known as initiators, that are attempting to discover storage devices, also known as targets, on an Ethernet network. iSNS facilitates automated discovery, management, and configuration of iSCSI and Fibre Channel devices (using iFCP gateways) on a TCP/IP network.
iSCSI Drvier Feature:
支持数据报文首部或数据验正；
CHAP认证
MultiPATH
动态target discover
Target:
1、准备要共享的设备，这里使用本地磁盘上的新分区：
# fdisk -l
建立所需要的新分区
# fdisk /dev/sda
# partprobe
2、安装iscsi服务端：
# yum -y install scsi-target-utils
# service tgtd start
# chkconfig tgtd on
# netstat -tnlp | grep 3260
3、服务端配置管理工具tgtadm的使用：
tgtadm --lld [driver] --op [operation] --mode [mode] [OPTION]...
(1)、添加一个新的 target 且其ID为 [id]， 名字为 [name].
--lld [driver] --op new --mode target --tid=[id] --targetname [name]
(2)、显示所有或某个特定的target:
--lld [driver] --op show --mode target [--tid=[id]]
(3)、向某ID为[id]的设备上添加一个新的LUN，其号码为[lun]，且此设备提供给initiator使用。[path]是某“块设备”的路径，此块设备也可以是raid或lvm设备。lun0已经被系统预留。
--lld [driver] --op new --mode=logicalunit --tid=[id] --lun=[lun] --backing-store [path]
(4)、删除ID为[id]的target:
--lld [driver] --op delete --mode target --tid=[id]
(5)、删除target [id]中的LUN [lun]：
-lld [driver] --op delete --mode=logicalunit --tid=[id] --lun=[lun]
(6)、定义某target的基于主机的访问控制列表，其中，[address]表示允许访问此target的initiator客户端的列表：
--lld [driver] --op bind --mode=target --tid=[id] --initiator-address=[address]
(7)、解除target [id]的访问控制列表中[address]的访问控制权限：
--lld [driver] --op unbind --mode=target --tid=[id] --initiator-address=[address]
例如：
(1)创建一个target:
# tgtadm --lld iscsi --op new --mode target --tid 1 -T iqn.2013-05.cn.amd5:tsan.disk1
(2)显示所有：
# tgtadm --lld iscsi --op show --mode target
(3)显示刚创建的target:
# tgtadm --lld iscsi --op show --mode target --tid 1
(4)创建LUN，号码为1:
# tgtadm --lld iscsi --op new --mode logicalunit --tid 1 --lun 1 -b /dev/sda5
(5)开放给192.168.0.0/24网络中的主机访问：
# tgtadm --lld iscsi --op bind --mode target --tid 1 -I 172.16.0.0/16
其中的-I相当于--initiator-address
(6)Create a new account:
# tgtadm --lld iscsi --op new --mode account --user christina --password 123456
# tgtadm --lld iscsi --op show --mode account
Assign this account to a target:
# tgtadm --lld iscsi --op bind --mode account --tid 1 --user christina
# tgtadm --lld iscsi --op show --mode target
(7)Set up an outgoing account. First, you need to create a new account like the previous example
# tgtadm --lld iscsi --op new --mode account --user clyde --password 123456
# tgtadm --lld iscsi --op show --mode account
# tgtadm --lld iscsi --op bind --mode account --tid 1 --user clyde --outgoing
# tgtadm --lld iscsi --op show --mode target
客户端配置:
# yum install iscsi-initiator-utils
# echo "InitiatorName=`iscsi-iname -p iqn.2013-05.cn.amd5`" > /etc/iscsi/initiatorname.iscsi
# echo "InitiatorAlias=initiator1" >> /etc/iscsi/initiatorname.iscsi
# service iscsi start
# chkconfig iscsi on
2、iscsiadm工具的使用：
iscsiadm是个模式化的工具，其模式可通过-m或--mode选项指定，常见的模式有discoverydb、node、fw、session、host、iface几个，如果没有额外指定其它选项，则discoverydb和node会显示其相关的所有记录；session用于显示所有的活动会话和连接，fw显示所有的启动固件值，host显示所有的iSCSI主机，iface显示/var/lib/iscsi/ifaces目录中的所有ifaces设定。
iscsiadm -m discovery [ -d debug_level ] [ -P printlevel ] [ -I iface -t type -p ip:port [ -l ] ]
iscsiadm -m node [ -d debug_level ] [ -P printlevel ] [ -L all,manual,automatic ] [ -U all,manual,automatic ] [ [ -T tar-getname -p ip:port -I iface ] [ -l | -u | -R | -s] ] [ [ -o operation ]
-d, --debug=debug_level 显示debug信息，级别为0-8；
-l, --login
-t, --type=type 这里可以使用的类型为sendtargets(可简写为st)、slp、fw和 isns，此选项仅用于discovery模式，且目前仅支持st、fw和isns；其中st表示允许每个iSCSI target发送一个可用target列表给initiator；
-p, --portal=ip[:port] 指定target服务的IP和端口；
-m, --mode op 可用的mode有discovery, node, fw, host iface 和 session
-T, --targetname=targetname 用于指定target的名字
-u, --logout
-o, --op=OPEARTION：指定针对discoverydb数据库的操作，其仅能为new、delete、update、show和nonpersistent其中之一；
-I, --interface=[iface]：指定执行操作的iSCSI接口，这些接口定义在/var/lib/iscsi/ifaces中；
# iscsiadm -m discovery -t sendtargets -p 192.168.0.11
# iscsiadm -m node -T iqn.2010-8.com.example.ts:disk1 -p 192.168.0.11:3260 -l
# iscsiadm -m node -T iqn.2010-8.com.example.ts:disk1 -p 192.168.0.11:3260 -u
# iscsiadm -m node -T iqn.2010-8.com.example.ts:disk1 -p 192.168.0.11:3260 -o delete
查看会话相关信息：
# iscsiadm -m session -s
挂载时使用_netdev作为选项
CHAP： 单向
创建服务端谁所需要的帐号，并实现单方向的认证：
1、在target端创建帐号christina，并为其授予访问某tid的权限：
# tgtadm --lld iscsi --op new --mode account --user mageedu --password 123456
接下来还要将用户与某target进行绑定：
# tgtadm --lld iscsi --op bind --mode account --tid 1 --user mageedu
# tgtadm --lld iscsi --op show --mode account
2、编辑initiator端主配置文件，配置客户端登录target时使用此帐号和密码：
# vim /etc/iscsi/iscsid.conf
取消如下项的注释：
# node.session.auth.authmethod = CHAP
# node.session.auth.username = username
# node.session.auth.password = password
而后，将后两项的用户名密码设置为target端设置的用户名和密码：
node.session.auth.username = christina
node.session.auth.password = 123456
哪果此前尚未登录过此target，接下来直接发现并登入即可。否则，则需要按照下面的第三步实现认证的启用。
3、如果initiator端已经登录过此target，此时还需要先注销登录后重启iscsid服务，并在删除此前生成的database后重新发现target，并重新登入，过程如下：
# iscsiadm -m session -r sid -u
# iscsiadm -m node -T iqn.2010-8.com.example.ts:disk1 -p 192.168.0.11:3260 -u
# iscsiadm -m node -T iqn.2010-8.com.example.ts:disk1 -p 192.168.0.11:3260 -o delete
# rm -rf /var/lib/iscsi/nodes/iqn.2010-08.com.example.tgt:disk1
# rm -rf -rf /var/lib/iscsi/send_targets/192.168.0.11,3260
# service iscsid restart
# iscsiadm -m discovery -t sendtargets -p 192.168.0.11
# iscsiadm -m node -T iqn.2010-8.com.example.ts:disk1 -p 192.168.0.11:3260 -l
说明：其中的target名字和target主机地址可能需要按照您的实际情况修改。
FreeNAS
Openfiler
fence_manual
lvmconf --enable-cluster
cman
rgmanager
clvmd
创建一个GFS文件系统：
需要提供的信息：
1、锁类型：
lock_nolock
lock_dlm
2、锁文件的名字，通常即文件系统名
cluster_name:fs_name
3、日志的个数，通常一个节点对应一个日志文件，但建议提供比节点数更多的日志数目，以提供冗余；
4、日志文件大小
5、文件系统大小
Syntax: gfs_mkfs -p lock_dlm -t ClusterName:FSName -j Number -b block_size -J journal_size BlockDevice
如：
# gfs_mkfs -p lock_dlm -t gfscluster:gfslv -j 5 /dev/vg0/gfslv
可以通过其对应挂载点查看gfs文件系统属性信息；
# gfs_tool df /mount_point
挂载GFS文件系统：
mount -o StdMountOpts,GFSOptions -t gfs DEVICE MOUNTPOINT
前提：挂载GFS文件的主机必须是对应集群中的节点；
挂载GFS文件时有如下常用选项可用：
lockproto=[locl_dlm,lock_nolock]
locktable=clustername:fsname
upgrade # GFS版本升级时有用
acl
如果不想每一次启用GFS时都得指定某选项，也可以通过类似如下命令为其一次性指定:
# gfs_tool margs "lockproto=lock_dlm,acl"
载入相应的gfs模块，并查看lv是否成功
# modprobe gfs
# modprobe gfs2
# chkconfig gfs on
# chkconfig gfs2 on
# chkconfig clvmd on
# /etc/init.d/gfs restart
# /etc/init.d/gfs2 restart
# /etc/init.d/clvmd restart
# lvscan
lvmconf --enale-cluster
Openfiler, NAS, SAN
FreeBSD, AIX, power
/lib64
Openfiler: CentOS
NAS: nfs, samba
SAN: IPSAN
webGUI
FreeNAS:
FreeBSD
tgtd
iscsitarget
tgtadm --lld iscsi --op new --mode account --user iscsiuser --password mypass
tgtadm --lld iscsi --op new --mode account --user myuser --password mypass
tgtadm --lld iscsi --op bind --mode account --tid 1 --user iscsiuser
tgtadm --lld iscsi --op bind --mode account --tid 1 --user myuser --outgoing
<target iqn.2012-11.cn.amd5:tgt.target1>
backing-store /dev/sdb
incominguser iscsiuser mypass
outgoinguser myuser mypass
</target>
/etc/iscsi/iscsid.conf
