pytest是一个python的单元测试框架,可以用于自动化测试中。
官方文档:pytest: helps you write better programs — pytest documentation
特性
断言失败时提供详细信息
自动发现模块和方法
使用模块化的管理小的或者参数化长期存在的测试资源
可以运行unittes测试固件
python3.8以上
丰富的插件800+
安装pytest
pip install -U pytest
第一个测试
# content of test_sample.py
def func(x):
return x + 1
def test_answer():
assert func(3) == 5
直接在命令行输入pytest即可运行
或者运行时指定运行的测试文件
pytest -q test_sysexit.py
The
-q/--quiet
flag keeps the output brief in this and following examples.
如何触发pytest测试
How to invoke pytest — pytest documentation
在模块中运行测试
pytest test_mod.py
在目录中运行测试
pytest testing/
按关键字表达式运行测试
pytest -k 'MyClass and not method'
按标记表达式运行测试
pytest -m slow
用例规则
pytest命令执行测试时,如果我们不指定具体的文件,PyTest默认从当前路径及其所有子目录中搜索py源文件,所有名字以test_开头或者以_test结尾的python源文件(.py文件)被认为是测试模块源文件,不符合这个命名规则的文件会被忽略。
●测试类(class)命名:默认以“Test”开头。
对于Pytest框架代码,你可以不把测试用例放置到class中,而是直接定义函数
测试固件
函数中的测试固件
●setup_module、teardown_module,在整个文件的开始和最后执行一次。
●setup_function和teardown_function,在每个函数开始前后执行。
import pytest
'''
在函数中使用
1.setup_module、teardown_module,在整个文件的开始和最后执行一次
2.setup_function和teardown_function,在每个函数开始前后执行
'''
def setup_module():
print('setup_module')
def teardown_module():
print('teardown_module')
def setup_function():
print('setup_function')
def teardown_function():
print('teardown_function')
def test_a():
print('aaaa')
assert 'a' == 'a'
def test_b():
print('bbbb')
assert 'b' == 'b'
if __name__ == '__main__':
pytest.main(["-s", "test_string_process.py"])
输出
test_string_process.py setup_module
setup_function
aaaa
.teardown_function
setup_function
bbbb
.teardown_function
teardown_module
(2)class中的测试固件
●setup_class、teardown_class,在整个class的开始和最后执行一次。
●setup_method和teardown_method,在每个方法开始前后执行。
import pytest
'''
在class中使用
1.setup_class、teardown_class,在整个class的开始和最后执行一次
2.setup_method和teardown_method,在每个方法开始前后执行
'''
class Test01():
def setup_class(self):
print('setup_class')
def teardown_class(self):
print('teardown_class')
def setup_method(self):
print('setup_method')
def teardown_method(self):
print('teardown_method')
def test_a(self):
print('aaaa')
assert 'a' == 'a'
def test_b(self):
print('bbbb')
assert 'b' == 'b'
if __name__ == '__main__':
pytest.main(["-s", "./test_11_4.py"])
输出
test_string_process.py setup_class
setup_method
aaaa
.teardown_method
setup_method
bbbb
.teardown_method
teardown_class============================== 2 passed in 0.02s ==============================
(3)setup和teardown
setup和teardown既可以应用在函数中,也可以应用在class中,作用对象是函数或方法。
import pytest
def setup_module():
print('setup_module')
def teardown_module():
print('teardown_module')
def setup():
print('setup')
def teardown():
print('teardown')
def test_a():
print('aaaa')
assert 'a' == 'a'
def test_b():
print('bbbb')
assert 'b' == 'b'
if __name__ == '__main__':
pytest.main(["-s", "./test_11_5.py"])
输出
test_string_process.py setup_module
setup
aaaa
.teardown
setup
bbbb
.teardown
teardown_module
断言
如何在测试中编写和报告断言 — pytest 文档
断言(assert)并不是PyTest框架的功能特性,而是Python的内置语言特性,用于检查指定的表达式的结果是否为True。
PyTest使用assert来表达正确的测试逻辑期望。一个测试用例可以写多个断言,当有一个断言失败时,PyTest就认为测试的结果为失败,该测试用例的执行会被终止。
import pytest
'''
pytest的断言更灵活
'''
class Test01():
def setup_class(self):
print('setup_class')
def teardown_class(self):
print('teardown_class')
def setup_method(self):
print('setup_method')
def teardown_method(self):
print('teardown_method')
def test_a(self):
print('aaaa')
assert 5 > 3 # Python比较运算符
def test_b(self):
print('bbbb')
assert 'Storm' in 'Hello Storm' # 成员运算符
if __name__ == '__main__':
pytest.main(["-s", "./test_11_8.py"])
测试执行
main函数
(1)执行同级和下级目录所有符合条件的测试使用pytest.main(["-s"])执行当前文件所在目录下所有符合条件的测试用例
import pytest
def test_b():
print('bbbb')
assert 'Storm' in 'Hello Storm'
if __name__ == '__main__':
pytest.main(["-s"])
.-s参数,关闭捕捉,输出信息。使用-v参数则不会在控制台输出信息。
(2)pytest.main(["-s", "test_11_10.py"])
在调试脚本的时候,如果我们希望脚本只执行当前文件,那么可以直接传递文件参数名
(3)pytest.main(["-s", "./test_11_11.py::Test02"])
在class风格的脚本中,调试的时候还可以通过在文件名后加两个冒号和class名来指定执行某个class。
命令窗口执行
(1)执行当前目录所有测试用例首先进入目标目录,然后直接执行“pytest”即可自动寻找当前目录下的测试用例
(2)执行指定的用例文件“pytest+文件名”用来执行指定用例文件
(3)执行指定的用例类我们可以通过“文件名+::+类名”的方式来执行指定的用例类
失败重跑
Pytest本身不支持测试用例执行失败重试的功能。我们需要安装一个插件——pytest rerunfailures。然后就可以通过“--reruns重试次数”来设置测试用例执行失败后的重试次数。
在命令行使用
pytest test_11_12.py --reruns 2 ---reruns-delay 2
表示重试两次,时间间隔为2秒
标记机制
Pytest提供了标记机制,借助“mark”关键字,我们可以对测试函数(类、方法)进行标记。
对测试用例进行分级,例如某些主流程的用例可以标记为L1,次要流程的用例标记为L2等。这样有一个好处,我们可以在不同的情况执行不同的测试用例,例如,在做冒烟测试的时候,只需要执行L1级别的用例就行了。
●一个测试函数(类、方法)可以有多个标记。
●一个标记也可以应用于多个函数(类、方法)。
●执行参数使用:pytest -m mark名。
●执行多个标记:pytest -m "L1 or L2"。
import pytest
class Test01():
@pytest.mark.L1
@pytest.mark.L2
def test_a(self):
print('aaaa')
assert 'a' == 'a'
@pytest.mark.L2
def test_b(self):
print('bbbb')
assert 'b' == 'b'
class Test02():
@pytest.mark.L1
def test_c(self):
print('cccc')
assert 'c' == 'c'
@pytest.mark.L3
def test_d(self):
print('dddd')
assert 'd' == 'd'
只执行L1级别
pytest -s "test_string_process.py" -m "L1"
执行L1和L2
pytest -s "test_string_process.py" -m "L1 or L2"
执行非L1
pytest -s "test_string_process.py" -m "not L1"
跳过用例
(1)使用skip(reason=None)实现无条件跳过
import pytest
class Test01():
@pytest.mark.skip(reason='这里是原因')
def test_a(self):
print('aaaa')
assert 'a' == 'a'
def test_b(self):
print('bbbb')
assert 'b' == 'b'
if __name__ == '__main__':
pytest.main(["-s", "./test_11_14.py"])
(2)使用skipif(condition, reason=None)实现满足条件跳过
import pytest
class Test01():
@pytest.mark.skipif(2>1, reason='这里是原因')
def test_a(self):
print('aaaa')
assert 'a' == 'a'
def test_b(self):
print('bbbb')
assert 'b' == 'b'
if __name__ == '__main__':
pytest.main(["-s", "./test_11_14.py"])
全局设置
前面我们介绍的配置信息要么是在文件的main方法中,要么是在命令行。这里我们还可以在测试目录下面创建一个pytest.ini文件,文件中可以设定一些执行规则,借助该文件可以修改Pytest的默认行为,即可以修改Pytest的执行规则。
然后,我们就可以将一些配置信息写入pytest.ini文件。这里需要注意以下3点。
●文件名必须是pytest.ini。
●文件内容必须以“[pytest]”开头。
●文件内容不能包含中文。
通过关键字“addopts”来设置命令行参数,如“-s”或“-v”监控、失败重试的次数、重试的时间间隔、按标签来执行,多个参数之间用空格分隔
将自定义标签添加到pytest.ini文件中。
自定义测试用例查找规则
●在当前文件目录中的testcases目录下查找测试用例:testpaths = testcases。
●查找文件名以“test_”开头的文件,也可以修改为以其他文件名开头:python_file =test_*.py。
●查找以“Test*”开头的类,也可以修改为以其他类名开头:python_classes =Test*。
●查找以“test_”开头的函数,也可以修改为以其他函数名开头:python_functions = test_*。
[pytest]
addopts = -v --reruns 2 --reruns-delay 2 -m "L1"
markers = L1:level_1 testcases
L2:level_2 testcases
testpaths = testcases
python_file = test_*.py
python_classes = Test*
python_functions = test_*
注意需要进入testcases文件夹的终端命令行输入pytest,既可以按照配置文件执行用例。
合理使用pytest.ini文件能方便地控制测试用例执行的情况。
测试报告
Pytest框架支持多种形式的测试报告。将分别介绍pytest-html和Allure两种测试报告
pytest-html
安装,安装好以后,我们只需要在执行“pytest”命令的时候指定--html参数。
pip install pytest-html
pytest --html=report.html
生成的html文件打开即为报告。
import pytest
class TestStorm1(object):
@pytest.mark.L1
def test_01(self):
print('aaa')
assert 'a'=='a'
if __name__ == '__main__':
pytest.main(["-s", "test_storm_1.py", "--html=./report.html"])
也可以将测试报告的配置项放到pytest.ini文件
allure测试报告
Allure基于Java开发,因此我们需要提前安装Java 8或以上版本的环境。
◆安装allure-pytest插件在DOS窗口输入命令“pip3 install allure-pytest”,然后按“Enter”键。
下载安装Allure:你可以从GitHub下载安装文件“allure2-2.13.3.zip”,解压后,将bin目录配置到环境变量中,然后在DOS窗口中输入“allure”,并按“Enter”键,如果显示“Usage”的话,说明设置成功。
使用如下命令执行:pytest.main(["-m","login","-s","-q","--alluredir=./report"])。
●“-m”:标记用例。
●“login”:被标记需要执行用例。
●“-s”:允许终端在测试执行时输出某些结果,例如你想输入print的内容,可以加上“-s”。
●“-q”:简化输出结果。
●“--alluredir”:生成Allure指定语法。
●“./report”:生成报告的目录。
●“--clean-alluredir”:因为这个插件库allure-pytest生成了报告文件,你第二次执行时不会清理掉里面的东西,所以你需要删除这个report文件夹,然后执行重新新建report文件夹命令。说明:命令执行后,程序会在report文件夹里面生成文件。
定制报告
●feature:标注主要功能模块。
●story:标注features功能模块下的分支功能。
●severity:标注测试用例的重要级别。
blocker级别:致命缺陷。critical级别:严重缺陷。normal级别:一般缺陷,默认为这个级别。minor级别:次要缺陷。trivial级别:轻微缺陷。
●step:标注测试用例的重要步骤。
●attach:用于向测试报告中输入一些附加的信息,通常是一些测试数据信息。
●name就是附件名称,body就是数据,attachment_type就是传类型。附件支持的类型有TEXT、HTML、XML、PNG、JPG、JSON、OTHER。
●issue:这里传的是一个连接,记录的是你的问题。
●testcase:这里传的是一个连接,记录的是你的用例。
●description:描述用例信息。
import pytest,allure
@allure.feature("测试场景1") #标记场景
class TestDemo():
@allure.story("测试用例1-1") # 标记测试用例
@allure.severity("trivial") # 标记用例级别
def test_1_1(self): # 用例1
a = 1 + 1
assert a == 2
@allure.story("测试用例1-2")
@allure.severity("critical")
@allure.step('用例2:重要步骤')
def test_1_2(self):
assert 2 == 2
通过main来执行测试用例,这时候程序会在report文件夹中生成一些JSON格式的文件
接下来回到DOS窗口,执行“allure generate --clean report”命令,可以看到新生成了一个allure-report文件夹,可以用浏览器打开index.html文件了
●区域一:显示报告生成的时间,执行的时间,一共执行了多少个测试用例,环状图显示用例通过的比例。
●区域二:显示的是测试集合(class)情况。
●区域三:显示的是测试场景(@allure.feature)。
●区域四:显示失败用例的信息。
Pytest参数化
Pytest自身支持参数化,使用方法为@pytest.mark.parametrize("argnames",argvalues)。●argnames:参数名称,单个参数用参数名,多个参数可以拼接到一个元组中。
●argvalues:参数对应值,类型必须为可迭代类型,一般为列表。
from selenium import webdriver
import pytest
data = [('admin', 'error', '0'), ('admin', 'rootroot', '1')]
@pytest.mark.parametrize(("username", "password", "status"), data)
class TestLogin():
def setup(self):
self.driver = webdriver.Chrome()
self.driver.maximize_window()
self.driver.implicitly_wait(20)
# 访问"登录"页面
self.driver.get('http://localhost:81/redmine/login')
def teardown(self):
self.driver.quit()
def test_001_login(self, username, password, status):
# 登录名
login_name = self.driver.find_element_by_id('username')
login_name.clear()
login_name.send_keys(username)
# 登录密码
login_pwd = self.driver.find_element_by_id('password')
login_pwd.clear()
login_pwd.send_keys(password)
# "登录"按钮
login_btn = self.driver.find_element_by_id('login-submit')
login_btn.click()
if status == '0':
# 登录失败后的提示信息
ele = self.driver.find_element_by_id('flash_error')
assert '无效的用户名或密码' in self.driver.page_source
elif status == '1':
# 登录后显示的用户名
name = self.driver.find_element_by_link_text(username)
assert name.text == username
else:
print('参数化的状态只能传入0或1')
if __name__ == '__main__':
pytest.main(['-s', '-q', '--alluredir', './report/'])
并发运行测试用例集
当你的测试用例比较多时,最好可以通过并发测试来减少测试整体的运行时间。pytest 支持并发测试,并且有不同的并发测试库,其中如下两个比较著名:
- pytest-parallel
pip install pytest-parallel
运行:使用 pytest-parallel 运行,需要指定参数。
–workers (optional) X
多进程运行, X 是进程数,默认值 1。
–tests-per-worker (optional) X
多线程运行, X 是每个 worker 运行的最大并发线程数, 默认值1。
注意:这个插件仅仅支持 python 3.6 版本及以上,而且如果你想多进程并发,必须跑在 Unix 或者 Mac 机器上,windows 环境仅仅支持多线程运行。
1. pytest --workers 2 #指定2个进程并发
2. #指定2个进程并发,每个进程最多运行3个线程
3. pytest --workers 2 --test-per-worker 3
固件fixture
Fixture可以看作是一种特殊的函数,它可以在测试用例执行前后执行一些预设或清理的操作。它常用于设置和清理测试环境,例如创建和删除临时文件、启动和关闭服务器等。
如何使用夹具 — pytest 文档