Test Automation за API с Postman, Newman и Jenkins

Какво е Test Automation?

Тестова автоматизация е използването на софтуер за контрол на изпълнението на тестове и сравняване на реалните резултати с очакваните резултати.

За да обясним как се постига пълна автоматизация на тестването на API, се нуждаем от инструменти като Postman, Newman и Jenkins.

Postman

Първата програма, която ще използваме, за да направим автоматизация на тест, е Postman. Ето нещо като дефиниция за Postman:

Главната цел на Postman е да помогне за бързото разработване на API, като позволява лесно създаване на заявки и изграждане на работни потоци (workflows), използвайки колекции.

Заобикаляща среда (Environment)

Преди да започнем да създаваме тестове, първо трябва да установим средата за сървъра, в която ще изпълняваме тестовете. За да направим това, отиваме на Manage environments → Add. След това започваме да добавяме двойките ключ-стойност за променливите, където ключът е името на променливата. Тези променливи ще бъдат използвани многократно в заявките.

За пример в тази статия ще изберем следното API: swapi.co/api и така ще използваме променлива, която ще наречем host:

Това API не се нуждае от удостоверяване на потребител, за да бъде използвано. Ако имаме нужда от такова удостоверяване, можем да запазим в environment променливите параметрите id и password.

Колекции

Postman работи с колекции, в които се съхраняват заявките, така че първото нещо, което трябва да направим е да създадем Колекция, на която ще дадем Име (задължително) и Описание.

След това можем да създадем първата си заявка, която ще изглежда подобно на тази:

В този пример се опитваме да получим списък на космическите кораби, така че на снимката на екрана може да се види:

Името
Методът: Може да е GET, POST, PUT, DELETE…
API: Пълният път би трябвало да е: swapi.co/api/starships, но ние съхранихме swapi.co/api в променливата host, така че просто може да напишем {{host}}.
Environment.

Втората част от една заявка е секцията Тестове, където задаваме твърдения (asserts), за да проверим дали информацията, върната от сървъра, е тази, която очакваме и също така да създадем нова среда (environment) и глобални променливи за съхраняване на стойностите. Например:

В този тест задаваме твърдение (assert), с което проверяваме Статус кода на заявката дали e ОК (200), и един цикъл, в който търсим специфична информация, която ще запомним в environment променлива. От дясната страна на екрана имаме серия от парченца, откъси (snippets), които ни помагат да създадем тестовете.

Следващата стъпка ще бъде да запомним заявката – чрез клик на “Save” и избиране къде да я запазим. Можем да изберем да я запомним директно в Колекцията.

А може да я запомним в Папка. Записването на заявките в папки е полезно, ако искаме да отделим изпълнението на някои заявки от останалите:

Изпълнение на Тестовете

За да изпълним заявките, можем да кликнем на “Send”, но не забравяйте преди това да запазите заявките! След това можем да проверим в Body полученото в JSON формат с пълната информация за космическите кораби и резултатите от тестовете.

В нашия случай един тест е пропаднал, защото ние индикирахме, че очакваме повече от 100 космически кораби и ако погледнем в Body, ще видим, че са по-малко.

Когато имаме всички заявки и техните тестове, ще искаме да ги изпълним. За да направим това, ще трябва да отворим Collection Runner:

За да изпълним тестовете, е необходимо да следваме следните стъпки в указания ред:

Да изберем дали да изпълним цялата колекция или само някоя от нейните папки.
Да изберем средата (environment), където съхраняваме променливите.
Да зададем колко пъти (итерации) да бъдат изпълнени тестовете.
Стартиране на тестовете.

Сега можем да видим резултатите от теста от дясната страна на екрана. Най-отгоре е информацията за целия процес – колко тестове са преминали, колко не са, и колко време е било необходимо за изпълнението. Под тях можем да видим информация за всяка направена заявка.

Newman

Postman има Command Line версия, която се нарича Newman

Newman има много възможности, но ние ще се спрем само на една от тях: Позволява ни да интегрираме Postman колекции в системи за изграждане като Jenkins.

Инсталацията на Newman е сравнително лесна:

npm install -g newman

Но преди да започнем изпълнението на Колекциите, първо е необходимо да направиме кспорт от Postman. Трябва да направим експорт на средата (environment):

И на Колекцията:

Тези действия съхраняват един json за средата и още един за колекцията, в папка. Тази папка ще използваме в терминал при изпълнение на Newman.

Сега можем да изпълним цялата Колекция:

newman -c collection.json -e environment.json

Или само една папка:

newman -c collection.json -e environment.json -f Planets

И като изход можем да видим почти същото, което получихме като резултат от Postman: Изпълнението на всяка заявка и пълната информация от тестовете, които са преминали и на тези, които не са:

[tcb-script type=text/javascript src=https://asciinema.org/a/iLzj3SNz7F5DNz0ZbMa6EG1Rf.js id=asciicast-iLzj3SNz7F5DNz0ZbMa6EG1Rf async=][/tcb-script]

Jenkins

Финалната стъпка, за да приключим с aвтоматизацията на тестовете за API, е да инсталираме Newman на същия сървър, на който имаме Jenkins и да инсталираме някои плъгини:

Log Parser Plugin

Parsing Rules File: File with the rules and with the following content:

error /✗/

Email Extension Plugin

След това е необходимо да създадем нов job със следната информация:

Project name: Star Wars API (например)

Build → Add build step → Execute Shell и пишем на командния ред изпълнението на Newman така, както написахме локално:

newman -c path/collection.json -e path/environment.json -f Starships

Post-build Actions → Add post-build action → Console output (build log) parsing

След това в Select Parsing Rules избираме “Error parsing” (Описание)

Post-build Actions → Add post-build action → Editable Email Notification

И попълваме следната информация:

Advanced Settings → Add Trigger → Script – After Build

//да се изпрати имейл, само ако ✗ се среща в генерираните логове build.logFile.text.readLines().any { it =~ /.✗./ }

Save и Build Now…

Изходът в конзолата ще покаже същия резултат, като изпълнението на Newman локално + някои допълнителни редове, които се виждат, когато Jenkins прави проверките.

В случая, понеже при изпълнението на папката Starships има тест, който няма да премине, ще бъде изпратен имейл като този по-долу:

Тук виждаме, че в Subject има нещо, което е било грешно, а в Body, че изграждането е било успешно, както и връзка към изхода на конзолата за проверка на резултата. След като веднъж сме в конзолата, може да навигираме до “Parsed Console Output”, за да видим подчертаните в червено тестове, които не са преминали.

Постигането на пълна автоматизация на тестовете на API е лесно, ако следвате стъпките в тази статия, необходимо е само да настроите три програми и да не се тревожите повече. Jenkins ще изпрати имейл, ако нещо се обърка.

Автор: Милена Бакалова