跳到主要內容

Robotframework的Best Practice/Do與Don't

Introduction

幾年前剛開始用Robotframework時，並沒有明確的規範大家的coding style；但隨著開發人員的增加，不管是測試的分類、測試涵蓋規範、測試或關鍵字的命名，都隨著時間慢慢歪掉。為了:

測試利於維護；

測試容易閱讀；

容易建立user story與測試的連結。

以上原因，必須建立一些共識。而我認為面對到以下問題:

TestSuite、TestCase、變數、Keyword等命名準則。

如何決定一個TestSuite與其內的TestCases?

命名以外的Coding Style。

Naming

節錄自官方參考文件Robot Best Practice:

  • Suite Name: lower_case_with_underscores。
  • Keyword Name: Cap Words style。
  • Global Variable: ${CapWord}。
  • Page Element Variable: ${CapWord Locator}，包含xpath、id、name、text、css class等。
  • Test Steps: 使用Given/When/Then。

這是Robot建議的方式，假如有自己的規範也不一定要使用他們建議的。

Structure

Suite Structure

節錄自官方參考文件:

  • 要避免Testcase相依性，減少另一測試導致的錯誤；如果建立測試資料成本較大，可將共用行為放到Testsuite中。
  • 如果無法避免相依，相依chain別超過4-5個。後面的測試可以透過${PREV TEST STATUS}變數去確認前一個測試結果，以略過接下來的測試。

我認為其它可實踐的:

  • 在SuiteTeardown中，可放入抓取log或截圖動作。依照過往經驗，有時在SuiteSetup建置資料或最後TestTeardown都有可能發生錯誤；此時的抓取動作會有幫助的。

Test Structure

節錄自官方參考文件:

  • 嘗試使用Gherkin Style去描述測試: Given/When/Then。
  • Testcase第一層以Keyword組合而成，不牽扯底層實作。
  • 透過Test Template形式，去避免重複的workflow。
  • 每個Testcae都應該要伴隨著驗證行為，且要避免Testcase驗證其不相關的行為。
  • 在使用Template情況下，透過setup或teardown可減少重複動作執行。
  • 善用Teardown去還原測試環境，以避免影響到下一個測試。
  • 避免testcase level的變數賦予。

個人看法:

  • 使用Gherkin Style後，應能達到 1. 行為抽象化避免牽扯底層實作，只需寫必要表達的部分；2. 必會伴隨驗證行為； 3. 增加可讀性；Gherkin Style寫法本身就已經避免掉某些don't。
  • 當Test第一層Keyword夠淺顯易懂後，Test本身應不需特別寫文件的。
  • 在寫測試時，常會把相關的assertion放在同一個testcase中，這會因前面的錯而無法得知後面的是否正確。Data-Driven的方式也許可以解決這問題，但在keyword的設計上，就要仔細思考了；另外個方法就是一個測試驗證一個主要目標，但Testsuite的粒度就很重要了，否則會讓測試數量變得非常龐大。
  • Gherkin Style的作法會產生大量的新keyword，Robotframework本身提供兩個方法可減少此問題(reference):
    • Ignoring Given/When/Then/And/But prefixes: 舉例來說，keyword名稱假設為User login，你可以寫成Given User Login，也可以寫成When User Login。
    • Embedding data to keywords: 舉例來說，通常都是以參數型式寫成Click Element | ${link}，現在也可以寫成Click ${link}。這讓你keyword更像是一個句子。

練習

[TestSuite]
user_management.txt
[TestCase]
Add a user 
     Given User login
     When Interact with add user command
     Then You see the new user
Add an invalid user
     Given User login
     When Interact with add user command 
     And Input an invalid Name
     Then You see a feedback show the name is invalid

Thinking..

  1. 共用的行為該如何放置到Setup或Teardown中? 參考此篇
  2. data-driven方式該如何撰寫? 參考此篇

data-driven可搭配tempalte寫成以下形式:

*** Test Case ***
WebLinks are clickable
     [Template]     WebLink is clickable
     ## link name ##     ## expect content ##
     Home                 home content
     About                about content               
     EMail                email@hotmail.com
     
*** Keyword ***     
WebLink is clickable
     [Arguments]     ${link}     ${expect_content}
     Given I login the system
     When I click ${link}
     Then I can see ${expect_content}

命名以外的Coding Style

  • 如果會被重複使用的數值，可以透過變數減少Hardcode。
  • 避免透過複雜的邏輯去產生測試資料。
  • 將複雜的邏輯放到test libraries中。
  • 使用polling的方式去等待事件；避免使用sleep方式去等待事件。

Reference

與Coding Style相關的文章

Gherkin Style基本知識

標籤：

留言

張貼留言

這個網誌中的熱門文章

解決RobotFramework從3.1.2升級到3.2.2之後，Choose File突然會整個Hand住的問題

考慮到自動測試環境的維護，我們很久以前就使用java去執行robot framework。前陣子開始處理從3.1.2升級到3.2.2的事情，主要先把明確的runtime語法錯誤與deprecate item處理好，這部分內容可以參考: link 。 直到最近才發現，透過SeleniumLibrary執行Choose File去上傳檔案的動作，會導致測試案例timeout。本篇文章主要分享心路歷程與解決方法，我也送了一條issue給robot framework: link 。 我的環境如下: RobotFramework: 3.2.2 Selenium: 3.141.0 SeleniumLibrary: 3.3.1 Remote Selenium Version: selenium-server-standalone-3.141.59 首先並非所有Choose File的動作都會hang住，有些測試案例是可以執行的，但是上傳一個作業系統ISO檔案一定會發生問題。後來我透過wireshark去比對新舊版本的上傳動作，因為我使用 Remote Selenium ，所以Selenium會先把檔案透過REST API發送到Remote Selenium Server上。從下圖我們可以發現，在3.2.2的最後一個TCP封包，比3.1.2大概少了500個bytes。 於是就開始了我trace code之路。包含SeleniumLibrary產生要送給Remote Selenium Server的request內容，還有HTTP Content-Length的計算，我都確認過沒有問題。 最後發現問題是出在socket API的使用上，就是下圖的這支code: 最後發現可能因為開始使用nio的方式送資料，但沒處理到尚未送完的資料內容，而導致發生問題。加一個loop去做計算就可以解決了。 最後我有把解法提供給robot framework官方，在他們出新的版本之前，我是將改完的_socket.py放在我們自己的Lib底下，好讓我們測試可以正常進行。(shutil.py應該也是為了解某個bug而產生的樣子..)
張貼留言
閱讀完整內容

Show NIC selection when setting the network command with the device option

 Problem  在answer file中設定網卡名稱後，安裝時會停在以下畫面: 所使用的command參數如下: network --onboot = yes --bootproto =dhcp --ipv6 =auto --device =eth1 Diagnostic Result 這樣的參數，以前試驗過是可以安裝完成的。因此在發生這個問題後，我檢查了它的debug console: 從console得知，eth1可能是沒有連接網路線或者是網路太慢而導致的問題。後來和Ivy再三確認，有問題的是有接網路線的網卡，且問題是發生在activate階段: Solution 我想既然有retry應該就有次數或者timeout限制，因此發現在Anaconda的說明文件中( link )，有提到dhcptimeout這個boot參數。看了一些人的使用範例，應該是可以直接串在isolinux.cfg中，如下: default linux ksdevice = link ip =dhcp ks =cdrom: / ks.cfg dhcptimeout = 90 然而我在RHEL/CentOS 6.7與6.8試驗後都無效。 因此我就拿了顯示的錯誤字串，問問Google大師，想找一下Anaconda source code來看一下。最後找到別人根據Anaconda code修改的版本: link ，關鍵在於setupIfaceStruct函式中的setupIfaceStruct與readNetConfig: setupIfaceStruct: 會在dhcp時設定dhcptimeout。 readNetConfig: 在writeEnabledNetInfo將timeout寫入dhclient config中；在wait_for_iface_activation內會根據timeout做retry。 再來從log與code可以得知，它讀取的檔案是answer file而不是boot command line。因此我接下來的測試，就是在answer file的network command上加入dhcptimeout: network --onboot = yes --bootproto =dhcp --ipv6 =auto --device =eth1 --...
張貼留言
閱讀完整內容

Robot Framework - Evaluate該怎麼用?

Evaluate該怎麼用? 前言 Builtin的RobotFramework Library提供了Evaluate Keyword。它所提供的功能是「執行Python描述句」。但實際上到底有什麼用途呢?原本我僅僅拿來將string轉為int的功用，經過一些查詢與試驗，我將心得整理給大家。 Builtin Builtin的function可以參考Library Doc for Evaluate。我以有使用過的function做說明。 數字轉換 Python提供了int、long、float與complex等function讓你可以將字串轉為數字，也可以透過它們做四則運算。首先以字串轉數字為例，我將8設於${num_str}中，再透過Evaluate+int轉為數字。這裡必須注意的是: 「int()中放變數必須以單引號'括起」。否則，假如你設定的數字為08，在轉換int時會出現Syntax Error。 ${num_str} | Set Variable | 8 ${num} | Evaluate | int('${num_str}') 其中int與long的第二個參數為base，這是根據你的input所決定: Comment | num = 9 ${num} | Evaluate | int('11', 8) Comment | num = 11 ${num} | Evaluate | int('11', 10) Comment | num = 17 ${num} | Evaluate | int('11', 16) 其它還有像bin、oct、hex，可以將整數轉為2、8、16進位。 運算 四則運算: 直接將運算子加上即可: ${num} | Evaluate | int('${hour}')*60 + int('${min}') 指數: 可以用pow。以下面兩個例子來說，第一個是2的3次方為8，第二個是2的3次方再mod 7為1。需注意的是: 「傳入值必須是數字不可為字串」。 ${num} | Evaluate | pow(2,3) ${num} | Evaluate | pow(2,3,7) 取最大最小值: 使用max/min，可以選擇丟一個array的方式...
張貼留言
閱讀完整內容