Sikulix 在 mac 下的設定使用

Sikulix IDE  在 mac 使用基本上何在 Windows 下差不多，以下為設定步驟:

1. 確認是否有安裝 java:

可以在終端機界面下打以下指令確認。

java -version

如果有裝會顯示如下結果。

(base) ChundeMacBook-Pro:bin $ java -version
openjdk version "1.8.0_152-release"
OpenJDK Runtime Environment (build 1.8.0_152-release-1056-b12)
OpenJDK 64-Bit Server VM (build 25.152-b12, mixed mode)

因為 Oracle 對 Java 有一些限制，如果要避免的話，可以用 OpenJDK，可以到 OpenJDK官網下載對應 macOS / x64 的 tar.gz 檔，下載回來後執行以下指令解壓縮。

tar xf openjdk-xx.x.x_osx-x64_bin.tar.gz

解壓縮完會得到一個 jdk-xx.x.x.jdk 的目錄，在用以下指令搬到 JVM即可。

sudo mv jdk-xx.x.x.jdk /Library/Java/JavaVirtualMachines/

2.下載 Sikulix IDE 及 Jython stanalone jar 檔

在 Sikuli  官網下載頁面 ，下載上述二個 Jar 檔，並放置在同一目錄下，第一次執行前，請去 mac 系統偏好設定 ，設定安全性及隱私，允許 java 取得輔助使用及螢幕錄製的使用權，如下圖所示。

設定完在 Finder中點 Sikulix Jar 檔二下即可執行，這時會出現 Sikulix IDE 界面，此時如果你直接輸入簡單測試程式執行時，會出現下面錯誤訊息。

一開始本人也搞不清楚這是什麼問題，經過研究才發現，原來一開始開啟的介面，其適用的語言是 javascript ，這可由 Sikulix IDE 界面最右下角確認，如下圖所示。

這時只要選擇新增一個新的檔案即可，這時右下顯示的適用語言，就是 Jython 了，測試程式也可正常執行，如下圖所示。

經過此設定 Sikulix IDE 即可正常使用。

在 Win10 下如何設定 Sikuli 定時自動執行

在[Python,Sikuli] 如何定時執行程式，來將每日例行工作自動化。中，我們介紹如何用 Python 設定排程，來達到定時執行的功能，但這樣的作法還是需要我們每日開啟 Sikulix IDE 去執行該 Script，但事實上 Win10  我們可以結合 Win 10 工作排程器及 Sikulix 所提供的命令列語法來達成我們所要的效果，以下分別說明。

Sikulix 所提供的命令列語法

Sikulix 有提供命令列參數 -r 可供我們指定所要執行的 .sikuli 、.jar 、.skl (後兩者可由 Sikulix IDE產生)，使用格式如下:

 java -jar /path/sikulixide -r /path/test.[sikuli|jar|skl]

例如假設我們現有一個 test.sikuli 在 c:\test 目錄下，sikulixide 的 jar 檔在 c:\sikulix 目錄下，則在命令列模式下指令如下:

java -jar c:\sikulix\sikulixide.jar -r c:\test\test.sikuli

Win 10 工作排程器

Win10 內建的工作排程器可於 Window 系統管理工具找到，如下圖所示。

開啟工作排程器後直接選擇建立工作，如下圖黃色標示。

選擇後會進入到設定畫面，要依序完成上方紅色框內的五個頁面設定，如下圖所示。

首先第一個「一般」頁面基本上只要設定名稱就好了，在此範例我們設名稱為 TEST，後面進到「觸發程序」 ，這是設定如何啟動程序的條件，在這裡我們設定每日早上8點啟動，依下圖紅色數字順序設定即可完成。

接下來進到「動作」頁面，是設定我們要執行什麼動作，在這我們依下圖紅色數字順序，把在前面 Sikuli 範例指令鍵入後，按確定即可建立完成。

後面的「條件」與「設定」頁面則可視個人需求進行調整，在本例我們不需要調整，直接選擇確定即可。

設定完成後，選擇左手邊的「工作排程器程式庫」，即可在畫面中間看到我們所設的 TEST  工作，如想測試執行結果，可按右手邊的執行，如下圖順序所示。

如果執行成功，在中間畫面[上次執行結果]欄位，會顯示操作順利完成，如果無法行會出現工作尚未執行並有相關錯誤訊息，這時就要回到該工作的「動作」頁面重新設定所要執行的程序或指令。

結語

透過 Win10 工作排程器及 Sikuli ，我們可以做到定時自動執行功能，來達到簡便工作的目的，有興趣的朋友可多多嘗試。

[Python,Sikuli]如何將 Excel 內含有中文的資料轉存為 CSV 檔後讀入程式內使用

在如何用 Sikuli 來將重複性的工作自動化，讓省下來的時間從事更有生產力的工作並提升生活品質。 中有介紹到 Sikuli 主要是遵循 Python 2.7 (Jyhton) 語法，故在讀入，由Excel轉出內含中文的資料讀入程式時，也會遇到 Python 2.7 所遇到的問題，這問題可分為以下兩個部分:

CSV 檔格式的問題

由 Excel 轉出的 csv 檔並不能夠直接使用，必需要先用 notepad++ 之類的程式，將 csv 檔轉為 UTF-8碼格式，就如同下圖所示，在 notepad++ 開啟 csv 檔，選擇[轉換]->[轉換至UTF-8碼格式]後，在將 csv 檔存檔。

讀取 CSV 檔

在 Python 2.7 中是用提供讀取 csv 檔用的套件，套件名稱就叫 csv，但在讀取中文的有問題，如同以下範例所示:

如要讀取內含中文的 csv 檔， 必需用codecs套件所提供的open方法，來指定打開的文件的語言編碼，它會在讀取的時候自動轉換為內部unicode，避免前述問題，但 codecs 套件讀入的格式，不是如 csv 套件一般，已經轉換好的 list 格式，需自行處理，不過相當簡單，只要用 split 函式，以換行符號(\n)為關鍵字，即可轉換為 list，如下列範例所示。

import codecs;
data = open("c:\\jython2.7.1\\test2.csv").read();
#判斷是否被轉含有 BOM UTF-8 格式，如果是將 BOM 去除
if data[:3] == codecs.BOM_UTF8:  
    data = data[3:];
#用換行符號(\n)將每行資料分開
splitdata=data.split('\n');
for i in splitdata:
   print(i);

執行結果如下圖:

結語

當我們有大量資料要輸入網頁或特定程式，而不想要用人工一筆一筆鍵入時，我們可用 sikuli 讀入 csv  檔，將資料一筆一筆輸入網頁或特定程式，而如果資料含有中文時，在讀入 csv 檔時，就要採用上述的處理方式，而無法直接套用內建csv 套件，如有需求的朋友，可參考使用。

[Python,Sikuli] 如何定時執行程式，來將每日例行工作自動化。

很多時侯我們會希望能夠定時執行某些作業，例如:每日定時上網捉取某些資料、定時關機等，透過將例行工作自動化來節省自已的時間，只要這些作業是固定的，就可以使用 Sikuli 來幫助我們進行自動化的作業。在如何用 Sikuli 來將重複性的工作自動化，讓省下來的時間從事更有生產力的工作並提升生活品質。 這篇文章中，我們提到 Sikuli 基本上是根基於 Python (Jython) 的語法，故想要定時執行某一任務，可參照 Python 上的函式，實現的方式有以下兩種 :

使用 threading 模組中的 Timer

Python 的 threading 模組，是 Python 標準函式庫裡面的模組，所以不用特別安裝即可使用，雖然功能不是很多，但是基本多執行緒程式設計常用的功能它都有，在這我們會用到該模組的 Timer , Timer 是一個執行緒,它可以在我們指定的時間間隔之後執行一個函式。

最簡單使用 Timer，基本上必需具備下列語法: 

  

import threading ;

timer = threading.Timer(timer_start_time, func , func_param);

timer.start();

其中使用 threading .Timer 建立執行緒時，至少需傳入2個參數，第一個參數 timer_start_time為，預計於多久後執行的時間間隔（單位是秒），第二個參數 func 為所要呼叫的函式名，第三個參數 func_param 是呼叫函式的引數(tuple)，如果所呼叫的函式沒引數的話可省略。

 

前面提到 Timer 建立執行緒時，所要傳入的第一個參數，為預計於多久後執行的時間間隔，但我們想要的是指定時間執行，這時就需要將指定時間換算為時間間隔，這時可用 datetime 模組進行計算轉算，語法如下:

import datetime;

#取得現在時間

now_time = datetime.datetime.now();

#設定預計執行的時間

next_time = datetime.datetime.strptime(str(next_year)+"-"+str(next_month)+"-"+str(next_day)+str(next_time), "%Y-%m-%d %H:%M:%S");

#計算預定執行的時間與現在的時間間隔，並換算為秒數。

timer_start_time = (next_time - now_time).total_seconds(); 

  以下為示範每日定時關機的程式碼:

使用 sched 模組

sched 模組是 Python 內建的模組，它是一個排程（延時處理機制），每次想要定時執行某任務都必須寫入一個排程，其執行為依序執行，基本上必需具備下列語法: 

import sched;

from datetime import datetime;

import time; 

#初始化 schedule

schedule = sched.scheduler(time.time, time.sleep)

#設定 schedule 及執行

schedule.enter(timer_start_time, 0, func,())

schedule.run();

 

相較於 threading 模組中的 Timer，其步驟多了一步初始化的動作，其設定一樣是預計執行時間的間隔，但其 enter 內的參數不能省略，所以所于呼叫的函式就 算沒有引數，也要給一個空tuple ()，同樣示範每日定時關機的程式碼如下:

 

 

可以看到基本上概念跟前一個是差不多的，只不過是應用不同模組來執行。

結語 

對於每日固定執行的工作，我們可以透過 Sikuli 來定時執行 ，將例行工作自動化，將節省下來的時間應用在更有生產力的工作。

 

 

如何用 Sikuli 來將重複性的工作自動化，讓省下來的時間從事更有生產力的工作並提升生活品質。

Sikuli 介紹 

Sikuli 曾因是由在麻省理工學院的台灣學生所開發，且其可用圖像編寫程式的特色而名噪一時，Sikuli 後來被轉至克羅拉多大學，最後將它釋放出來，現由Rainmen維護，並且持續開發v2版本，現 Sikulix 的官方資訊網站如下:

Sikuli 文檔

Sikuli 專案網站

Sikuli 可在Windows、Mac、某些Linux / Unix、VNC、甚至是 Android 下運行，使用OpenCV提供的圖像識別功能，來識別畫面上特定圖像，並編寫程式進行特定操作，除此之外其還有 OCR 的功能，提供在指定圖像中，進行文字識別的功能，此功能由 Tesseract支持，不過其中文辦識能力不佳。但以上功能讓 Sikuli 在我們可以在無法改動程式或網站上執行，這非常方便。

Sikuli 採用 Python 2.7版語法，其基底事實上是 Jython支持，也就是說 Sikuli 最底層事實上是 Java，因此其也支援了 Ruby (由JRuby支持)及 JavaScript(由 Java Scripting Engine 支持)，另也支援  RobotFramework 腳本執行,一般來說，Sikuli 可用在以下用途:

• 自動測試:測試所寫的網站或程式，可否正常且穩定的執行，這多半為程式或網站開發時所用，先前曾因網站需大量上傳圖像，為測試網站在大量上傳時的穩定性，用 SikuliX 同時用多台電腦操作上傳網站，測試穩定性。
• 玩遊戲:也就是常說的開外掛，掛機自動執行。
• 重複輸入或操作的應用程式或網頁:這也就是最近挺流行的 robotic process automation (RPA) ，在使用情境上，使用在對網站或應用程式無法修改為適用目前工作，或修改成本很高的情況下，例如: 網站需要輸入大量資料，且無提供整筆匯入功能，也無修改網站權限或能力時，這時可用 Sikuli 模擬人工操作的方式，將資料輸入。也可以用於線上搶票、搶訂閱、搶選課等用途(這有點偏了)。

Sikuli 安裝與執行

Sikuli 的安裝在這提目前這常用到的環境 WIndow 下的安裝，前面有說到 Sikuli 最底層是 Java ，所最開始要確認目前所用的 WIndow 系統下有無安裝 Java ，且因現 Oracle 有修改了Java 的授權，所以現在可能用 OpenJDK 會較好一點，再來就是要安裝 Jython ，不過不是去 Jython 官網下載安裝，而是要去下載  SikuliX 下載頁所附下列 Jython 解釋器，並與 SIkuliX 的 Jar放在同一目錄下，就如同我在在 WIN 10 下執行 SikuliX 2.0.X 版所說明的一樣，執行時在命令列模式下，於放置 SikuliX Jar 檔目錄下鍵入如下指令:

java -jar sikulix-2.0.X.jar

執行成功畫面如下:

Sikuli 的操作

在 Sikuli 最基本的函式是 find，是用來尋找在螢幕上我們所指定的圖形，舉個例子，假設我們現在想要開啟我的電腦，可以鍵入如下畫面語法:

其中我的電腦圖示，只要選左上螢幕截圖功能即可截取，當用 find 找到圖形後，我們可用dobuleClick 來模擬連按兩滑鼠左鍵的動作，鍵入上面程式碼後，按右上執行圖示，即可看到執行結果，但因執行速度太快，我們可能會看不清滑鼠的動作，這時可用慢動作執行方式來看看執行的過程。

另外截圖的部分也可做進一步的設定，只要滑鼠擊點圖示二下，即可進入設定畫面，畫面如下，第一畫面為截圖所放的路徑及檔名。

第二個畫面為顯示，所截的圖與現在螢幕畫面比對時，是否可正確找到我們所要的截圖，如下圖所示，紅色框表示所找到的截圖位置，由下圖來看有找到正確的位置，畫面下方可設定辨識度，預設為 0.7(70%)，如果辦識的準確度可拉高設定值，但拉高設定值，也會造成失敗率增加，且就經驗來說，如果70%辨識度無法捉到正確的截圖的話，那就表示你所選的截圖是辦識度不夠高，不夠獨特，需要重新詢找截圖。

第三個畫面可讓我們設定找到截圖後，滑鼠焦點偏移的位置，Sikuli 預設找到截圖後滑鼠的焦點為截圖的正中心，但有時因為我們想要取的位置，辦識度不高，所以只好捉附近辦識度高的截圖，在捉到後設定偏移到我們要取的位置，在這畫面我們可以直接用滑鼠點我們所要的偏移位置，下方會顯示偏移量，在本例我們取偏移到資源回收桶的位置，取好後按下方 Apply 鍵即可設定完成。

Sikuli 其他可用函式，請參照 Sikuli 文檔 以及 Python 。

Sikuli 使用技巧

由前面的介紹我們可知道 ，Sikuli 以圖形辦識為核心，以Python(事實上為 Jython) 語法撰寫程式，因此在使用上有下面的注意事項:

• 截圖的選擇並須符合下列幾個要點:

1. 獨特性要高、要夠明顯(對比高)，要為螢幕上唯一的圖示，例如在 Window 上資源回收桶的圖示，其多半為桌面上唯一的圖示，且夠明顯。像有些網頁其按鍵的圖示和背景一樣為淺灰色，其按鍵的框又為透明，這種狀況就很容易造成辦識度低，這時可能就要採取前一節所講的方法，取其他明顯的截圖，在偏移過去。
2. 尺寸最好固定不變，雖然 Sikuli 辦識度設定為 70%，已有緩衝，但像是突然改變畫面解析度，或在看網頁時放大縮小畫面，皆會造成截圖尺寸的變化而造成失敗，不過通常用慣的畫面解析度不常會改變，網頁縮放設定在100%就可避免上述問題。
3. 要不被其他程式遮蓋，像前面所提的資源回收桶圖示，就存在易被化程式遮蓋，這種情行可改用不易被其他程式遮蓋的圖示，在 Window 上工作列的圖示就不易被其他程式遮蓋，例如 Window 鍵。另一種作法是在執行辦識前把所有視窗縮到最小或關閉，避免遮到圖示。
4. 採用偏移的方式時，所選的截圖和我們所要的位置偏移量需要固定不變，且偏移量不要太大，否則失敗率會增加，通常就近選擇載圖是較好的選擇。

以下為示範截圖如取不好，辦識度不佳的結果，由下圖我們可看到，我們選擇的截圖有不夠獨特明顯的問題，所以 Sikuli 的辦識結果就不好，找到了20多個相似的截圖，這是在使用上要避免的問題。

• 不要所有的步驟都用截圖方式來執行，前面提到，Sikuli 辦識度設定為70%，還是有一定的失敗率，建議用 Sikuli 取得所要執行程式或網頁的焦點後，在程式或網頁執行用模擬鍵盤輸入的方式處理，像是用 type(key.TAB) 模擬鍵盤 TAB 鍵切換輸入欄位焦點，用 key("input message") 或 paste("要輸入的訊息")，來模擬輸入訊息，以提高正確率。
• 雖然 Python 支援 Unicode ，但在 WIndow 上中文處理的問題，分兩個層面說明。
1. 如果是要模疑鍵盤輸入，要輸入中文時，不能使用type(), 而需使用paste(), 且中文必需使用unicode("中文","utf8")做轉換，整個函式會變為 paste(unicode("中文","utf8"))，即可正常使用。
2. 如果在程式中要讀入含中文的 csv 檔時，在Windows需先用 Notepad++ 將 csv 檔的編碼轉為 UTF-8 ，讀入後在用 unicode 函式輸出，以下為範例程式碼。

import codecs
data = open("test.csv").read()
if data[:3] == codecs.BOM_UTF8:
    data = data[3:];
for row in data:
    paste(unicode(row[1],"utf-8"));
    

• Sikuli 雖用採用 Python 2.7 語法，但其實是用 Jython，故還是跟 Python 有些許不同，故如要用 Python 套件需事先測試，但就以正常來說，直接用 Python(Jython)預設的套件是較好的選擇。 

Sikuli 的限制

Sikuli 的限制基本上就是由其賣點圖形辦識所引起的，在前面 Sikuli 使用技巧所提截圖尺寸的變化易而造成失敗，在單台電腦上可以用固定螢幕解析度設定來達成，但如要移植到其他台電腦上執行，就常常要在每一台上重新截圖，才可正常執行，這就造成了，作業上額外的負擔，也無法提供與一般人使用，我相信這也是 Sikuli 無法普及的一個主要原因，其應用範圍被限制於自動測試或單機 RPA。

另外新版的 Sikuli 雖然提供 OCR (文字辦識)的功能，不過其中文辦識能力不佳，仍有待進一步的改進。

結語

上面簡單介紹 Sikuli ，雖然其使用上有諸多限制，但在辦公室自動化上仍有用途，可以將重複性的作業自動化，節省工作的時間，如對 Sikuli 的應用有興趣，除可參見上面所提的官方網站外，也可參考這篇文章，做更進一步的暸解。

[Python,Sikuli] 如何得到今日的日期及現在的時間

Sikuli 適用 Python 2.7 語法，故針對日期及時間的使用上，可以直接套用 Python提供的套件，基本上常用的有 time 及 datetime 兩個套件，在使用前要先引入。

import datetime,time;

在本次個人使用的情境，是想找出今日的日期的月、日、時間，還有星期幾， 好做後面的處理，可用以下語法得到:

nowtime=datetime.datetime.now();

print "Now:",nowtime;
print "Year:",nowtime.year;
print "Month:",nowtime.month;
print "Day:",nowtime.day;
print "Hour:",nowtime.hour;
print "Minute:",nowtime.minute;
print "Second:",nowtime.second;
print "Weekday:",nowtime.weekday();
print "Weekday:",nowtime.isoweekday();
print "Weekday:",nowtime.strftime("%A");

執行的結果如下:

Now: 2020-04-20 04:54:41.251945
Year: 2020
Month: 4
Day: 20
Hour: 4
Minute: 54
Second: 41
Weekday: 0
Weekday: 1
Weekday: Monday

這裡可以看到星期，如果用 isoweekday 呼叫，星期一會顯示為1 ，如用 weekday 星期一會顯示為 0，也可以用 sttftime 格式化輸出 Monday。如想看線上執行結果可參考下面連結:

請點我