2020年5月24日 星期日

[Python,Sikuli]如何將 Excel 內含有中文的資料轉存為 CSV 檔後讀入程式內使用

如何用 Sikuli 來將重複性的工作自動化,讓省下來的時間從事更有生產力的工作並提升生活品質。 中有介紹到 Sikuli 主要是遵循 Python 2.7 (Jyhton) 語法,故在讀入,由Excel轉出內含中文的資料讀入程式時,也會遇到 Python 2.7 所遇到的問題,這問題可分為以下兩個部分:

CSV 檔格式的問題

由 Excel 轉出的 csv 檔並不能夠直接使用,必需要先用 notepad++ 之類的程式,將 csv 檔轉為 UTF-8碼格式,就如同下圖所示,在 notepad++ 開啟 csv 檔,選擇[轉換]->[轉換至UTF-8碼格式]後,在將 csv 檔存檔。


讀取 CSV 檔

在 Python 2.7 中是用提供讀取 csv 檔用的套件,套件名稱就叫 csv,但在讀取中文的有問題,如同以下範例所示:


如要讀取內含中文的 csv 檔, 必需用codecs套件所提供的open方法,來指定打開的文件的語言編碼,它會在讀取的時候自動轉換為內部unicode,避免前述問題,但 codecs 套件讀入的格式,不是如 csv 套件一般,已經轉換好的 list 格式,需自行處理,不過相當簡單,只要用 split 函式,以換行符號(\n)為關鍵字,即可轉換為 list,如下列範例所示。

import codecs;
data = open("c:\\jython2.7.1\\test2.csv").read();
#判斷是否被轉含有 BOM UTF-8 格式,如果是將 BOM 去除
if data[:3] == codecs.BOM_UTF8:  
    data = data[3:];
#用換行符號(\n)將每行資料分開
splitdata=data.split('\n');
for i in splitdata:
   print(i);

執行結果如下圖:


結語

當我們有大量資料要輸入網頁或特定程式,而不想要用人工一筆一筆鍵入時,我們可用 sikuli 讀入 csv  檔,將資料一筆一筆輸入網頁或特定程式,而如果資料含有中文時,在讀入 csv 檔時,就要採用上述的處理方式,而無法直接套用內建csv 套件,如有需求的朋友,可參考使用。

2020年5月20日 星期三

雪泥鴻爪

出處: 蘇東坡《和子由澠池懷舊》詩

人生到處知何似,應似飛鴻踏雪泥。

泥上偶然留指爪,鴻飛那復計東西。

老僧已死成新塔,壞壁無由見舊題。

往日崎嶇還記否,路長人困蹇驢嘶。




2020年5月13日 星期三

[Python,Sikuli] 如何定時執行程式,來將每日例行工作自動化。

很多時侯我們會希望能夠定時執行某些作業,例如:每日定時上網捉取某些資料、定時關機等,透過將例行工作自動化來節省自已的時間,只要這些作業是固定的,就可以使用 Sikuli 來幫助我們進行自動化的作業。在如何用 Sikuli 來將重複性的工作自動化,讓省下來的時間從事更有生產力的工作並提升生活品質。 這篇文章中,我們提到 Sikuli 基本上是根基於 Python (Jython) 的語法,故想要定時執行某一任務,可參照 Python 上的函式,實現的方式有以下兩種 :

使用 threading 模組中的 Timer


Python 的 threading 模組,是 Python 標準函式庫裡面的模組,所以不用特別安裝即可使用,雖然功能不是很多,但是基本多執行緒程式設計常用的功能它都有,在這我們會用到該模組的 Timer , Timer 是一個執行緒,它可以在我們指定的時間間隔之後執行一個函式。

最簡單使用 Timer,基本上必需具備下列語法: 
  
import threading ;
timer = threading.Timer(timer_start_time, func , func_param);
timer.start();

其中使用 threading .Timer 建立執行緒時,至少需傳入2個參數,第一個參數 timer_start_time為,預計於多久後執行的時間間隔(單位是秒),第二個參數 func 為所要呼叫的函式名,第三個參數 func_param 是呼叫函式的引數(tuple),如果所呼叫的函式沒引數的話可省略。
 
前面提到 Timer 建立執行緒時,所要傳入的第一個參數,為預計於多久後執行的時間間隔,但我們想要的是指定時間執行,這時就需要將指定時間換算為時間間隔,這時可用 datetime 模組進行計算轉算,語法如下:

import datetime;
#取得現在時間
now_time = datetime.datetime.now();
#設定預計執行的時間
next_time = datetime.datetime.strptime(str(next_year)+"-"+str(next_month)+"-"+str(next_day)+str(next_time), "%Y-%m-%d %H:%M:%S");
#計算預定執行的時間與現在的時間間隔,並換算為秒數。
timer_start_time = (next_time - now_time).total_seconds(); 

  以下為示範每日定時關機的程式碼:



使用 sched 模組


sched 模組是 Python 內建的模組,它是一個排程(延時處理機制),每次想要定時執行某任務都必須寫入一個排程,其執行為依序執行,基本上必需具備下列語法: 

import sched;
from datetime import datetime;
import time; 
#初始化 schedule
schedule = sched.scheduler(time.time, time.sleep)
#設定 schedule 及執行
schedule.enter(timer_start_time, 0, func,())
schedule.run();
 
相較於 threading 模組中的 Timer,其步驟多了一步初始化的動作,其設定一樣是預計執行時間的間隔,但其 enter 內的參數不能省略,所以所于呼叫的函式就 算沒有引數,也要給一個空tuple (),同樣示範每日定時關機的程式碼如下:
 
 
可以看到基本上概念跟前一個是差不多的,只不過是應用不同模組來執行。

結語 


對於每日固定執行的工作,我們可以透過 Sikuli 來定時執行 ,將例行工作自動化,將節省下來的時間應用在更有生產力的工作。
 
 

[Excel]如何創建自定義函數

在 Excel 內建函式中找不到自已想要的函式怎麼辦?事實上我們可以自已建一個,以下是一個簡單的Excel自定義函數示例,用於將民國年轉為西元: Function 民國轉西元(x As Double) As Double     民國轉西元 = x + 1911 End Func...