淺談自動采集程序及入庫_自動測試腳本語言

淺談自動采集程序及入庫

發表于：2007-07-14來源：作者：點擊數：標簽：

最近網上流行著一些采集程序,更多人拿著這些東西在網上叫賣,很多不太懂的人看著那些程序眼羨,其實如果你懂一些ASP,了解自動采集程序的原理后,你會感覺實現自動化也是那么的簡單. 原理及優點:通過XML中的XMLHTTP組件調用其它網站上的網頁，然后批量截取或替換

最近網上流行著一些采集程序,更多人拿著這些東西在網上叫賣,很多不太懂的人看著那些程序眼羨,其實如果你懂一些ASP,了解自動采集程序的原理后,你會感覺實現自動化也是那么的簡單.
原理及優點:通過XML中的XMLHTTP組件調用其它網站上的網頁，然后批量截取或替換原有的信息使其轉化成變量后再一一儲存到數據庫中。其主要的優點便是無需再手工添加大量的信息了，可以指定對某一個站信息的截取進行批量錄入，達到省時省力的目的。與其單純的ASP小偷程序不同的是:它已經不再依賴其目標網站。
簡單事例:
1

<%
2

'聲明取得目標信息的函數,通過XML組件進行實現。
3

Function GetURL(url)
4

Set Retrieval = CreateObject("Microsoft.XMLHTTP")
5

With Retrieval
6

.Open "GET", url, False
7

.Send
8

GetURL = bytes2bstr(.responsebody)
9

'對取得信息進行驗證，如果信息長度小于100則說明截取失敗
10

if len(.responsebody)<100 then
11

response.write "獲取遠程文件 <a href="&url&" target=_blank>"&url&"</a> 失敗。"
12

response.end
13

end if
14

End With
16

Set Retrieval = Nothing
17

End Function
18

' 二進制轉字符串，否則會出現亂碼的！
19

function bytes2bstr(vin)
20

strreturn = ""
21

for i = 1 to lenb(vin)
22

thischarcode = ascb(midb(vin,i,1))
23

if thischarcode < &h80 then
24

strreturn = strreturn & chr(thischarcode)
25

else
26

nextcharcode = ascb(midb(vin,i+1,1))
27

strreturn = strreturn & chr(clng(thischarcode) * &h100 + cint(nextcharcode))
28

i = i + 1
29

end if
30

next
31

bytes2bstr = strreturn
32

end function
33

'聲明截取的格式，從Start開始截取，到Last為結束
34

Function GetKey(HTML,Start,Last)
35

filearray=split(HTML,Start)
36

filearray2=split(filearray(1),Last)
37

GetKey=filearray2(0)
38

End Function
39

Dim Softid,Url,Html,Title
41

'獲取要取頁面的ID
43

SoftId=Request("Id")
45

　　Url="http://www3.skycn.com/soft/"&SoftId&".html"
47

　　Html = GetURL(Url)
49

'以截取天空軟件的軟件名為例子
51

　　Title = GetKey(Html,"<font color='#004FC6' size='3'>","</font></b></td></tr>")
53

'打開數據庫,準備入庫
55

dim connstr,conn,rs,sql
57

connstr="DBQ="+server.mappath("db1.mdb")+";DefaultDir=;DRIVER={Microsoft Aclearcase/" target="_blank" >ccess Driver (*.mdb)};"
59

set conn=server.createobject("ADODB.CONNECTION")
61

conn.open connstr
63

set rs=server.createobject("adodb.recordset")
65

sql="select [列名] from [表名] where [列名]='"&Title&"'"
67

rs.open sql,conn,3,3
69

if rs.eof and rs.bof then
71

rs("列名")=Title
73

rs.update
75

set rs=nothing
77

end if
79

set rs=nothing
81

Response.Write"采集完畢!"
83

原文轉自：http://www.kjueaiud.com

軟件測試 > 測試開發技術 > 軟件測試開發語言 > 自動測試腳本語言 >