用Java開發代理服務器

2019-11-18 15:20:42

字體：大中小

來源：轉載

供稿：網友

　　內容：
一、基礎知識
二、設計規劃
三、實例
四、結束語
參考資料
關于作者

俞良松 (javaman@163.net)
軟件工程師，獨立顧問和自由撰稿人
2001 年 10 月

代理服務器的應用非常廣泛。比如，在企業網內部，它可以用來控制員工在工作時瀏覽的Internet內容，阻止員工訪問某些類型的內容或某些指定的網站。代理服務器實際上扮演著瀏覽器和Web服務器之間的中間人的角色，能夠對瀏覽器請求進行各種各樣的處理，能夠過濾廣告和Cookie，能夠預先提取Web頁面，使得瀏覽器訪問頁面的速度更快，等等。
一、基礎知識
不管以哪種方式應用代理服務器，其監控HTTP傳輸的過程總是如下：

步驟一：內部的瀏覽器發送請求給代理服務器。請求的第一行包含了目標URL。
步驟二：代理服務器讀取該URL，并把請求轉發給合適的目標服務器。
步驟三：代理服務器接收來自Internet目標機器的應答，把應答轉發給合適的內部瀏覽器。

例如，假設有一個企業的雇員試圖訪問www.cn.ibm.com網站。假如沒有代理服務器，雇員的瀏覽器打開的Socket通向運行這個網站的Web服務器，從Web服務器返回的數據也直接傳遞給雇員的瀏覽器。假如瀏覽器被配置成使用代理服務器，則請求首先到達代理服務器；隨后，代理服務器從請求的第一行提取目標URL，打開一個通向www.cn.ibm.com的Socket。當www.cn.ibm.com返回應答時，代理服務器把應答轉發給雇員的瀏覽器。

當然，代理服務器并非只適用于企業環境。作為一個開發者，擁有一個自己的代理服務器是一件很不錯的事情。例如，我們可以用代理服務器來分析瀏覽器和Web服務器的交互過程。測試和解決Web應用中存在的問題時，這種功能是很有用的。我們甚至還可以同時使用多個代理服務器（大多數代理服務器答應多個服務器鏈接在一起使用）。例如，我們可以有一個企業的代理服務器，再加上一個用Java編寫的代理服務器，用來調試應用程序。但應該注重的是，代理服務器鏈上的每一個服務器都會對性能產生一定的影響。

二、設計規劃
正如其名字所示，代理服務器只不過是一種非凡的服務器。和大多數服務器一樣，假如要處理多個請求，代理服務器應該使用線程。下面是一個代理服務器的基本規劃：

等待來自客戶（Web瀏覽器）的請求。
啟動一個新的線程，以處理客戶連接請求。
讀取瀏覽器請求的第一行（該行內容包含了請求的目標URL）。
分析請求的第一行內容，得到目標服務器的名字和端口。
打開一個通向目標服務器（或下一個代理服務器，如合適的話）的Socket。
把請求的第一行發送到輸出Socket。
把請求的剩余部分發送到輸出Socket。
把目標Web服務器返回的數據發送給發出請求的瀏覽器。

當然，假如考慮細節的話，情況會更復雜一些。實際上，這里主要有兩個問題要考慮：第一，從Socket按行讀取數據最適合進一步處理，但這會產生性能瓶頸；第二，兩個Socket之間的連接必需高效。有幾種方法可以實現這兩個目標，但每一種方法都有各自的代價。例如，假如要在數據進入的時候進行過濾，這些數據最好按行讀取；然而，大多數時候，當數據到達代理服務器時，立即把它轉發出去更適合高效這一要求。另外，數據的發送和接收也可以使用多個獨立的線程，但大量地創建和拆除線程也會帶來性能問題。因此，對于每一個請求，我們將用一個線程處理數據的接收和發送，同時在數據到達代理服務器時，盡可能快速地把它轉發出去。

三、實例
在用Java編寫這個代理服務器的過程中，注重可重用性是很重要的。因為這樣的話，當我們想要在另一個工程中以不同的方式處理瀏覽器請求時，可以方便地重用該代理服務器。當然，我們必須注重靈活性和效率之間的平衡。

圖一顯示了本文代理服務器實例（HttpPRoxy.java）的輸出界面，當瀏覽器訪問http://www-900.ibm.com/cn/時，代理服務器向默認日志設備（即標準輸出設備屏幕）輸出瀏覽器請求的URL。圖二顯示了SubHttpProxy的輸出。SubHttpProxy是HttpProxy的一個簡單擴展。

圖一

圖二

為了構造代理服務器，我從Thread基類派生出了HttpProxy類（文章正文中出現的代碼是該類的一些片斷，完整的代碼請從本文最后下載）。HttpProxy類包含了一些用來定制代理服務器行為的屬性，參見Listing 1和表一。

【Listing 1】

/*************************************
* 一個基礎的代理服務器類
*************************************
*/
import java.net.*;
import java.io.*;

public class HttpProxy extends Thread {
static public int CONNECT_RETRIES=5;
static public int CONNECT_PAUSE=5;
static public int TIME-OUT=50;
static public int BUFSIZ=1024;
static public boolean logging = false;
static public OutputStream log=null;
// 傳入數據用的Socket
protected Socket socket;
// 上級代理服務器，可選
static private String parent=null;
static private int parentPort=-1;
static public void setParentProxy(String name, int pport) {
parent=name;
parentPort=pport;
}

// 在給定Socket上創建一個代理線程。
public HttpProxy(Socket s) { socket=s; start(); }

public void writeLog(int c, boolean browser) throws IOException {
log.write(c);
}

public void writeLog(byte[] bytes,int offset,
int len, boolean browser) throws IOException {
for (int i=0;i<len;i++) writeLog((int)bytes[offset+i],browser);
}

// 默認情況下，日志信息輸出到
// 標準輸出設備，
// 派生類可以覆蓋它
public String processHostName(String url, String host, int port, Socket sock) {
java.text.DateFormat cal=java.text.DateFormat.getDateTimeInstance();
System.out.println(cal.format(new java.util.Date()) + " - " +
url + " " + sock.getInetAddress()+"<BR>");
return host;
}

表一
變量/方法說明
CONNECT_RETRIES 在放棄之前嘗試連接遠程主機的次數。
CONNECT_PAUSE 在兩次連接嘗試之間的暫停時間。
TIME-OUT 等待Socket輸入的等待時間。
BUFSIZ Socket輸入的緩沖大小。
logging 是否要求代理服務器在日志中記錄所有已傳輸的數據（true表示“是”）。
log 一個OutputStream對象，默認日志例程將向該OutputStream對象輸出日志信息。
setParentProxy 用來把一個代理服務器鏈接到另一個代理服務器（需要指定另一個服務器的名稱和端口）。

當代理服務器連接到Web服務器之后，我用一個簡單的循環在兩個Socket之間傳遞數據。這里可能出現一個問題，即假如沒有可操作的數據，調用read方法可能導致程序阻塞，從而掛起程序。為防止出現這個問題，我用setSoTimeout方法設置了Socket的超時時間（參見Listing 2）。這樣，假如某個Socket不可用，另一個仍然有機會進行處理，我不必創建一個新的線程。

【Listing 2】
// 執行操作的線程
public void run() {
String line;
String host;
int port=80;
Socket outbound=null;
try {
socket.setSoTimeout(TIMEOUT);
InputStream is=socket.getInputStream();
OutputStream os=null;
try {
// 獲取請求行的內容
line="";
host="";
int state=0;
boolean space;
while (true) {
int c=is.read();
if (c==-1) break;
if (logging) writeLog(c,true);
space=Character.isWhitespace((char)c);
switch (state) {
case 0:
if (space) continue;
state=1;
case 1:
if (space) {
state=2;
continue;
}
line=line+(char)c;
break;
case 2:
if (space) continue; // 跳過多個空白字符
state=3;
case 3:
if (space) {
state=4;
// 只分析主機名稱部分
String host0=host;
int n;
n=host.indexOf("http://");
if (n!=-1) host=host.substring(n+2);
n=host.indexOf(´/´);
if (n!=-1) host=host.substring(0,n);
// 分析可能存在的端口號
n=host.indexOf(":");
if (n!=-1) {
port=Integer.parseInt(host.substring(n+1));
host=host.substring(0,n);
}
host=processHostName(host0,host,port,socket);
if (parent!=null) {
host=parent;
port=parentPort;
}
int retry=CONNECT_RETRIES;
while (retry--!=0) {
try {
outbound=new Socket(host,port);
break;
} catch (Exception e) { }
// 等待
Thread.sleep(CONNECT_PAUSE);
}
if (outbound==null) break;
outbound.setSoTimeout(TIMEOUT);
os=outbound.getOutputStream();
os.write(line.getBytes());
os.write(´ ´);
os.write(host0.getBytes());
os.write(´ ´);
pipe(is,outbound.getInputStream(),os,socket.getOutputStream());
break;
}
host=host+(char)c;
break;
}
}
}
catch (IOException e) { }

} catch (Exception e) { }
finally {
try { socket.close();} catch (Exception e1) {}
try { outbound.close();} catch (Exception e2) {}
}
}

和所有線程對象一樣，HttpProxy類的主要工作在run方法內完成（見Listing 2）。run方法實現了一個簡單的狀態機，從Web瀏覽器每次一個讀取字符，持續這個過程直至有足夠的信息找出目標Web服務器。然后，run打開一個通向該Web服務器的Socket（假如有多個代理服務器被鏈接在一起，則run方法打開一個通向鏈里面下一個代理服務器的Socket）。打開Socket之后，run先把部分的請求寫入Socket，然后調用pipe方法。pipe方法直接在兩個Socket之間以最快的速度執行讀寫操作。

假如數據規模很大，另外創建一個線程可能具有更高的效率；然而，當數據規模較小時，創建新線程所需要的開銷會抵消它帶來的好處。

Listing 3顯示了一個很簡單的main方法，可以用來測試HttpProxy類。大部分的工作由一個靜態的startProxy方法完成（見Listing 4）。這個方法用到了一種非凡的技術，答應一個靜態成員創建HttpProxy類（或HttpProxy類的子類）的實例。它的基本思想是：把一個Class對象傳遞給startProxy類；然后，startProxy方法利用映像API（Reflection API）和getDeclaredConstrUCtor方法確定該Class對象的哪一個構造函數接受一個Socket參數；最后，startProxy方法調用newInstance方法創建該Class對象。

【Listing 3】
// 測試用的簡單main方法
static public void main(String args[]) {
System.out.println("在端口808啟動代理服務器");
HttpProxy.log=System.out;
HttpProxy.logging=false;
HttpProxy.startProxy(808,HttpProxy.class);
}
}

【Listing 4】
static public void startProxy(int port,Class clobj) {
ServerSocket ssock;
Socket sock;
try {
ssock=new ServerSocket(port);
while (true) {
Class [] sarg = new Class[1];
Object [] arg= new Object[1];
sarg[0]=Socket.class;
try {
java.lang.reflect.Constructor cons = clobj.getDeclaredConstructor(sarg);
arg[0]=ssock.accept();
cons.newInstance(arg); // 創建HttpProxy或其派生類的實例
} catch (Exception e) {
Socket esock = (Socket)arg[0];
try { esock.close(); } catch (Exception ec) {}
}
}
} catch (IOException e) {
}
}

利用這種技術，我們可以在不創建startProxy方法定制版本的情況下，擴展HttpProxy類。要得到給定類的Class對象，只需在正常的名字后面加上.class（假如有某個對象的一個實例，則代之以調用getClass方法）。由于我們把Class對象傳遞給了startProxy方法，所以創建HttpProxy的派生類時，就不必再特意去修改startProxy。（下載代碼中包含了一個派生得到的簡單代理服務器）。

結束語
利用派生類定制或調整代理服務器的行為有兩種途徑：修改主機的名字，或者捕捉所有通過代理服務器的數據。processHostName方法答應代理服務器分析和修改主機名字。假如啟用了日志記錄，代理服務器為每一個通過服務器的字符調用writeLog方法。如何處理這些信息完全由我們自己決定??可以把它寫入日志文件，可以把它輸出到控制臺，或進行任何其他滿足我們要求的處理。writeLog輸出中的一個Boolean標記指示出數據是來自瀏覽器還是Web主機。

和許多工具一樣，代理服務器本身并不存在好或者壞的問題，要害在于如何使用它們。代理服務器可能被用于侵犯隱私，但也可以阻隔偷窺者和保護網絡。即使代理服務器和瀏覽器不在同一臺機器上，我也樂意把代理服務器看成是一種擴展瀏覽器功能的途徑。例如，在把數據發送給瀏覽器之前，可以用代理服務器壓縮數據；未來的代理服務器甚至還可能把頁面從一種語言翻譯成另一種語言……可能性永無止境。

請從這里下載本文代碼：JavaProxyServer_code.zip

關于作者
俞良松，軟件工程師，獨立顧問和自由撰稿人。最初從事PB和Oracle開發，現主要愛好在于Internet開發。您可以通過 javaman@163.net 和我聯系。

--摘自IBM網站
http://www-900.ibm.com/developerWorks/cn/java/l-javaproxy/index.sHtml

上一篇：用JAVA和XML構建分布式系統

下一篇：用JAVA對彩色圖片進行灰度變換