背景

使用的特定的設備進行深度學習模型的推理，該機器僅僅提供了C++封裝好的API進行模型的加載啟動與推理，模型的訓練依然是使用caffe，模型需要轉化成該設備支持的格式，模型的轉化這里就不在介紹。為了把模型的推理做成一種服務，只能上手C++，搭建HTTP服務，使得用戶通過http服務post一張圖片，服務器啟動模型推理，實現模型的預測，并把結果返回給客戶端。

整體框架

服務短的服務內容就是對接收的圖片進行預處理，然后進行模型的推理，目前需要做的一點就是引入HTTP服務

前期調研

對于一個C++新手，前期調研當然是先進行搜索，http server c++搜處理的結果也是五花八門，有的是教你如何通過實現一個http服務器,有的是一個用第三方庫，有的是直接懟一堆代碼。。。知道在stackoverflow上看到了：

why

not try NGINX with fcgi-function mapping?

實現步驟

nginx這個是做代理的神器，做負載均衡的時候也經常用，只要我的客戶端的內容發送的nginx上，然后nginx把數據轉發給fcgi相關的應用就可以，我需要做的就是把fcgi和我的推理程序結合起來就可以。

nginx

簡單說nginx就是中間商，客戶端把請求發給中間商，中間商去貨源地把貨拿上，讓后給客戶回應：

客戶告訴nginx 我要購買**商品，nginx就去對于的服務提供商取出對于服務并把它返回給客戶。

目前需要的就是實現fcgi 部分，那么什么是fcgi?

cgi

通用網關接口（Common Gateway Interface/CGI）是一種重要的互聯網技術，可以讓一個客戶端，從網頁瀏覽器向執行在網絡服務器上的程序請求數據。CGI描述了服務器和請求處理程序之間傳輸數據的一種標準。

這里的標準輸入輸出是對應的一些環境變量主要包含有與請求相關的環境變量，與服務器相關的環境變量，與客戶端相關的環境變量三大類。

fastcgi

FastCGI 實際上是增加了一些擴展功能的 CGI 、是 CGI 的改進，同樣也是描述客戶端和Web服務器程序之間傳輸數據的一種標準。

FastCGI 致力于減少Web服務器與CGI程序之間進行互動的開銷，從而使Web服務器可以同時處理更多的Web請求。與 CGI 為每個Web請求創建一個新的進程不同， FastCGI 使用持續的進程來處理一連串的Web請求，這些進程由FastCGI進程管理器管理，而不是Web服務器。