這幾天有在用simple_html_dom抓一些文章。不同網站的編碼在國內基本上是gbk gb2312 utf-8。而以gb2312和utf-8居多。

我這一版的simple_html_dom有一個方法 convert_text 是這個樣子的。

復制代碼 代碼如下:

 // PaperG - Function to convert the text from one character set to another if the two sets are not the same.
 function convert_text($text)
 {
  global $debug_object;
  if (is_object($debug_object)) {$debug_object->debug_log_entry(1);}
  $converted_text = $text;
  $sourceCharset = "";
  $targetCharset = "";
  if ($this->dom)
  {
   $sourceCharset = strtoupper($this->dom->_charset);
   $targetCharset = strtoupper($this->dom->_target_charset);
  }
  if (is_object($debug_object)) {$debug_object->debug_log(3, "source charset: " . $sourceCharset . " target charaset: " . $targetCharset);}
  if (!empty($sourceCharset) && !empty($targetCharset) && (strcasecmp($sourceCharset, $targetCharset) != 0))
  {
   // Check if the reported encoding could have been incorrect and the text is actually already UTF-8
   if ((strcasecmp($targetCharset, 'UTF-8') == 0) && ($this->is_utf8($text)))
   {
    $converted_text = $text;
   }
   else
   {
    $converted_text = iconv($sourceCharset, $targetCharset, $text);
   }
  }
  // Lets make sure that we don't have that silly BOM issue with any of the utf-8 text we output.
  if ($targetCharset == 'UTF-8')
  {
   if (substr($converted_text, 0, 3) == "/xef/xbb/xbf")
   {
    $converted_text = substr($converted_text, 3);
   }
   if (substr($converted_text, -3) == "/xef/xbb/xbf")
   {
    $converted_text = substr($converted_text, 0, -3);
   }
  }
  return $converted_text;
 }

來看這一行：

復制代碼 代碼如下:

    $converted_text = iconv($sourceCharset, $targetCharset, $text); 

會引起轉碼不正確。比如會把gb2312的文字轉成：

復制代碼 代碼如下:

4月26日在<span>鏈濋槼</span>公園馬術場舉行的2014浪琴國際馬聯場地障礙世界杯中國聯賽資格賽上，24歲的韓壯壯不僅拿到零罰分的成績 ...第7個出場的<span>鍖椾含</span>奧運騎手趙志文第一個收獲零罰分，用時77秒07 ...

既成的事實了，證明里頭的轉碼功能沒有處理好。由于我使用這個simple_html_dom只是想要用來構建dom。我并沒有打算花時間去很好地處理這個bug。而是簡單地把

復制代碼 代碼如下:

$converted_text = iconv($sourceCharset, $targetCharset, $text);

改成

復制代碼 代碼如下:

$converted_text = $text;

就行了。思路就是取消它的轉碼。好吧工作不必糾結，可以繼續了。