谈到这两个功能的共通处就是都需要对大数据文件进行处理。

大数据文件处理

思想: php本身存在几个文件读取方法如file_get_content()和file()方法，的确这两个方法的处理速度速度快且容易使用，但由于php对内存的限制（php.ini memeory_limit=128M）而且一次性读取整个文件的可读性差（等待时间过长），因此需要一种大数据文件处理方法。php处理大数据文件的机制就是使用splfileObject类和yield生成器来定量一行行提取。

重点:
在上一次谈php读取文件IP地址就涉及到了对SplFileObject和yield生成器中的使用，这里只谈一下NoReWindIterator类。
php官网描述：This iterator ignores rewind operations. This allows processing an iterator in multiple partial foreach loops. (此迭代器忽略倒带操作。这允许在多个部分foreach循环中处理迭代器。 )
就我而言，这个类的作用就是一个得到的迭代器只能循环一次，后面多次循环不会得到任何结果。

后面就直接给代码了:
大数据文件处理类：

<?php

/*
 * 遍历大数据文件:
 * 使用yield生成器输出，不使用file_get_content和file()函数，使用SplFileObject类处理
 * 三种遍历方式：逐行输出、定量输出、NoReWindIterator输出
 *
 * */
namespace Application\Iterator;

use Exception;
use InvalidArgumentException;
use SplFileObject;
use NoRewindIterator;

class LargeFile{
    
    const ERROR_UNABLE = "ERROR:UNABLE TO OPEN THE FILE!";
    const ERROR_TYPE = "ERROR:TYPE MUST BE 'ByLength','ByLine' or 'Csv'";

    protected $file;
    protected $allowTypes = ['ByLine','ByLength','Csv'];

    //构造器初始化参数
    function __construct($filename, $mode='r')
    {
    
        if(!file_exists($filename)){
    
            $message = __METHOD__.':'.self::ERROR_UNABLE.PHP_EOL;
            $message.= strip_tags($message);
            throw new Exception($message);
        }
        $this->file = new SplFileObject($filename, $mode);
    }

    //逐行遍历
    public function fileIteratorByLine(){
    
        $count = 0; //统计行数
        while(!$this->file->eof()){
    
            yield $this->file->fgets(); //读取一行内容
            $count++;
        }
        return $count;
    }

    //逐长度遍历，fread方法,protected类型方法，不能同时以两种方式遍历
    protected function fileIteratorByLength($numBytes = 1024){
    
        $count = 0;
        while(!$this->file->eof()){
    
            yield $this->file->fread($numBytes);
            $count++;
        }
        return $count;
    }

//NoRewindIterator对象只能遍历一次，而直接用生成器的话可以循环多次
    public function getIterator($type='ByLine', $numBytes=null){
    
        //判断类型是否满足条件
        if(!in_array($type,$this->allowTypes)){
    
            $message = __METHOD__.':'.self::ERROR_TYPE.'<br />';
            //$message.= strip_tags($message);
            throw new InvalidArgumentException($message);   //异常即中止
        }
        $iterator = 'fileIterator'.$type;
        return new NoRewindIterator($this->$iterator($numBytes));   //返回一个对象去执行相应的生成器方法,构造方法的参数是一个生成器
    }
}

测试代码：

<?php
header("Content-type:text/html;charset=utf8");
require_once __DIR__.'/../AutoLoad/Loader.php';
\AutoLoad\Loader::init(__DIR__.'/../../');

use \Application\Iterator\LargeFile;

define('MASSIVE_FILE',__DIR__.'/War_And_Peace.txt');
try{
    
    $largeFile = new LargeFile(MASSIVE_FILE);
    //获得迭代器
    $iterator = $largeFile->getIterator('ByLine');

    $words = 0;
    foreach ($iterator as $line){
    
        echo $line."<br />";
        //preg_match_all("/([a-z]+)/i",$line,$match);
        //$words += count($match[0]);
        $words += str_word_count($line);    //统计字符串中的单词数,不包括汉字
    }
    echo str_repeat('-',52)."<br />"; //重复一个字符串multiplier次
    printf("%-40s : %8d\n",'Total Words:',$words);
    printf("%-40s : %8d\n",'Average words per line:',($words/ $iterator->getReturn())); //getReturn返回生成器的返回值
    echo str_repeat('-',52)."<br />";

}catch (Throwable $e){
      //Throwable式throw抛出的错误或异常对象的基本接口
    echo $e->getMessage();  //执行类方法时抛出的异常
}

涉及通用方法：

• strip_tags():去除html和php标记
• str_word_count():统计单词个数，不包含汉字

结果：统计<战争与和平>

文本的方式是实时输出的。

将电子表格上传到数据库中

这里显示的将个人信息csv文件上传到数据库中。
思想： 首先说明一下php只提供了处理csv文件（逗号分隔型取值格式），因此在处理excel等电子文件需要先转化为csv文件。

重点

• SplFileObject的fgetcsv()方法取一行数据并返回一个数组
• php中PDO处理数据库
• 遍历大数据的csv文件

之所以将这两个功能放一块，因为两者都需要LargeFile类来处理文件。

介绍一下PDO处理步骤:

1. 得到一个PDO连接对象，参数如下字符串

2. 预处理/执行(prepare/execute)机制执行sql语句，先执行prepare方法，再执行execute方法

创建数据库:
可使用navicat创建数据库，也可直接通过命令行创建

命令：

CREATE TABLE `NewTable` (
`id`  int(4) UNSIGNED NOT NULL AUTO_INCREMENT ,
`name`  varchar(20) NOT NULL COMMENT '姓名' ,
`sex`  char(3) NOT NULL COMMENT '性别' ,
`age`  int(2) UNSIGNED NOT NULL ,
`height`  double(4,2) UNSIGNED NOT NULL ,
`email`  varchar(30) NULL ,
`telephone`  varchar(20) NOT NULL ,
PRIMARY KEY (`id`)
)
ENGINE=InnoDB
DEFAULT CHARACTER SET=utf8 COLLATE=utf8_general_ci
COMMENT='个人信息'
;

代码：
数据库处理类：

<?php

namespace Application\Database;

use Exception;
use PDO;        //数据库连接处理对象

class Connection{
    
    const ERROR_UNABLE = "ERROR:Unable to create database connection!";
    public $pdo;    //pdo数据库连接对象

    //构造方法连接数据库
    function __construct($config)
    {
    
        //mysql或其它数据库
        if(!isset($config['driver'])){
    
            $message = __METHOD__.":".self::ERROR_UNABLE."<br />";
            throw new Exception($message);
        }
        //处理连接字符串
        $dsn = $config['driver'].":host=".$config['host'].";dbname=".$config['dbname'];

        try{
    
            //生成PDO对象,PDO的参数
            $this->pdo = new PDO($dsn, $config['user'], $config['password'],[PDO::ATTR_ERRMODE=>$config['errmode']]);
            
        }catch (\PDOException $e){
      //PDO异常
            error_log($e->getMessage());    //抛出异常
        }
    }
}

读取文件类：
在上面largeFile.php中添加遍历csv文件方式:

//Csv遍历，遍历电子表格
protected function fileIteratorCsv(){
    
    $count = 0;
    while(!$this->file->eof()){
    
        yield $this->file->fgetcsv();   //返回一行数据
        $count++;
    }
    return $count;
}

配置文件：

<?php

return [
    'driver'=>'mysql',
    'host'=>'localhost',
    'dbname'=>'newphp',
    'user'=>'root',
    'password'=>'forlove123',
    'errmode'=>PDO::ERRMODE_EXCEPTION
];

测试代码：

<?php
header("Content-type:text/html;charset=utf8");
/*
 * 加载电子表格csv到数据库中
 * */

define('DB_CONFIG_FILE',__DIR__.'/../data/config/db.config.php');
define('CSV_FILE',__DIR__.'/../data/files/PersonalInfo.csv');
require_once __DIR__.'/../AutoLoad/Loader.php';

\AutoLoad\Loader::init(__DIR__.'/../../');  //初始目录

use Application\Database\Connection;
use Application\Iterator\LargeFile;

try{
    
    $connection = new Connection(include DB_CONFIG_FILE);   //include直接返回配置数组
    $iterator = (new LargeFile(CSV_FILE))->getIterator('Csv');

    //PDO的预处理/执行（prepare/execute执行功能）
    $sql = "insert into `PersonalInfo` (`id`, `name`, `sex`, `age`, `height`, `email`, `telephone`) values (?,?,?,?,?,?,?)";
    $statement = $connection->pdo->prepare($sql);   //预处理
    echo '<pre>';
    print_r($statement);
    echo '</pre>';

    //执行插入
    foreach ($iterator as $line) {
    
        array_unshift($line, null);
        var_dump($line);
        echo '<br />';
        //执行
        $statement->execute($line);
    }

}catch (Throwable $e){
    
    echo $e->getMessage();
}

echo '1';   //catch会捕获异常但程序仍然会继续执行

结果：
Personal.cs文件：

数据库：