试验设计(design of experiment,DOE)方法主要是解决在相当多可能影响y的自变量中，选出能显著影响y并研究如何选择自变量的水平组合适合目标y达到最佳。实际的问题一般很复杂，由已知自变量往往会得到许多响应，这里先只考虑单指标。

首先假定可以输入调制值的因子叫可控因子(controlled factor)，还有一些可记录但不可控的因子叫非可控因子(uncontrolled factor)，这也叫噪声因子(noise factor)。

对因子进行研究就是研究不同取值对响应的影响，这些取值叫水平(level)或设置(setting)，各因子选定后其组合叫处理(treatment)。一次处理代表一种安排，可以安排多次试验，比试验(trail)或运行(run)含义更广。试验单元(expeirment unit)表示最小对象单位，可能是一批，以已知或未知的方式影响试验结果的周围条件叫试验环境(experiment environment)，通常包括温度、适度、电压等非可控因子。

模型通常如下选择

y=f(x_1,x_2,cdots,x_k)+epsilon

误差项通常是噪声造成的试验误差(experimental error)和失拟误差(lack of fit)，模型优化y通常由三种要求：望大、望小和望目，这在试验选择时是有区别的。各因子间的效应分固定效应和随机效应，这里简单讲效应的估计量简称为效应。

下面讨论因子的效应。如有一个试验

begin{array}{c|lll11} {}&{低温}&{高温}/ hline {低压}&{200}&{220}/ {高压}&{230}&{270} end{array}

低温的低水平效应为215，高水平为245，则因子A的效应时245-215=30，同理，因子B的主效应为40。如果因子A的效应依赖于因子B所处的水平，则称A与B之间由交互作用，可表示为B*A={(270-220)-(230-200)}/2=10，AB和BA效应是一致的，以后不做区分。

试验设计由三个基本原则：完全重复(replication)、随机化(randomization)、区组化(blocking)，这是Fisher给出的，他当时在英国指导农业研究，取得了巨大成功。

完全重复是一个处理施于多个试验单元，一定要进行不同单元的完全重复(replicate)，不能仅进行同单元的重复取样(repetition)，比如说同一台卷烟机取卷烟叫重复取样，不同卷烟机间取样叫完全重复。完全重复能严重因子设计的真正有效性，因为因子各水平是在各机台推广的。

随机化的含义是以完全随机的方式安排各次试验的顺序和所用试验单元。随机化能消除未知的系统误差。

区组化是为了保证长期试验时间或其他未知因素影响了试验结果，总体来说，能分区组分区组，不能分区组随机化。

试验设计主要分两大类：因子筛选试验(screening design)和回归设计(regression design)。因子筛选试验目的是调节因子数量，回归试验是找出x与y的关系。试验的另一个目的是寻求稳定性，这种使得系统对噪声不敏感的设计方法叫稳健参数设计(robust parameter design)，在国内也叫田口设计。

整个试验的安排应该循序渐进，如果因子大于5个则首先筛选试验，在进行全因子试验进一步筛选因子到不超过3个，再用相应曲面确定回归关系，最后用田口设计寻求望目最优解。

对于这里，需要指出两点。一是预测的误差平方和PRESS(predicted residual error sum of square)，它的算法和SSE相似，但是实际计算时如在算i观测值时首先删除这个观测值然后拟合方程，然后得到残差，所有的数据都这么处理，就得到总的残差，它会比SSE大一点，，如果大的不是很多，说明数据没有明显异常值；第二点是计算“预测的R方”，回顾R方的方程

R^2=1-frac{SS_{Error}}{SS_{Total}}

把SSE换成PRESS就是R-Sq，它表明了预测的准确性。

模型建立完后，根据惯例还需检验每一项的显著性，不显著的应删除，可用t检验分析，在minitab中，一般使用Pareto图或标准化正态图。

显著因子找到以后，需进行残差诊断，残差如果不满足正态说明数据存在问题，一般可以做

y^*=sqrt{y},y^2,1/y,1/sqrt{y},lny

在minitab中，这个方法未提供。

试验第三步是判断模型是否需要改进，主要考虑三点：残差对拟合预测值图中是否存在不齐性或者弯曲；残差对自变量的诊断图是否存在弯曲？基于个效应及回归系数计算的显著性分析是否有不显著项？这步做完后，通常PRESS会下降，R-Sq（预测）会上升。

第四步是对模型进行分析解释。先在此进行残差检验，将分析正规（regular）残差化成标准化残差(standardized)，也成t化残差，一般不超过正负2。如果存在异常点，则要么删除考察模型的变化情况，要么进行EDA分析，如果超过2的数据不超过5%，则认为异常情况不明显。

其次，观察主效应图，考察因子的影响，进一步可以考虑等值线图或响应曲面等；最后，在DOE-因子-响应优化器中自动给出最优设置。

第五步是判断目标是否完成。可以使用DOE-因子-分析因子设计中预测那里填写想预测的目标值，然后能计算相应的t分布区间。

在实际试验中，数据常常受异常情况的干扰，如供应商的批次，人员的变动等，这时可以把这些不关心、无法定量的因子做为区组，此时，模型可写成

SS_{误差}=SS_{区组}+SS_{剩余误差}/ SS_T=SS_{主效应及交互}+SS_{区组}+SS_{剩余误差}

最后，分析的结论必须以将区组列入模型为准，进行预测时必须以未将区局列入模型为准，因为这样能给出较大的置信区间。

离散型响应变量的试验设计和分析时需注意，收集的数据为是或否，合格与不合格，合格率与不合格率等，这里不能讲合格率当连续变量处理，因为一般来说数据量是不够大的。

在Logistic回归中，已经讨论过这个问题，但是这里实际使用时，需要对比率期望进行修正表达

hat p=frac{x+0.5}{n+1}/ y=ln frac{hat p}{1-hat p}=ln frac{x+0.5}{n-x+0.5}

因为如果n的数量差的很远，但是比例相同，这对y明显是不同的，但是按照比例是一样的。

部分因子试验，全因子试验由于试验量过大，在实际生产中会受资源影响实际上不太可用，更有效的方法是部分因子试验，现以三因子全因子试验建立拉丁方阵

begin{array}{c|ll1} {}&{A}&{B}&{C}&{AB}&{AC}&{BC}&{ABC}/ hline {1}&{1}&{1}&{1}&{1}&{1}&{1}&{1}/ {2}&{-1}&{1}&{1}&{-1}&{-1}&{1}&{-1}/ {3}&{1}&{-1}&{1}&{-1}&{1}&{-1}&{-1}/ {4}&{-1}&{-1}&{1}&{1}&{-1}&{-1}&{1}/ {5}&{1}&{1}&{-1}&{1}&{-1}&{-1}&{-1}/ {6}&{-1}&{1}&{-1}&{-1}&{1}&{-1}&{1}/ {7}&{1}&{-1}&{-1}&{-1}&{-1}&{1}&{1}/ {8}&{-1}&{-1}&{-1}&{1}&{1}&{1}&{-1}/ end{array}

实际上看四因子更好，但是三因子做示意也是可以看个大概，我们通常认为三因子及以上的交互作用我们不用考虑，那么把ABC所有低水平的行去掉，试验数可筛减如下

begin{array}{c|ll1} {}&{A}&{B}&{C}&{AB}&{AC}&{BC}&{ABC}/ hline {1}&{1}&{1}&{1}&{1}&{1}&{1}&{1}/ {2}&{-1}&{-1}&{1}&{1}&{-1}&{-1}&{1}/ {3}&{-1}&{1}&{-1}&{-1}&{1}&{-1}&{1}/ {4}&{1}&{-1}&{-1}&{-1}&{-1}&{1}&{1}/ end{array}

可以看到，此时A与BC混杂(confounded)，B与AC混杂，换句话说，A与BC互为别名(A is alias of BC)，明显这样的做法不好，如果已知仅A和B可能有交互作用，那么可以把AB设为1，那么相当于考虑了A、B、C和AB四个因子，试验数却减少了一半。如果需要增加因子的话，只需要把新增因子设个别名即可

begin{array}{c|ll1} {}&{A}&{B}&{C}&{D}&{AB}&{AC}&{BC}&{D=ABC}/ hline {1}&{1}&{1}&{1}&{1}&{1}&{1}&{1}&{1}/ {2}&{-1}&{1}&{1}&{-1}&{-1}&{-1}&{1}&{-1}/ {3}&{1}&{-1}&{1}&{-1}&{-1}&{1}&{-1}&{-1}/ {4}&{-1}&{-1}&{1}&{1}&{1}&{-1}&{-1}&{1}/ {5}&{1}&{1}&{-1}&{-1}&{1}&{-1}&{-1}&{-1}/ {6}&{-1}&{1}&{-1}&{1}&{-1}&{1}&{-1}&{1}/ {7}&{1}&{-1}&{-1}&{1}&{-1}&{-1}&{1}&{1}/ {8}&{-1}&{-1}&{-1}&{-1}&{1}&{1}&{1}&{-1}/ end{array}

这些名字由如下法则表述：ABCD=I，AA=I，所以BCD=A，以此类推。称D=ABC为生产元(generator)，ABCD=I为定义关系(defining relation)，简写为字(word)，由此可以引入部分因子试验的分辨度，分辨度是所有字中字长最短的字长，一般分辨度至少为III，分布度为III的设计可表述为各主效应没有混杂，但是某些主效应可能与2阶交互效应混杂。

Plackett-Burman设计是为非常昂贵的试验设计的方法，它的特点是能进一步减少试验数，它也满足均衡分散，整齐可比，其最有用的设计是4的次数幂，如12，20，24.

响应曲面设计

当需要研究变量Y如何依赖于自变量的情况，最好用的方法是响应曲面法(response surface methodology,RSM),它能解决望大或望小的情况（函数必存在极值），望目的情况最好用稳健参数数设计(robust parameter design)，一般模型可设为

y=b_0+b_1x_1+b_2x_2+b_{11}x_1^2+b_{22}x_2^2+b_{12}x_1x_2+epsilon

显然，因子分析的试验数是不够的，一般采用中心复合设计(central composite design,CCD)完成这样的试验。

整个试验由三部分组成：立方体点(cube point)或角点，坐标为1和-1；中心点(center point)，各坐标皆为0；星号点(star point)或轴点，除了自变量坐标$pm alpha$外，其余坐标都为0.k因子有2k个星号点。星号点的选择主要从旋转性(rotatability)上出发，旋转性指将来在某点预测的方差仅与该点到试验点中心的距离有关，而与其所在方位无关，即响应变量在预测精度在以设计中心为球心的球面上是相同的，可以证明 $$ alpha=F^{1/4} $$ F是因子试验点的总数。旋转性不必要求很精确，只需要近似满足旋转性即可，CCD就是这样的设计，既能满足旋转性，也能实现序贯性，这种试验叫中心复核序贯设计(central composite circumscribed design,CCC)，它是最常用的方法。如果需要进行CCD，又不希望星号点超过数据边界，可以将星号点设为1和-1，那么CCD将缩到整体立方体内，这个设计叫中心复合有界设计(central composite inscribed design,CCI)，但是CCI不满足序贯性。

另一个星号点的选择方式是取为1，这样的设计叫中心复合表面设计(central composite face-centered design,CCF)，CCF在做实验时很方便，满足序贯性，但是失去了旋转性。

Box-Behnken设计是将因子安排在立方体的棱的中点，这样试验数少，也具有近似旋转性。

响应曲面的最优值通常有最速上升法，这里不在赘述，直接用就完了。

这里再说明一下，所谓序贯试验，是试验序和运行序一致的试验。

稳健参数设计

稳健参数设计在实际工程中可以通过选择可控因子水平组合以减少系统对噪声的敏感性。当把可控因子做为研究对象时，同时让噪声因子按设定计划系统地改变其水平。按照设计可使用乘积表和单一表两种，从建模策略上可以 使用位置-散度分别建模和响应统一建模的策略。如果响应变量特定的最佳值（望大、望目、望小）是固定的，那么这类响应叫简单响应(simple response)；在更复杂的系统中，响应依赖于一个信号因子，这个系统称为信号-响应系统(signal-response system)。比如说零件直径依赖于切削深度，切削深度是信号因子。简单响应称为静态参数设计，信号-响应关系称为动态特性，对应的设计系统是动态参数设计(dynamic parameter design)。

稳健参数设计模型

噪声因子一般分为几类：

参数的变化：比如反映罐温度很重要，如果做为误差的这个因子就变成了噪声因子；

原材料参数变化：加工零件个体总是与名义值(nominal value)存在偏差的，这个因子也称为内噪声(internal noise)。

环境的变化：比如电视的清晰度和输入电压有关，这种条件称为外噪声(external noise)。

载荷因子：指产品所受的外部载荷，如汽车设计要考虑载重变化。

单元间差异与空间差异：原料批次、操作工安排等的差异。

时间差异：指能影响试验的差异。

耗损降级：(consume degradation)，是长时间内各种条件缓慢衰变、器件老化引起的长期变异，要让系统对这类变异不敏感。

通常来说，减少噪声是能改善模型效果，但是稳健参数设计是更好、更经济的策略。一般来说，人们在系统设计(system design)选择系统够袄后，把选择参数的最佳设计以减少响应变量变差的方法称为参数设计(parameter design)，再进一步把控制噪声波动的方法称为容差设计(tolerance design)。

用乘积表进行位置和散度建模，为了使可控因子的不同水平搭配的效果，需要在控指表中安排这些因子，通常用部分因子试验设计进行，此表称为“内表”(inter array),为了考察噪声的效应，要对控制表中每个条件安排噪声表(noise array)，此表称为外表(outer array).这相当于两个表相乘，所以叫乘积表，下表共有72次试验，在田口设计中称为内外表(inter-outer array)。

上表首选位置和散度分别建模(location and dispersion modeling)就是分别建立位置和散度的度量值关于可控因子和交互模型。对每个控制水平组合，用噪声重复试验的样本均值ybar做为位置的度量，用样本方差的对数lnS方或方差本身做为散度的度量，对这两种度量，分别找出他们的显著因子。

对位置度量有显著影响的，称为位置因子(location factor);对散度有显著影响的，称为散度因子（dispersion factor）,是位置因子但又非散度因子，称为调节因子(adjustment factor)。

对于望目型，需选择散度因子的水平使散度最小化，在选择调节因子水平使位置达到目标值；对望大或望小型问题，需选择位置因子的水平使位置达到极值，在选择非位置的散度因子使散度最小化。

位置和散度的度量

首先定义信噪比(signal to noise ratio,SN ratio)，望目型信噪比与变异系数密切相关，设随机变量为y，期望为mu，目标值为m，明显，mu需要接近m，方差越小越好。

概率论中，常用变异系数

gamma=sigma/|mu|

作为离散性指标，这个指标越小越好。信噪比定义如下：

eta=frac{mu^2}{sigma^2}

可以看到，信噪比越大越好，其分子和分母的估计分别为

hat mu^2=frac{1}{n}(S_m-V_e) sigma^2=V_e

在实际应用中，常估计信噪比取常用对数（10底）乘10化为分贝值，为避免混淆，标记不变

eta=10lgfrac{1/n(S_m-V_e)}{V_e}~~(dB)/ V_e=frac{1}{n-1}Sigma_{i=1}^n(y_i-bar y)^2/ bar y=1/nSigma_{i=1}^ny_i/ S_m=nbar y^2

有时也简写为

eta=10lgfrac{bar y^2}{V_e}

另一种只考虑样本方差的定义为

eta=-10lgV_e

望小型信噪比

eta=-10lgV_e

显然，均值和方差都是越小越好，信噪比越大越好，由于随机变量y的2阶原点矩为

E(Y^2)=mu^2+sigma^2/ eta=frac{1}{E(Y^2)}/ V_T=1/nSigma_{i=1}^ny_i^2/ hat eta=1/V_T=n/Sigma_{i=1}^ny_i^2/ hat eta=-10lg(1/nSigma_{i=1}^ny_i^2)(dB)

其中，VT使2阶原点距的无偏估计。

望大型信噪比

望大型取望小型的倒数即可。

hat eta=1/V_T=n/Sigma_{i=1}^n1/y_i^2/ hat eta=-10lg(1/nSigma_{i=1}^n1/y_i^2)(dB)

动态信噪比部分需要考虑线性模型。