实验心理学

2005年3月24日
   
  第一章 绪论
第一节 实验心理学的性质
实验心理学就是在实验控制的条件下对心理和行为进行研究的心理学。
1、心理学中的几种变量
（1）自变量（independent variable）
是指在实验中由实验者所操纵的，对被试的反应产生影响的变量。
（2）因变量（dependent variable）
是指在实验中由于操作自变量而引起的被试的某种特定反应。
（3）相关变量（relevant variable）
是指对实验中的因变量产生影响的所有因素。
（4）无关变量（irrelevant variable）
是指对因变量不产生影响的因素。

2、额外变量的控制
（1）排除法：使用排除法，特别是双盲实验可以消除额外变量的影响，但其成果缺乏推广价值。
（2）恒定法：使额外变量在实验的过程中保持固定不变。
（3）匹配法：使实验组和控制组的被试的特点相等的方法。
（4）随机法：根据概率论，将各个被试随机分配到各组中。
（5）抵消平衡法：是通过采用某些综合平衡的方式是额外变量的效应互相抵消以达到实验目的的方法。
在这种抵消法的思想中认为，疲劳和练习以及序列位置会成为额外变量，对实验效果产生干扰，因此要用控制位置序列效应的方法来消除它的影响。
（6）统计控制法：是指用统计中的协方差分析，把影响结果的因素找出来，以达到对额外变量的控制的目的。
3、实验效度（experimenta validity）
实验效度是指实验方法能够达到实验目的的程度。它主要包括内部效度（internal validity）和外部效度（external validity）。
（1）影响内部效度的因素
内部效度：是指实验中的自变量和因变量之间的因果关系的明确程度。
影响因素：个体的成熟和成长、前测的影响、被试选择时的偏差、实验程序的不一致、被试的缺失、统计回归。
（2）影响外部效度的因素
外部效度：是指实验结果能够推广到样本的总体中和同类现象中的程度，即是实验结果的代表性和适用性。
影响因素：实验情境的人为性、被试缺乏代表性、测量工具的局限性。
第二节 心理实验的程序
主要程序：（1）确定课题。（2）选择被试。（3）控制实验因素。（4）收集、分析和综合资料。（5）撰写实验报告。

第二章 实验设计
第一节 实验设计的基本类型

1、 基本类型
（1）被试者内设计：是指每个被试要完成实验的所有变化的情况。
（2）被试者间设计：是指一个被试只需要完成实验变化的一种的情况。
（3）混合设计：是指以上两种情况都有的情况。
2、 被试者内设计
（1） 实验前后设计：是指首先再实验前对被试进行前测，然后进行实验，实验完成后再对被试进行测试。如果被试间的差异可以忽略的话，两次测试所得结果的差异就是实验条件所引起的。
优点：①能确切说明实验条件的效果，②需要的被试数量较少。
缺点：①前后测试的时间间隔长短会影响实验的习惯。②实验的时间过长，会产生疲劳或练习效应，产生顺序误差。
（2） 定时系列设计：再实验前对被试进行一系列的定时的重复测试，然后进行实验，实验后对被试再进行一系列的重复测试。两次测试的平均效果之差即是由于实验因素导致的。
优点：①通过多次重复观测，降低了被试出现偏差行为的可能性，使可以比较的观察值变得更具有科学性。②该方法可以提供过程中的信息。
缺点：①前后测试的时间间隔长短会影响实验的习惯。②实验的时间过长，会产生疲劳或练习效应，产生顺序误差。
（3） 抵消实验条件设计：为了避免产生顺序误差，在实验中采取了抵消无关变量影响的方法。具体而言，则采用ABBA法。
优点：①有效地控制变量。②有效地消除顺序误差的影响。③节约时间。
缺点：①自变量和因变量之间必须是线性关系。②有些实验无法使用。
3、 被试者间设计
（1） 随机组设计：按照随即分配的原则将各个被试分散到各个实验组中去的设计方法。这种方法可以看作在统计上的同质，如果实验显示了差异，则这种差异来自于实验因素本身的影响。
（2） 配对组设计：将实验因素划分为若干个不同水平，预先对被试进行前测，根据前测的结果将被试分为不同的等级，再将同等级的进行配对。是一组中包含有不同的所有等级，而且各等级的情况基本相同。这样做的目的是考虑了被试的不同差异的因素，为了更好的保证组内的同质性而使用的方法。
4、 混合设计（略）
第二节 多变量实验

1、 多变量实验的优点
多因素实验是指在一个实验中包含两个或两个以上的自变量的实验情况，而不是指一个自变量的不同水平。它的优点是（1）高效率。使用多因素实验比单独进行各因素之间的比较的实验的效率要高许多。（2）对实验的控制程度好。能在最大限度上对实验的各种条件进行统一，减少了实验的误差。（3）实验的结果更有价值。不仅能反映各个自变量对因变量的影响，还能反映自变量之间的交互作用。
2、 多因素实验设计
是指在同一个实验里可以同时观测两个或两个以上自变量的影响，以及自变量之间的交互作用的实验设计。
包括两个自变量的实验设计叫做A×B因素设计。包括三个自变量的实验设计叫做A×B×C实验设计。
3、 拉丁方设计
适用条件：（1）实验的自变量的数目和自变量的水平的数目相同。（2）自变量之间没有交互。


第三节 实验数据的统计分析

1、 统计表和统计图（略）
2、 数据的初步整理
（1） 偶然误差和系统误差
偶然误差是指由实验中无法控制的偶然因素引起的误差。误差没有固定方向，一般分布在真值的两侧。系统误差是指在所有重复实验中观察值有方向和有系统的变化引起的误差。
（2） 集中量数：平均数、众数、中数等。
如平均数>众数，则分布为正偏态，现反则为负偏态。
（3） 差异量数：全距、平均差、四分差、百分位差、标准差、方差等。
3、 显著性检验
（1） t检验：但总体服从正态分布时，其样本服从t分布。
T检验的三种应用：①样本和总体间的平均数差异性检验②统一实验前后两次结果之间的差异性检验③不同总体的样本的平均数差异性检验。
（2） F检验
（3） 卡方检验


第三章 反应时间

第一节 反应时的性质
1、 反应时：是指从刺激作用发生到个体发生发应的时间距离。
2、 分类：分为选择反应时和简单反应时。简单反应时是指针对单一刺激做出相同反应。选择反应时是指针对多种刺激，选择反应中符合要求的一种进行反应。对于选择反应时，有这样的公式：RT＝lgN。（N为选择反应的刺激的数目）。这一公式是默克尔提出的。
3、 反应时实验的要求：（1）对被试的要求。被试可能会做出提前反应，即虚假反应。可以用两种方式来解决：第一种方式是改变每次刺激呈现的时间间隔大小，另一种方式是在实验中插入一些侦察实验（即只出现预备信号而不出现真实的刺激）。（2）在选择反应时实验中，要求实验中反应的个数和刺激数目的个数必须相同。
4、 反应时实验的因变量：（1）准确性。（2）速度。一般而言，随着刺激出现的概率增加，准确性提高，速度加快。
5、 反应时的应用：（1）应用于心理实验中。反应时是多种心理实验的重要指标，如学习、情绪、注意的分配、感觉强度、辨别等。（2）应用于其它现实生活方面。如体育、管理部门、工业生产、交通、设备设计。

第二节 影响反应时的因素
1、 影响反应时的因素包含刺激变量和机体变量两个方面。
（1） 在刺激变量中，刺激的类型、强度、复杂程度和呈现方式都会影响反应时。
类型：不同类型的刺激作用于相应的感觉通道的反应时不同，同一类型的刺激作用于同一感觉通道的不同部位反应时不同。
强度：一般而言，中等强度的刺激的反应时最短，较弱的刺激反应时较长。
复杂程度：主要是指刺激的数目和相似性。数目越多，反应时越长。相似性越大，反应时越长。心理旋转实验反映了刺激相似性对反应时的影响。心理旋转实验共有三种实验条件：第一种条件中，左右两个图形是相同的，只是经过了平面二维旋转；第二种条件中，左右两个图形也是相同的，只是经过了三维的前后旋转；第三种条件中，左右两个图形有相似性，但实际是不同的。这个实验的结果是：（1）二维旋转和三维旋转的图形具有相似的斜率；（2）心理旋转呈线性规则，随着旋转角度的增加，反应时间也发生变化。
刺激呈现的差异：实验证明，反应时间的长短和物体偏离双眼视野中心的程度有关，一般而言，物体偏离双眼视野中心的距离越大，则反应时间也越长。
（2） 机体变量影响反应时间
①适应水平：在此处适应是指在持续刺激的作用下，感受器发生的变化。
②准备状态：是指机体对于某种行为做出的准备情况。
③练习次数：
④动机：是由于人的某种需要所引起的有意识或无意识的行为指向。
⑤年龄因素和个体差异：后者指不同个体之间在品质和属性上存在的任何差别。
⑥酒精和药物作用：

第三节 用反应时间分析信息加工的方法
认知心理学认为在人的心理过程中，信息在人脑中要经过一系列的加工操作过程，这些操作和加工有一定顺序，每种操作和加工需要一定的时间，因此，不同的心理操作可以根据它需要花费的反应时间来测量。一般可以用来分析信息加工过程的方法主要有减数法和加因素法。
1、 减数法：又称唐德斯三成分说。它的思想是将人的反应时分为三种类型：基线时间、辨别时间和反应时间。人的各种心理操作的时间就是三种时间的不同组合。减数法将人的反应分为A、B、C三种反应。A反应是简单反应，一般只有一个刺激和一个反应；B反应是辨别反应，一般有两个或两个以上的刺激和相应数目的反应，一个刺激对应一种反应；C反应是选择反应，一般是有多个刺激和一个反应构成，只需要对其中的某一个刺激做出反应。A反应所耗费的反应时间就是基线时间，即有机体神经系统反应的时间；C反应所耗费的时间就包括基线时间和选择时间，即只需要选择对哪一种刺激反应，而不需要辨别刺激的类型的时间以及有机体神经系统反应的时间之和；B反应包含的时间有基线时间、选择时间和辨别时间三种。所以，可以通过减数法来确定各种心理操作，如辨别和选择，所需要的反应时间。
2、 加因素法：由斯腾博格所创造。该方法的思想是，认知加工的分析的重点不在于分析认知加工各阶段所要耗费的时间，而是应该分析认知加工过程分为哪些阶段，每个阶段出现的顺序如何。这一方法认为，认知加工的每个阶段都会受到一定因素的影响，如果这些因素之间互相之间会发生交互作用，则这些因素必定作用于认知加工的同一个阶段；反过来，如果它们彼此间不发生影响，则它们必定存在于认知加工的同一阶段。这样看来，当两个因素之间不发生影响的时候，就称两个因素的效应是可加的。加因素法就是通过探索有相加效应的因素，来区分认知加工过程的不同阶段。因此，加因素法不是对减数法的否定，而是对它的发展和延伸。


第四章 传统心理物理法
心理物理法：是指运用数学方法和测量技术，研究心理现象和物理现象的数量关系。
第一节 阈限的性质
1、 阈限的定义：传统的定义，将阈限分为绝对阈限和差别阈限两种。前者是指刚刚能够引起某种感觉的最小刺激量。后者是指刚刚能够引起感觉差异的最小刺激量。而阈限的操作定义则是以50％的报告为依据。绝对阈限是指有50％的实验次数能够引起被试积极反应的刺激量大小，差别阈限是指有50％的实验次数能够引起被试的感觉差异的刺激量的大小。
2、 阈限测定所应该注意的问题：（1）要注意选择实验的刺激序列和反应序列。（2）要使被试多刺激的反应尽可能地简化。（3）要进行多次的实验。
第二节 测定阈限的三种方法
1、极限法（也称最小变化法、序列探求法、最小可觉差法）
极限法是将一列刺激按照递增或递减的方式，以相等间隔的小步变化，寻求从一种反应到另一种反应的瞬间转换点或阈限的位置。
（1）用极限法求绝对阈限：只要测定递增序列和递减序列的阈限的平均值，再对两个平均值求平均就是绝对阈限。在实验中容易产生四种误差，可以分为两组：期望误差和习惯误差、练习误差和疲劳误差。测定期望误差和习惯误差的方法是：如果递增序列的平均数大于递减序列，表明存在习惯误差；如果递增序列的平均数小于递减序列，表明存在期望误差。用t检验可以检查两个误差的显著性程度。为了消除这两种误差，可以使用让递增序列和递减序列交替进行的策略。测定练习误差和疲劳误差的方法是：如果前半部分的平均数小于实验后半部分的平均数，则表明存在疲劳误差；如果前半部分的平均数大于后半部分，则表明存在练习误差。消除误差的方法是采用ABBA法。
（2）用极限法求差别阈限
2、平均差误法（也称调整法，再造法、均等法）
（1）求绝对阈限：让被试控制刺激进行调节，调整到他认为刚刚能够感受到刺激的位置，记录下位置的值，将多次调整的值加以平均即得到绝对阈限。
（2）求差别阈限：让被试控制刺激进行调节，调整到他认为刚刚能够感受到刺激和标准刺激有差别的位置，记录下位置的值，将多次调整的值加以平均，这个平均值与标准刺激之差即是差别阈限。
3、恒定刺激法（正误法、次数法）
（1）在阈限附近取若干个大小等距变化的刺激，呈现给被试，让被试报告是否能够感觉，根据被试的报告做出变化图，取其中50％的实验报告能够感到刺激的点所对应的刺激值，即是阈限。
4、三种阈限测量方法的比较
（1）从测量的定义上来看：极限法是严格按照探求的方式来测量阈限的，因此，它测量的结果最符合要求。但由于测量的误差，所以对刺激会产生一定的后继作用的刺激类型，一般不宜采用极限法。
（2）从被试的角度来看：平均差误法可以由被试来调整刺激，对被试比较有吸引力，因此所取得的结果也比较令人满意。
（3）从测量的误差来看：极限法中，由于按照一定的序列进行实验，所以被试的判断比较有把握，因此所得的结果也作为可信。但极限法会产生期望误差和习惯误差，影响了实验的成绩。恒定刺激法由于刺激的改变没有确定的方向，被试的报告有猜测的成分，因此准确性很低。至于平均差误法，由于其测量的方法和标准的不同，其结果不能和其它两种方法相提并论。
4、从效率来看，恒定刺激法的效率最高。
第三节 心理量表法
为了了解刺激的变化所引起的相应的心理变化的大小关系，需要一个测量心理变化的方法，这种方法就是能够测量阈上感觉的心理量表法。
心理量表可以分为顺序量表、等距量表和比例量表三种。
顺序量表既没有绝对零点，有没有相等单位，只是按照某种标准对事物进行排序。
（略）

第五章 现代心理物理法
接受者操作特性曲线：简称ROC曲线，在心理学上又称为感受性曲线，这条曲线上的点反应着相同的感受性，它们都是对同一信号刺激的反应，只不过是在几种不同的判断标准下所得的结果就是了。接受者操作特性曲线是以虚惊概率为横轴，击中概率为纵轴组成的坐标图和被试者在不同的判断标准下得到的不同结构所构成的曲线。

第六章 视觉实验
第二节 视觉研究中的基本实验
一、视觉适应
1、暗适应：暗适应是指人眼对低亮度环境的感受性缓慢提高的过程。这个过程分为两个阶段，第一个阶段是视锥细胞的暗适应，约5分钟完成；第二个阶段是视杆细胞的暗适应，约20分钟完成。
暗适应的产生一般用化学机制来进行解释。人眼中的视紫红醛在受到光照的情况下分解成为视黄醛和蛋白质，视黄醛可以继续分解成为维生素A和蛋白质。而这一过程也可以逆向进行。
影响暗适应的因素有：（1）外界的照明条件。暗适应前的照明亮度越大，则暗适应的敏感程度越低，但到了一定时间，它们的差距就没有多大了。（2）人的瞳孔的变化。（3）机体因素：如年龄、营养程度等。
2、明适应：是指人眼从暗处到亮处，大约经过一分钟就能适应的现象。
间视觉：是介于明适应和暗适应之间的一个视觉阶段，当光亮在一定的等级上，视锥细胞被激发，这就是间视觉的表现。
视野：是指在眼不转头不摇的情况下人眼所能看到的外界的范围。
二、视敏度
1、视敏度是指人眼分辨细节和轮廓的能力，是人眼正确分辨物体的最小维度。
2、影响视敏度的因素：（1）视觉对象的亮度；（2）眼睛视网膜的不同位置；（3）物体和背景之间的对比程度；（4）视觉的适应；（5）闪光盲的影响；（6）练习的影响。
三、闪光临界融合频率
1、闪光的融合：是指当闪光的频率达到一定程度时，人眼就不再感觉到是闪光而是感到是一个完全稳定和连续的光的情况。
闪烁刚刚能够达到融合时的光刺激闪烁的频率成为闪光临界融合频率。

第三节 颜色视觉
1、颜色混合和颜色混合定律

三、空间知觉和运动知觉
1、 线索：是指人在空间知觉中所依赖的判断物体空间位置的客观条件和机体的内部条件。
2、 判断距离的线索：生理线索、单眼线索和双眼线索。
（1） 生理线索：眼睛的调节和视轴的辐合
眼睛的调节是指人们在观察物体的时候，眼睛的睫状肌可以对水晶体进行调节，以保持物体的影像在网膜上的清晰。
视轴的辐合是指人们在观察物体的时候，看近的地方双眼视轴交叉，辐合程度大，而看远的地方时双眼视轴平行，辐合程度小，这种辐合程度的大小会给大脑提供物体的深度知觉。
（2） 单眼线索：是指一只眼睛就能感到的深度知觉线索。单眼线索包括遮挡、直线透视、单眼运动视差、高度和纹理梯度。
遮挡——被遮住的部分显得较远，遮住别的物体的部分显得较近。
直线透视——是指平面上的物体，面积较大的显得较近，面积较小的显得较远，这种面积大小可以提供深度知觉。
单眼运动视差——是指视觉对象不变，而头部和眼睛移动，提供给人的深度线索。
高度——是指处于平面中较高部分的物体显得较远，而较低部分的物体显得较近。
纹理梯度——是指平面中纹理密度较大的部分显得较近，纹理密度较小的部分显得较远。
（3） 双眼线索：人的两只眼睛所看到的部分是不同的，左眼看到左边的部分多一些，右眼看到右边的部分多一些，两只眼睛把各自接收到的视觉信息送到大脑皮层的视觉中枢进行整合，产生单一的具有深度感的视觉印象，以此来知觉立体物体和两个物体前后相对距离。
实体镜：根据双眼能够感到立体感的原理，事先将从两只眼睛所看到的图象分别绘制出来，然后在分别呈现给左右眼，从而形成立体的图象的仪器。
3、深度视锐：能够辨别两个处于不同距离上的物体之间距离的能力。
四、运动知觉
运动知觉是指对于物体在空间移动的知觉。运动知觉包括三种情况：真动知觉、似动知觉和诱动知觉。
1、 真动知觉：指我们所见到的物体确实是在移动，而且移动的速度达到了知觉阈限。
2、 似动知觉：指我们对实际上没有运动的物体产生的运动知觉。
动景盘：是心理学中用来演示似动知觉的仪器，可以产生对象连续运动的效果。在一个圆形的盘上有小人跳舞的连续图像，转动圆盘，如果转速很慢，则只能看到图象转动的效果，而如果转速很快，就会出现小人的连续舞蹈动作。这个演示告诉我们，产生似动知觉的主要原因是前后两个图象出现的时间间隔和空间间隔。
3、 诱动现象：观察者和客体的相对空间位置的改变，或两个以上的彼此空间关系的变化，就可以引起诱动现象。
（1） 自动现象：一个人站在漆黑的房间里，室内仅有一个静止的微弱光点，当人长久注视它时，就会感到光点在游荡。
（2） 站台错觉：当我们坐在停靠在车站的车厢内，而另一辆火车开出车站时，我们会感到移动的不是火车，而是站台。

1、 记忆研究的传统方法——对外显记忆的研究
（1） 回忆法：是指识记的材料不在眼前，要求被试再现识记材料的方法。分为系列回忆法和对偶回忆法和自由回忆法。系列回忆法是指要测量被试达到某种记忆的标准所需要的时间或学习的遍数。运用系列回忆法可以证明系列材料效应，即记忆材料的开始部分最容易记忆，末尾部分也容易记忆，最难记忆的是材料的中间部分。自由回忆法是指对回忆材料的顺序不作要求。自由回忆法的作用有三：能体现系列位置效应（首因效应和近因效应）；自由回忆的顺序表现出一定的结构——或者是按照一定的“群集”，或者是每次回忆的顺序与最后一次的反应顺序有联系（主观组织）；自由回忆没有耗尽全部有关记忆，用再认法还可以提取检验出来。
（2） 再认法：是指将事先识记过的材料和没有识记过的材料放在一起，让被试把两种材料区分开来。
（3） 再学法：是指被试先对材料进行学习，达到一定标准，而经过一段时间以后，再按照同样的程序重新学习一边，达到相同的标准。两次学习中练习次数的差就是被试的保持量。
（4） 重建法：是指让被试重新恢复刺激材料的顺序或排列。第一步由向被试呈现按照一定顺序排列的刺激系列。第二步将刺激系列打乱，让被试按照原来呈现的次序重新排列出来。
（5） 部分报告法：全部报告法是指让被试者依次报告全部的刺激，但实际上报告时会遗忘一部分。而部分报告法则采用随机原理，让被试的报告分阶段进行，可以有效控制遗忘的影响。
（6） 记忆广度法：是指测量刺激呈现一次后所能记忆的最大值。先准备好一定的材料，实验时，向被试呈现，刺激小时即让被试按照同样的顺序说出刺激内容。
（7） 分散注意法：
2、 记忆研究的新内容——对内隐记忆的研究
（1） 内隐记忆：是指被试并非有意识地知道自己拥有这种记忆能力，只是在某种特定的操作中能自然地表现出来，这种任务的操作不依赖于被试对先前经验的有意识恢复。
（2） 启动效应：是指近期曾经接触过的刺激在进行加工时得到易化的情况。
（3） 内隐记忆和外显记忆的区别
①学习加工的水平对两种记忆的影响不同。对于两种记忆都需要进行意义加工。但加工的水平对外显记忆的影响较大，对内隐记忆的影响较小。
②学习和测验两个阶段的呈现方式的变化，对两种记忆的影响不同。呈现方式的变化对于外显记忆的影响不大，而对内隐记忆的影响较大，可以有效减弱启动效应（priming effect）。
③两种记忆保持的时间不同。内隐记忆保持的时间较长，而外显记忆保持的时间较短。
④某些干扰因素可以有效影响外显记忆，而对内隐记忆的影响不大。
因子 内隐记忆 外显记忆
学习加工的水平 较小 较大
学习和测验刺激呈现方式不同 较大 较小
记忆效果的保持 较长 较短
干扰因素的影响 较小 较大
（4）内隐记忆的理论解释
①多重记忆系统说：该理论的核心是认为记忆系统中存在不同的子系统。外显记忆现象和内隐记忆现象分别代表了两种不同的子系统。
有人将记忆分为两类：陈述记忆和程序记忆。前者是指唯一能进入意识中的可以觉察的记忆。而后者是只能通过记忆系统的操作来实现的记忆。
多重记忆系统说能够较好地解释记忆分离现象，因为各个记忆系统是独立的，当陈述记忆系统受损时，程序记忆系统不受影响。
②加工说：记忆分离现象的原因不是因为记忆系统中存在独立的子系统，而是两种记忆所要求的加工过程不同，外显记忆要求概念驱动过程，该过程要求有意义的加工、精细编码等加工过程，从而提高了外显记忆的成绩。而内隐记忆要求材料驱动过程，要求学习时和测验时的知觉过程相匹配。如果匹配，则测验成绩好，不匹配，则成绩差。
（5）内隐记忆的研究方法
传统记忆的研究方法一般是采用直接测量的方法，而现代对内隐记忆的测量一般采用间接的测量方法，主要可以分为词干补笔和知觉辨认两类。
词干补笔：是指被试学习一系列的单字后，进行测验，测验时只给出单字的头三个字母，让被试补全其它两个或三个字母构成一个有意义的单字。实验证明，健忘症患者和控制组在词干补笔实验中的成绩无显著性差异，这和用直接测量的方法所得到的结果有很大不同。
知觉辨认：是指被试先学习一系列的单字后，用速示器现实一些学过的单字和未学过的单字，要求被试辨认。通常的结果是，学过的单字的辨认效果好于没有学过的单字。


单盲和双盲实验都是为控制“实验者效应”（由于实验者本身的个性特征、动机、情绪或其他细微而无意的行为，使被试知觉到研究目的和结果期望，而对实验结果产生影响）而采取的措施。双盲是指实验者和被试都不知道研究的真正意图，一般是针对以人为被试的情况；单盲是指实验者不知道实验目的，一般是针对被试为动物的情况。

谢谢!是北师大的吗?

haoxiang是的

衷心感谢!!!!!