Validade na Experimentação

Validade na Experimentação

Um projeto experimental pode sofrer ameaças de validade, e a pesquisa precisa aprender a validade na experimentação para superá-las.

O que é validade na experimentação?

No desenho e experimentação de pesquisa científica, validade refere-se a se um estudo pode responder cientificamente às questões que pretende resolver. A validade de um resultado experimental é o grau em que ele mede o que deveria medir.

Isto não é o mesmo que confiabilidade, que é a medida em que uma medição fornece resultados consistentes. Dentro da validade, a medida nem sempre precisa ser semelhante, como acontece em termos de confiabilidade.

Mesmo quando um experimento é realizado utilizando um projeto ideal, ele pode encontrar vários tipos de erros que podem reduzir a confiabilidade e a validade dos resultados experimentais.

Tipos de validade em experimentação

Dois tipos principais de validade experimental são considerados aqui: validade interna e validade externa.

Validade na Experimentação

Validade interna

Validade interna refere-se a se o tratamento experimental foi a única causa das mudanças observadas na variável dependente. Por outras palavras, a validade interna aborda as “verdadeiras” causas dos resultados que observamos no nosso estudo.

Uma validade interna forte significa que temos não apenas medidas fiáveis ​​das nossas variáveis ​​independentes e dependentes, mas também uma forte justificação que liga causalmente as nossas variáveis ​​independentes às nossas variáveis ​​dependentes.

Em outras palavras, a validade interna forte refere-se à atribuição inequívoca de causas aos efeitos.

Boas técnicas experimentais, nas quais o efeito de uma variável independente sobre uma variável dependente é estudado sob condições altamente controladas, geralmente permitem graus mais elevados de validade interna do que, por exemplo, projetos de caso único.

Cambell e Stanley (1963) e mais tarde Cook e Cambell (1979) listaram oito tipos de variáveis ​​de confusão que podem interferir na validade interna (ou seja, na tentativa de isolar relações causais).

Ameaças que interferem na validade interna

Estas ameaças são;

  • História
  • Seleção
  • Teste
  • Instrumentação
  • Maturação
  • Mortalidade experimental
  • Regressão estatística
  • Interação seleção-maturação

Discutiremos essas ameaças abaixo.

História

Durante o tempo em que um experimento está sendo realizado, podem ocorrer alguns eventos imprevistos e não planejados que confundem o relacionamento que está sendo estudado. Isto é um efeito histórico.

Em muitos projetos experimentais, fazemos uma medição pré-teste (O1) da variável dependente antes de introduzir a intervenção (X). Após a intervenção, realizamos uma medição pós-teste (O2).

Então a diferença entre O1 e Ó2 é a mudança que acreditamos que a intervenção causou.

Entre O1 e Ó2, no entanto, muitos eventos inesperados podem ocorrer com efeitos confusos da intervenção, que permanecem fora do controle do experimentador.

Isto torna impossível para o experimentador saber se a mudança foi devida à intervenção ou se foi o resultado de eventos imprevistos (fatores estranhos).

Exemplo

Um programa de formação de seis semanas é organizado entre um grupo de funcionários do banco para melhorar o seu nível atual de conhecimento sobre gestão bancária.

Alguns meses depois, é realizada uma avaliação e os resultados da avaliação indicam que não houve melhoria no desempenho em comparação com o período pré-treinamento. Naturalmente, o avaliador concluirá que o treinamento não adiantou nada.

Porque isto é assim?

Após inquérito, foi revelado que logo após a formação, os funcionários do banco entraram em greve não planeada para concretizar algumas das suas reivindicações de longa data. A greve representa ameaça histórica para a validade da avaliação.

Mesmo que pudéssemos controlar o efeito da greve, ainda perguntaríamos: qual é o efeito verdadeiro e válido do programa de treino?

A resposta a esta pergunta depende do tipo de desenho que o pesquisador utiliza para seu estudo.

Seleção

Uma ameaça importante à validade interna é encontrada se os sujeitos do grupo experimental (um grupo ao qual é dada uma intervenção) e do grupo de controle (um grupo sem intervenção) não forem equivalentes em todos os aspectos, por exemplo, idade, ocupação, raça e outras características semelhantes.

Se os sujeitos forem distribuídos aleatoriamente em grupos experimentais e de controle, esse problema de seleção poderá ser amplamente superado.

Exemplo

Considere o exemplo anterior. Suponha que os funcionários estejam divididos em dois grupos: Grupo A e Grupo B.

Um programa de treinamento é organizado para o Grupo A (grupo experimental), mas não para Grupo B (grupo de controle). Após um ano, foram avaliados os desempenhos dos dois grupos.

Observa-se que o grupo experimental obteve melhorias significativas em seu desempenho. Podemos concluir que isto se deve ao efeito da formação ministrada ao Grupo A?

Após análise, pareceu que os participantes do Grupo A eram mais jovens, enérgicos e com melhor escolaridade do que os participantes do Grupo B.

Ou seja, os dois grupos diferem nas suas características de fundo.

Daí os participantes do Grupo A são mais propensos a serem eficientes e, portanto, poderiam aprender mais rapidamente, resultando em melhor desempenho do que o grupo de controle.

Isso se refere ao efeito de seleção. Nós sentimos que se inicialmente ambos os grupos tivessem características semelhantes, provavelmente estaríamos numa posição mais segura para concluir o impacto do programa de treino.

Portanto, precisamos de um desenho que seja capaz de isolar o efeito da intervenção do programa.

Teste

O processo de realização de um pré-teste pode afetar as pontuações ou medições de um pós-teste. Isto acontece apenas porque a experiência de fazer o primeiro teste provavelmente terá um efeito de aprendizagem ou difusão que tende a influenciar os resultados do segundo teste.

Como isso acontece?

As pessoas que passam por um pré-teste tornam-se mais conscientes e conscientes da dimensão do problema e, portanto, são mais propensas a lembrar-se de algumas das questões e de alguns dos erros que cometeram quando fazem o pós-teste. É provável que tenham um desempenho um pouco melhor no pós-teste do que no pré-teste.

Esta diferença ou melhor desempenho no pós-teste pode não ter nada a ver com uma intervenção do programa, mas sim inteiramente devido ao efeito do pré-teste.

Assim, sempre que um teste é aplicado repetidamente ao mesmo grupo de indivíduos, existe toda a probabilidade de se deparar com uma ameaça à validade desta natureza.

Exemplo

Se você perguntar a um vendedor de uma loja de departamentos: quantos alimentos você guarda em sua loja?

A sua resposta pode estar incorreta a este respeito porque ele não estava preparado para responder a esta pergunta.

Uma semana depois, se a mesma pergunta for feita a ele, ele poderá respondê-la mais corretamente apenas porque quando estiver mais familiarizado com os itens da loja.

Medições repetidas levam, portanto, a dados válidos.

Assim, se for organizada formação para os funcionários, para os familiarizar, o efeito independente da intervenção do programa é difícil de isolar devido ao efeito de teste. Um design válido, portanto, exige esse propósito.

Instrumentação

Medir a variável dependente em um experimento requer o uso de um questionário, um teste ou outras formas de instrumentos de medição.

Qualquer mudança na redação das perguntas, mudança nos entrevistadores ou mudança em outros procedimentos para medir a variável dependente causa um efeito de instrumentação.

Isto pode levar a uma ameaça à validade interna.

Por exemplo, os entrevistadores, que foram utilizados na medição pré-teste, podem adquirir maior conhecimento e habilidade em entrevistas durante o pós-teste, ou podem desenvolver fadiga e decidir reformular o questionário no seu estilo.

Como resultado, um entrevistador experiente pode obter informações completas de um entrevistado do que um entrevistador inexperiente.

A informação adicional obtida pode ser porque o entrevistador se tornou mais hábil em fazer perguntas ou observar eventos, e não devido ao efeito da intervenção do programa.

Exemplo

Num pré-teste pergunta-se a um entrevistado: Com que idade você se casou? Posteriormente (pós-teste), foi perguntado ao mesmo entrevistado: Em que ano e mês do ano você se casou?

As duas questões podem levar a duas respostas diferentes se o objetivo do estudo for saber a idade de casamento do entrevistado.

Maturação

O efeito de maturação é um efeito nos resultados de um experimento causado por mudanças nos sujeitos experimentais ao longo do tempo.

É uma função do tempo e não uma resposta a um evento específico. Num programa de treino longo, por exemplo, não é incomum que os formandos fiquem cansados, com fome, ou entediados, ou por vezes até desanimados.

Em estudos longitudinais que abrangem um longo período, os entrevistados tornam-se geralmente mais experientes, mais informados, mais sábios, por vezes mais resistentes e, claro, mais velhos.

Por outras palavras, as pessoas amadurecem ao longo do tempo, e este processo de maturação pode produzir mudanças que são independentes das mudanças que uma intervenção do programa foi concebida para produzir.

Mortalidade experimental

Isso ocorre quando a composição dos grupos de estudo muda durante a prova.

O desgaste é especialmente provável no grupo experimental e, a cada desistência, o grupo muda. Os efeitos de mortalidade referem-se a essas perdas. Dado que os membros do grupo de controlo não são afectados pela situação de teste, é menos provável que se retirem.

Se os casos que desistiram (perdidos no acompanhamento) forem diferentes daqueles que não o fizeram, então há toda a probabilidade de obter uma grande diferença entre as medições pré-teste e pós-teste.

Estas diferenças podem dever-se à perda de casos e não ao efeito da intervenção do programa.

Regressão estatística

Este factor funciona quando os grupos foram seleccionados com base nas suas pontuações extremas e no segundo teste tendem a recuar em direcção à pontuação média do grupo.

Suponha que medimos o desempenho de todos os trabalhadores em uma loja de departamentos por alguns dias antes de um experimento e, em seguida, conduzimos o experimento apenas com os trabalhadores nas pontuações de produtividade 25% superiores e 25% inferiores.

Não importa o que seja feito entre O1 (a medição pré-teste) e O2 (a medida do pós-teste), há uma forte tendência para a média das pontuações mais altas em O1 diminuir em O2 e para as pontuações baixas em O, aumentar.

Esta tendência resulta de medições imperfeitas que, na verdade, registram algumas pessoas anormalmente altas e anormalmente baixas em O1. Na segunda medição, os membros de ambos os grupos tendem a obter pontuações mais próximas das suas pontuações médias de longo prazo (Cooper e Schindler, 1995).

Interação seleção-maturação

Isto se refere à maturação diferencial dos membros dos grupos experimentais e de controle.

Ao contrário do efeito independente de apenas um factor, esta ameaça à validade vem de dois factores que podem influenciar os resultados experimentais.

Para verificar a eficácia de um método de treinamento específico, são escolhidos dois grupos de indivíduos, um composto por homens e outro por mulheres da mesma idade e formação educacional semelhante. Suponha que as medições pré-teste feitas em dois grupos mostrassem níveis de desempenho iguais.

Após a medição pré-teste, as mulheres receberam o treinamento, enquanto os homens não. Em seguida, uma segunda medição foi realizada para ambos os grupos.

Se a medida pós-teste mostra um melhor nível de desempenho, podemos dizer que o melhor desempenho se deve inteiramente à intervenção administrada às mulheres?

Talvez não. É possível que entre o pré e o pós-teste o efeito maturidade tenha atuado de forma mais pronunciada entre as mulheres do que entre os homens, e isso contribuiu para uma pontuação elevada para as mulheres. Se for assim, chamamos isso de efeito de interação de maturação de seleção.

As ameaças à validade que acabamos de elaborar precisam ser cuidadosamente consideradas durante a concepção de um estudo.

Antes de concluirmos que uma variável independente tem uma relação causal com a variável dependente, é importante ter certeza de que as ameaças à validade não contaminaram as relações.

Deve-se garantir que a escolha do desenho do estudo tenha sido tal que exclua o maior número possível de explicações alternativas de um efeito observado.

Validade externa

A validade externa diz respeito à medida em que os resultados (internamente válidos) de um estudo podem ser considerados verdadeiros para outros casos, por exemplo, para diferentes pessoas, ambientes, lugares ou tempos.

Em outras palavras, trata-se de saber se as descobertas podem ser validamente generalizadas.

Procura responder à questão: se o mesmo estudo de investigação fosse realizado nesses outros casos, obteria os mesmos resultados?

Para quais populações, ambientes, variáveis ​​de tratamento e variáveis ​​de medição esses resultados podem ser generalizados?

Um estudo realizado com alunos do quinto ano, por exemplo, numa escola rural, que concluiu que um método de ensino é superior a outro, pode não ser aplicável aos alunos de um ano semelhante ou de um ano diferente numa escola urbana.

Como segundo exemplo, suponha que você selecione pacientes de um hospital público para estudar sua atitude em relação aos serviços que recebem do hospital. Pode permanecer a questão se é possível extrapolar os resultados para todos os hospitais públicos do país.

Ou consideremos um estudo em que se pede a um corte transversal de uma população que participe numa experiência, mas um número substancial se recusa.

Se você fizer experiências apenas com aqueles que concordam em participar, os resultados poderão ser generalizados para toda a população?

Isto levanta a questão da validade externa.

A validade externa pode ser dividida em dois tipos distintos: validade populacional e validade ecológica.

Validade populacional refere-se à medida em que os resultados de um estudo podem ser generalizados a partir da amostra específica que foi estudada para um grande grupo de sujeitos.

Por exemplo, se a amostra for retirada de uma população acessível e não de uma população-alvo, é arriscado generalizar os resultados da investigação da população acessível para a população-alvo.

Por outro lado, Validade ecológica refere-se à medida em que os resultados de um experimento podem ser generalizados a partir de um conjunto de condições ambientais criadas pelo pesquisador para outras condições ambientais (ambientes e condições).

Conclusão

Os dois principais tipos de validade experimental são validade interna e validade externa.

A que se refere a validade no desenho e experimentação da pesquisa científica?

No desenho e experimentação de pesquisa científica, validade refere-se ao grau em que um estudo pode responder cientificamente às questões que pretende resolver. Determina se o estudo mede o que deveria medir.

Como a validade difere da confiabilidade?

A validade diz respeito ao facto de um estudo medir o que pretende medir, enquanto a fiabilidade se refere à medida em que uma medição dá resultados consistentes. Dentro da validade, as medidas nem sempre precisam ser semelhantes, ao contrário da confiabilidade.

O que a validade interna aborda em um estudo?

A validade interna refere-se a se o tratamento experimental foi a única causa das alterações observadas na variável dependente. Aborda as “verdadeiras” causas dos resultados observados num estudo, garantindo que as alterações se devem à intervenção e não a outros factores.

Quais são algumas ameaças à validade interna?

As ameaças à validade interna incluem história, seleção, testes, instrumentação, maturação, mortalidade experimental, regressão estatística e interação seleção-maturação.

Com o que se preocupa a validade externa?

A validade externa diz respeito à medida em que os resultados de um estudo podem ser generalizados para outros casos, tais como diferentes pessoas, ambientes, lugares ou tempos. Determina se os resultados podem ser aplicados de forma válida além das condições específicas do estudo.

Quais são os dois tipos distintos de validade externa?

Os dois tipos distintos de validade externa são a validade populacional, que se refere à generalização dos resultados de uma amostra específica para um grupo maior, e a validade ecológica, que se refere à generalização dos resultados de um conjunto de condições ambientais para outro.