diff --git a/docs/01-tcc.Rnw b/docs/01-tcc.Rnw index 78fe8017e4af9102e157d37a0b9d35d453491e2a..72eede4b1b2c6c1dda0bf96ba3f7140bc6e36dcd 100644 --- a/docs/01-tcc.Rnw +++ b/docs/01-tcc.Rnw @@ -375,7 +375,7 @@ library(tccPackage) @ \chapter{Material e Métodos} -\label{cap:materiais-e-metodos} +\label{cap:material-e-metodos} <<cap03, child = "cap03_materiais-e-metodos.Rnw">>= @ diff --git a/docs/cap01_introducao.Rnw b/docs/cap01_introducao.Rnw index 93186e1f195621cb78a44500dd7d1afd621b517d..0776f047f1e9f7c6fa7fc4496b76d74720727c94 100644 --- a/docs/cap01_introducao.Rnw +++ b/docs/cap01_introducao.Rnw @@ -11,21 +11,21 @@ sustentam muitas das pesquisas na área de EstatÃstica aplicada. Os modelos de regressão, na sua forma univariada e usual, consistem no estabelecimento de uma equação matemática que relaciona a média de uma variável aleatória de interesse (variável resposta) com as demais -variáveis aleatórias observadas (covariáveis). Nesta metodologia -considera-se uma distribuição de probabilidades para a variável resposta -condicionada as covariáveis cuja a média está associada a uma preditor -que acomoda os efeitos das variáveis independentes. - -Podemos destacar o modelo linear normal como o modelo predominante -dentre as análises estatÃsticas aplicadas. Esse modelo estabelece que a -variável resposta condicional as covariáveis têm distribuição Normal de -média descrita por um preditor linear das covariáveis. Todavia, não são -raras as situações me que a variável resposta se apresenta na forma de -contagens, assumindo valores inteiros não negativos. Variáveis -aleatórias de contagem, de forma geral, representam o número de -ocorrências de um evento em um domÃnio especÃfico que pode ser contÃnuo, -como um intervalo de tempo ou espaço, ou discreto, como indivÃduos ou -grupos. +variáveis observadas (covariáveis). Nesta metodologia considera-se uma +distribuição de probabilidades para a variável resposta condicionada as +covariáveis cuja média está associada a uma preditor que acomoda os +efeitos das covariáveis. + +Podemos destacar o modelo linear normal como o de uso predominante +dentre os disponÃveis para análises estatÃsticas aplicadas. Esse modelo +estabelece que a variável resposta condicional as covariáveis tem +distribuição Normal de média descrita por um preditor linear das +covariáveis. Todavia, não são raras as situações em que a variável +resposta é uma contagem, assumindo valores inteiros não +negativos. Variáveis aleatórias de contagem, de forma geral, representam +o número de ocorrências de um evento em um domÃnio especÃfico que pode +ser contÃnuo, como um intervalo de tempo ou espaço, ou discreto, como +indivÃduos ou grupos. A análise de dados de contagem pelo modelo linear normal produz estimativas que contêm erros padrões inconsistentes e podem produzir @@ -34,23 +34,24 @@ alternativa adotada durante muitos anos, e ainda aplicada, é encontrar alguma forma de transformação da variável resposta a fim de atender aos pressupostos do modelo de regressão normal. Contudo essa abordagem dispõe de resultados insatisfatórios, pois i) dificulta a interpretação -dos resultados, ii) não contempla a natureza da variável (ainda serão -valores pontuais, só que em outra escala) iii) não contempla a relação -média e variância, caracterÃstica de dados de contagem e iv) no uso da -transformação logarÃtmica é problemática quando há contagens nulas. +dos resultados, ii) não contempla a natureza da variável (ainda serão um +conjunto discreto de valores, só que em outra escala) iii) não contempla +a relação média e variância, caracterÃstica de dados de contagem e iv) o +uso da transformação logarÃtmica é problemática quando há contagens +nulas. Diante do problema diferentes abordagens foram propostas, contudo destaca-se o trabalho apresentado por \citeonline{Nelder1972} que introduz a teoria dos modelos lineares generalizados (MLG's). Esta nova -classe de modelos flexibilizou a distribuição condicional associada -permitindo outras distribuições pertencentes à famÃlia exponencial de -distribuições. Tal famÃlia contempla as distribuições Poisson, Binomial, -Gama entre outras bem conhecidas na literatura, além da própria -distribuição Normal. +classe de modelos flexibilizou a distribuição condicional permitindo que +outras distribuições pertencentes à famÃlia exponencial fossem +consideradas para a distribuição da variável resposta. Tal famÃlia +contempla as distribuições Poisson, Binomial, Gama entre outras bem +conhecidas na literatura, além da própria distribuição Normal. Com os MLG's a modelagem de dados passou a ser mais fiel a natureza da variável resposta, principalmente no que diz respeito ao seu -suporte. Neste contexto, a análise de variáveis aleatórias de contagem, +suporte. Nesse contexto, a análise de variáveis aleatórias de contagem, que têm suporte nos conjunto dos números naturais, foi enriquecida expressivamente. @@ -58,7 +59,7 @@ Para análise estatÃstica dessas variáveis, temos o modelo probabilÃstico de Poisson, já consolidado na literatura e amplamente utilizado. Este modelo possui apenas um parâmetro, denotado por $\lambda$, que representa a média e também a variância, o que implica em uma relação -identidade ($\lambda = E[Y] = V[Y]$). Essa propriedade, chamada de +identidade ($\lambda = E(Y) = V(Y)$). Essa propriedade, chamada de equidispersão, é uma particularidade do modelo Poisson que pode não ser adequada a diversas situações. Quando aplicado sob negligência desta suposição, o modelo Poisson apresenta erros padrões inconsistentes para @@ -66,31 +67,32 @@ as estimativas dos parâmetros e por consequência, para toda função desses parâmetros \cite{Winkelmann1995, Winkelmann1994}. O caso de superdispersão, quando a variância é maior que a média, é o -mais comum e tem uma gama de métodos para análise mais extensa. A -superdispersão pode ocorrer pela ausência de covariáveis importantes, -excesso de zeros, diferentes amplitudes de domÃnio (\textit{offset}) não -consideradas, heterogeneidade de unidades amostrais, entre outros -\cite{RibeiroJr2012}. Para tais casos uma abordagem é a adoção de -modelos com efeitos aleatórios que capturam a variabilidade extra. Um -caso particular dos modelos Poisson de efeitos aleatórios, muito adotado -no campo aplicado da EstatÃstica, ocorre quando consideramos -distribuição Gama para os efeitos aleatórios, nesta situação temos -expressão fechada para a função de probabilidade marginal, que assume a -forma Binomial Negativa. +mais comum e existe uma variedade de métodos para análise de dados +assim. A superdispersão pode ocorrer pela ausência de covariáveis +importantes, excesso de zeros, diferentes amplitudes de domÃnio +(\textit{offset}) não consideradas, heterogeneidade de unidades +amostrais, entre outros \cite{RibeiroJr2012}. Para tais casos, uma +abordagem é a adoção de modelos com efeitos aleatórios que capturam a +variabilidade extra com a adoção de um ou mais termos de efeito +aleatório. Um caso particular do modelo Poisson de efeitos aleatórios, +muito adotado no campo aplicado da EstatÃstica, ocorre quando +consideramos a distribuição Gama para os efeitos aleatórios, nessa +situação temos expressão fechada para a função de probabilidade +marginal, que assume a forma Binomial Negativa. Outra manifestação de fuga da suposição de equidispersão é a subdispersão, situação menos comum na literatura. Os processos que reduzem a variabilidade das contagens, abaixo do estabelecido pela Poisson, não são tão conhecidos quanto os que produzem variabilidade extra. Pela mesma razão, são poucas as abordagens descritas na -literatura que capazes de tratar a subdispersão, uma vez que efeitos +literatura capazes de tratar subdispersão, uma vez que efeitos aleatórios só capturam a variabilidade extra. Podemos citar os modelos de quasi-verossimilhança como a abordagem mais utilizada. Todavia não é -possÃvel recuperar a verdadeira distribuição da variável resposta nessa -abordagem pois a modelagem é baseada apenas nos dois primeiros momentos -da distribuição condicional \cite{Paula2013}. +possÃvel descrever uma distribuição de probabilidades para a variável +resposta nessa abordagem, pois a modelagem é baseada apenas nos dois +primeiros momentos da distribuição condicional \cite{Paula2013}. -<<processo-pontual, fig.cap="Ilustração de diferentes tipos de processos pontuais. Da direita para esquerda temos processos sob padrões aleatório, aglomerado e uniforme", fig.height=3, fig.width=7>>= +<<processo-pontual, fig.cap="Ilustração de diferentes tipos de processos pontuais. Da direita para esquerda temos processos sob padrões aleatório, aglomerado e uniforme.", fig.height=3, fig.width=7>>= mygrid <- expand.grid(xc = 1:3, yc = 1:3) mygrid <- data.frame(mygrid) @@ -130,61 +132,60 @@ xyplot(y ~ x | caso, data = da, @ -A figura \ref{fig:processo-pontual} ilustra, sob um contexto espacial de -duas dimensões, a ocorrência das caracterÃsticas de equi, super e -subdispersão respectivamente. Nesta figura cada ponto representa a -ocorrência de uma variável aleatória e cada parcela, delimitada pelas -linhas pontilhadas, representa o intervalo no espaço cujo contabiliza-se -as ocorrências.No painel da esquerda temos a representação de dados de -contagem equidispersos, neste cenário temos que as ocorrências da -variável aleatória se dispõem aleatoriamente. No painel central o padrão -já se altera, temos a representação do caso de superdispersão. Note que -neste cenário formam-se aglomerados que deixam parcelas co contagens -muito elevadas e parcelas com contagens baixas. Uma possÃvel causa deste -padrão se dá pelo processo de contágio (e.g. contagem de casos de uma -doença contagiosa, contagem de frutos apodrecidos). Na terceiro e último -painel temos o caso de subdispersão, em que as ocorrências se dispõe -uniformemente no espaço. Note agora que as contagens de ocorrências nas -parcelas variam bem pouco. Ao contrário do caso superdisperso uma causa -provável seria o oposto de contágio, a repulsa, ou seja, uma ocorrência -causa a repulsa de outras ocorrências em seu redor (e.g. contagem de -árvores, contagem de animais). - -Outra alterativa paramétrica que contempla os casos de equi, super e +A figura \ref{fig:processo-pontual} ilustra, em duas dimensões, a +ocorrência de equi, super e subdispersão respectivamente. Nesta figura +cada ponto representa a ocorrência de um evento e cada parcela, +delimitada pelas linhas pontilhadas, representa a unidade (ou domÃnio) +na qual tem-se o número de eventos (como variável aleatória). No painel +da esquerda temos a representação de dados de contagem equidispersos, +nesse cenário as ocorrências da variável aleatória se dispõem +aleatoriamente. No painel central o padrão já se altera, tem-se a +representação do caso de superdispersão. Nesse cenário formam-se +aglomerados que deixam parcelas com contagens muito elevadas e parcelas +com contagens baixas. Uma possÃvel causa deste padrão se dá pelo +processo de contágio (e.g. contagem de casos de uma doença contagiosa, +contagem de frutos apodrecidos). No terceiro e último painel ilustra-se +o caso de subdispersão, em que as ocorrências se dispõem uniformemente +no espaço. Agora as contagens de ocorrências nas parcelas variam bem +pouco. Ao contrário do caso superdisperso uma causa provável seria o +oposto de contágio, a repulsa, ou seja, uma ocorrência causa a repulsa +de outras ocorrências em seu redor (e.g. contagem de árvores, contagem +de animais). + +Uma alterativa paramétrica que contempla os casos de equi, super e subdispersão é a adoção de uma distribuição mais flexÃvel para a -variável resposta condicional as covariáveis. A distribuição COM-Poisson -surgiu anteriormente à formalização dos MLG's, proposta por -\citeonline{Conway1962} a COM-Poisson (nome em em homenagem aos seus -autores Richard W. Conway, William L. Maxwell, -\textbf{Co}nway-\textbf{M}axwell-Poisson) generaliza a distribuição -Poisson com a adição de mais uma parâmetro, denotado por $\nu$, que -torna a razão de probabilidades sucessivas não linear contemplando os -casos de sub e superdispersão \cite{Shmueli2005}. +variável resposta condicional as covariáveis. \citeonline{Conway1962}, +antes da formalização dos MLG's, propuseram uma distribuição denominada +COM-Poisson (nome em em homenagem aos seus autores Richard W. Conway, +William L. Maxwell, \textbf{Co}nway-\textbf{M}axwell-Poisson) que +generaliza a Poisson com a adição de mais um parâmetro, denotado por +$\nu$, que torna a razão de probabilidades sucessivas não linear, +contemplando os casos de sub e superdispersão \cite{Shmueli2005}. Uma caracterÃstica bastante relevante é que a COM-Poisson possui como casos particulares as distribuições Poisson, Geométrica e Binomial. Portanto, empregando a COM-Poisson como distribuição -condicional associada, obtemos um modelo de regressão sem a imposição de -equidispersão. Tal flexibilidade, considerando o amplo uso do modelo -Poisson, significa que a COM-Poisson pode ser aplicada nessas situações -e será especialmente importante naquelas onde há fuga da equidispersão. - -Pela similaridade da função de distribuição COM-Poisson com a Poisson, -vários aspectos podem ser estendidos. Por exemplo, há situações em que o -delineamento do experimento sugere uma estrutura de covariância entre -observações induzidas por um processo hierárquico de casualização ou -amostragem. São casos assim os experimentos em parcelas subdivididas e -experimentos com medidas repetidas ou longitudinais. Tais estruturas -estabelecem modelos com efeitos não observáveis que agem no nÃvel de -observação ou unidade experimental e isso pode ser incorporado no modelo -de regressão COM-Poisson com a inclusão de efeitos aleatórios. Da mesma -forma, excesso de zeros pode ser introduzido a essa distribuição da -mesma maneira que ocorre para o modelo Poisson, através de truncamento -(modelos Hurdle) ou inflação (modelos de mistura) -\cite{Sellers2016}. Estas extensões para o modelo COM-Poisson ainda não -são bem consolidadas na literatura e são escassas suas aplicações. Uma -constatação do fato é que não há implementações destas extensões nos -principais softwares estatÃsticos. +condicional de um modelo de regressão, a imposição de equidispersão não +precisa ser satisfeita. Tal flexibilidade, considerando o amplo uso do +modelo Poisson, significa que a COM-Poisson pode ser aplicada nessas +situações e será especialmente importante naquelas onde há fuga da +equidispersão. + +Assim como no modelo COM-Poisson vários aspectos do COM-Poisson podem +ser estendidos. Por exemplo, há situações em que o delineamento do +experimento sugere uma estrutura de covariância entre observações +induzidas por um processo hierárquico de casualização ou amostragem. São +casos assim os experimentos em parcelas subdivididas e experimentos com +medidas repetidas ou longitudinais. Tais estruturas estabelecem modelos +com efeitos não observáveis que agem em grupos experimentais e isso pode +ser incorporado no modelo de regressão COM-Poisson com a inclusão de +efeitos aleatórios. Da mesma forma, excesso de zeros pode ser +introduzido a essa distribuição da mesma maneira que ocorre para o +modelo Poisson, através de truncamento (modelos Hurdle) ou inflação +(modelos de mistura) \cite{Sellers2016}. Estas extensões do modelo +COM-Poisson ainda não são bem consolidadas na literatura e são escassas +suas aplicações. Uma constatação do fato é que não há implementações +destas extensões nos principais softwares estatÃsticos. Na literatura brasileira, aplicações do modelo COM-Poisson são escassas. Foram encontradas apenas aplicações na área de Análise de @@ -192,27 +193,26 @@ Sobrevivência, mais especificamente em modelos com fração de cura \cite{Ribeiro2012, Borges2012}. Portanto, o presente trabalho visa colaborar com a literatura estatÃstica brasileira i) apresentando e explorando o modelo de regressão COM-Poisson para dados de contagem, ii) -estendendo as aplicações desse modelo COM-Poisson para situações -especÃficas como inclusão de efeitos aleatórios e modelagem de excesso -de zeros, iii) discutindo os aspectos inferenciais por meio de análise -de dados reais e iv) disponibilizando os recursos computacionais, em -formato de pacote R, para ajuste dos modelos apresentados. Nas -aplicações optou-se também pela análise via modelos já disponÃveis para -as situações estudas. +estendendo as aplicações desse modelo para situações especÃficas como +inclusão de efeitos aleatórios e modelagem de excesso de zeros, iii) +discutindo os aspectos inferenciais por meio de análise de dados reais e +iv) disponibilizando os recursos computacionais, em formato de pacote R, +para ajuste dos modelos apresentados. Nas aplicações optou-se também +pela análise via modelos já disponÃveis para as situações estudadas. O trabalho é organizado em cinco capÃtulos. Esse primeiro capÃtulo visa enfatizar as caracterÃsticas das variáveis aleatórias de contagem e suas lacunas que podem ser complementadas na análise estatÃstica dessas variáveis. O capÃtulo \ref{cap:modelos-para-dados-de-contagem} é dedicado a revisão bibliográfica dos modelos estatÃsticos empregados a -análise de dados de contagem, nesse capÃtulo os modelos Poisson, -Binomial Negativo, as abordagens para excesso de zeros, a estrutura dos -modelos de efeitos aleatórios e o modelo COM-Poisson são -apresentados. No capÃtulo \ref{cap:material-e-metodos} apresentamos os -conjuntos de dados a serem analisados e os métodos para ajuste e -comparação dos modelos. O capÃtulo \ref{cap:resultados-e-discussao} traz -os os principais resultados da aplicação e comparação dos modelos -estatÃsticos com ênfase nas discussões sob aspectos inferenciais +análise de dados de contagem. Nesse capÃtulo os modelos Poisson, +Binomial Negativo, COM-Poisson, as abordagens para excesso de zeros e a +estrutura dos modelos de efeitos aleatórios são apresentados. No +capÃtulo \ref{cap:material-e-metodos} são apresentos os conjuntos de +dados a serem analisados e os métodos para ajuste e comparação dos +modelos. O capÃtulo \ref{cap:resultados-e-discussao} traz os os +principais resultados da aplicação e comparação dos modelos estatÃsticos +com ênfase nas discussões sob aspectos inferenciais empÃricos. Finalmente no capÃtulo \ref{cap:consideracoes-finais} são apresentadas as considerações finais obtidas desse trabalho e listados algumas possÃveis linhas de pesquisa para estudos futuros. diff --git a/docs/cap02_revisao-de-literatura.Rnw b/docs/cap02_revisao-de-literatura.Rnw index 5f9e21b7a555320314635190cee104df165a5ad8..75613108bb5e2836e0f154076f06ee7635ecfa09 100644 --- a/docs/cap02_revisao-de-literatura.Rnw +++ b/docs/cap02_revisao-de-literatura.Rnw @@ -3,9 +3,9 @@ % ------------------------------------------------------------------------ Métodos para inferência em dados de contagem estão bem aquém da -quantidade disponÃvel para dados contÃnuos. Destacamos o modelo +quantidade disponÃvel para dados contÃnuos. Destaca-se o modelo log-linear Poisson como o modelo mais utilizado quando se trata de dados -de contagem. Porém não raramente os dados de contagens apresentam +de contagem. Porém, não raramente os dados de contagens apresentam variância superior ou inferior à sua média. Esses são os casos de super ou subdispersão já enunciados no capÃtulo \ref{cap:introducao}, que quando ocorrem inviabilizam o uso da distribuição Poisson. @@ -14,25 +14,25 @@ Nos casos de fuga da equidispersão algumas abordagens não paramétricas são empregadas. Nesse contexto, podemos citar os métodos de estimação via quase-verossimilhança, estimação robusta dos erros padrões (estimador ``sanduÃche'') e estimação dos erros padrões via reamostragem -(``\textit{bootstrap}'') \cite{Hilbe2014}. Desses métodos detalhamos -brevemente somente o método de estimação via função de +(``\textit{bootstrap}'') \cite{Hilbe2014}. Desses métodos detalha-se, +brevemente, somente o método de estimação via função de quase-verossimilhança na seção \ref{cap02:estimacao-via-quase-verossimilhanca}. No contexto paramétrico, pesquisas recentes trazem modelos bastante flexÃveis à fuga de equidispersão no campo da EstatÃstica aplicada, veja -\cite{Sellers2010, Zeviani2014, Lord2010}. Na tabela -\ref{tab:distribuicoes} listamos as distribuições de -probabilidades consideradas por \citeonline{Winkelmann2008} e +\citeonline{Sellers2010, Zeviani2014, Lord2010}. Na tabela +\ref{tab:distribuicoes} são listadas as distribuições de probabilidades +consideradas por \citeonline{Winkelmann2008} e \citeonline{Kokonendji2014} e as caracterÃsticas de dados de contagem -que são contempladas. Notamos que a Poisson na verdade é um caso -particular, pois é a única das distribuições listada que contempla +que são contempladas. Nota-se que a Poisson na verdade é um caso +particular, pois é a única das distribuições listadas que contempla somente a caracterÃstica de equidispersão, ainda observa-se que temos um conjunto maior de distribuições para os casos de superdispersão com relação os casos de subdispersão. Embora este grande número de -distribuições exista para lidar com os casos de fuga de equidispersão -destacamos que são poucos os pacotes estatÃsticos que empregam essas -distribuições a modelos de regressão para dados de contagem. +distribuições exista para lidar com os casos de fuga de equidispersão, +são poucos os pacotes estatÃsticos que as disponibilizam como +alternativas para ajuste de modelos de regressão para dados de contagem. %%---------------------------------------------------------------------- %% Tabela das distribuições para dados de contagem @@ -67,12 +67,12 @@ Katz & \checkmark & \checkmark & \chec \end{table} %%---------------------------------------------------------------------- -Dos modelos paramétricos o Binomial Negativo aparece em destaque com +Dos modelos paramétricos, o Binomial Negativo aparece em destaque com implementações já consolidadas nos principais \textit{softwares} estatÃsticos e frequentes aplicações nos casos de superdispersão. Na seção \ref{cap02:binomneg} detalhes da construção desses modelos são apresentados. Dos demais modelos derivados das distribuições listadas na -tabela \ref{tab:ditribuicoes} este trabalho abordará somente o +tabela \ref{tab:distribuicoes} este trabalho abordará somente o modelo COM-Poisson, que é apresentado com detalhes na seção \ref{cap02:compoisson}. @@ -88,12 +88,12 @@ Binomial Negativa. Considerando os modelos condicionais, também chamados de modelos de barreira \cite{Ridout1998}, temos que a modelagem da variável resposta é realizada em duas etapas. A primeira refere-se ao processo gerador de contagens nulas e a segunda ao gerador de contagens -não nulas. Nesta trabalho a modelagem de excesso de zeros se dará +não nulas. Nesse trabalho a modelagem de excesso de zeros se dará somente via modelos de barreira. A seção \ref{cap02:zeros} é destinada a um breve detalhamento desta abordagem. -Nesta capÃtulo também abordamos a situação da inclusão de efeitos -aleatórios no seção \ref{cap02:aleatorio}. Em análise de dados de +Neste capÃtulo também é abordada a situação da inclusão de efeitos +aleatórios na seção \ref{cap02:aleatorio}. Em análise de dados de contagem a inclusão desses efeitos permitem acomodar variabilidade extra e incorporar a estrutura amostral do problema como em experimentos com medidas repetidas ou longitudinais e experimentos em parcelas @@ -103,25 +103,25 @@ subdivididas. \label{cap02:poisson} A Poisson é uma das principais distribuição de probabilidades -discretas. Com suporte nos inteiros não negativos, dizemos que uma -variável aleatória segue um modelo Poisson se sua função massa de -probabilidade for +discretas. Com suporte nos inteiros não negativos, uma variável +aleatória segue um modelo Poisson se sua função massa de probabilidade +for \begin{equation} \label{eqn:pmf-poisson} - Pr(Y = y \mid \lambda) = \frac{\lambda^ye^{-\lambda}}{y!} - \qquad y = 0, 1, 2, \cdots + \Pr(Y = y \mid \lambda) = \frac{\lambda^ye^{-\lambda}}{y!} + \qquad y = 0, 1, 2, \ldots \end{equation} \noindent -em que $\lambda > 0$ representa a taxa de ocorrência do evento de -interesse. Uma particularidade já destacada desta distribuição é que -$E(X) = V(X) = \lambda$. Isso torna a distribuição Poisson bastante -restritiva. Na figura \ref{fig:distr-poisson} são apresentadas as -distribuições Poisson para diferentes parâmetros, note que devido a -propriedade $E(X) = V(X)$ contagens maiores também são mais dispersas. +em que $\lambda > 0$ representa a taxa de ocorrência do evento. Uma +particularidade já destacada desta distribuição é que $E(X) = V(X) = +\lambda$. Isso torna a distribuição Poisson bastante restritiva. Na +figura \ref{fig:distr-poisson} são apresentadas as distribuições Poisson +para diferentes parâmetros, note que devido a propriedade $E(X) = V(X)$ +contagens maiores também são mais dispersas. -<<distr-poisson, fig.cap="Probabilidades pela distribuição Poisson para diferentes valores de $\\lambda$", fig.height=3.5, fig.width=7>>= +<<distr-poisson, fig.cap="Probabilidades pela distribuição Poisson para diferentes parâmetros.", fig.height=3.5, fig.width=7>>= lambdas <- c("p1" = 3, "p2" = 8, "p3" = 15) y <- 0:30 @@ -156,19 +156,19 @@ Outra propriedade que decorre da construção do modelo Poisson é sobre a razão entre probabilidades sucessivas, $\frac{P(Y=y-1)}{P(Y=y)} = \frac{y}{\lambda}$. Essa razão é linear em $y$ e tem sua taxa de crescimento ou decrescimento como $\frac{1}{\lambda}$. Os modelos Katz e -COM-Poisson se baseiam na generalização da razão de probabilidades a fim -de flexibilizar a distribuição decorrente. +COM-Poisson se baseiam na generalização dessa razão de probabilidades a +fim de flexibilizar a distribuição de probabilidades. A utilização do modelo Poisson na análise de dados se dá por meio do modelo de regressão Poisson. Seja $Y_i$ variáveis aleatórias condicionalmente independentes, dados as covariáveis $X_i$, -$i=1,2,\cdots,n$. O modelo de regressão log-linear Poisson, sob a teoria +$i=1,2,\ldots,n$. O modelo de regressão log-linear Poisson, sob a teoria dos MLG's é definido como \begin{equation} \label{eqn:reg-poisson} \begin{split} - Y_i \mid & X_i \sim Poisson(\mu_i) \\ + Y_i \mid & X_i \sim \textrm{Poisson}(\mu_i) \\ &\log(\mu_i) = X_i\beta \end{split} \end{equation} @@ -178,35 +178,35 @@ em que $\mu_i > 0$ é a média da variável aleatória $Y_i \mid X_i$ que é calculada a partir do vetor $\beta \in \mathbb{R}^p$. O processo de estimação do vetor $\beta$ é baseado na maximização da -verossimilhança que nas distribuições que pertencem à famÃlia -exponencial, os MLG's, é realizado via algoritmo de mÃnimos quadrados +verossimilhança, que nas distribuições pertencentes à famÃlia +exponencial, os MLG's, é realizada via algoritmo de mÃnimos quadrados ponderados iterativamente, ou, do inglês \textit{Iteractive Weighted Least Squares - IWLS} \cite{Nelder1972}. \subsection{Estimação via Quase-Verossimilhança} \label{cap02:estimacao-via-quase-verossimilhanca} -Em 1974 \citeauthoronline{Wedderburn1974} propôs uma forma de estimação -a partir de uma função biparamétrica, denominada -quase-verossimilhança. Suponha que temos $y_i$ observações independentes -com esperanças $\mu_i$ e variâncias $V(\mu_i)$. A função de -quase-verossimilhança é é expressa como +\citeonline{Wedderburn1974} propôs uma forma de estimação a partir de +uma função biparamétrica, denominada quase-verossimilhança. Suponha que +temos $y_i$ observações independentes com esperanças $\mu_i$ e +variâncias $V(\mu_i)$, em que $V$ é uma função positiva e conhecida. A +função de quase-verossimilhança é expressa como \begin{equation} \label{eqn:quase-verossimilhanca} - Q(\mu_i \mid y_i) = \int_y^{\mu_i} \frac{y_i - t}{\sigma^2 V(\mu_i)}dt + Q(\mu_i \mid y_i) = \int_{y_i}^{\mu_i} \frac{y_i - t}{\sigma^2 V(\mu_i)}dt \end{equation} Na expressão \ref{eqn:quase-verossimilhanca} a função de quase-verossimilhança é definida a partir da especificação de $\mu_i$, $V(\mu_i)$ e $\sigma^2$. O processo de estimação via maximização dessa -função compartilha as mesmas estimativas para $\mu_i$, porém a dispersão -de $y_i$, $V(y_i) = \theta V(\mu_i)$ é corrigida pelo parâmetro adicional -$\sigma^2$. +função compartilha, do método baseado na maximazação da verossimilhança, +as mesmas estimativas para $\mu_i$, porém a dispersão de $y_i$, $V(y_i) += \theta V(\mu_i)$ é corrigida pelo parâmetro adicional $\sigma^2$. Assim os problemas com a fuga da suposição de equidispersão podem ser superados quando a estimação por máxima quase-verossimilhança é -adotado. Porém um resultado dessa abordagem é que +adotada. Porém um resultado dessa abordagem é que \begin{equation} \label{eqn:quasi-informacao} @@ -215,21 +215,22 @@ adotado. Porém um resultado dessa abordagem é que \end{equation} \noindent -ou seja a informação a respeito de $\mu$ quando se conhece apenas $\sigma^2$ -e $V(\mu)$, a relação entre média e variância, é menor do que a -informação quando se conhece a distribuição da variável resposta, dada +ou seja a informação a respeito de $\mu$ quando se conhece apenas +$\sigma^2$ e $V(\mu)$, a relação entre média e variância, é menor do que +a informação quando se conhece a distribuição da variável resposta, dada pela log-verossimilhança $\ell(\mu \mid y)$. Além disso ressalta-se que, -de forma geral, não se recupera a distribuição de $Y$ somente com as -especificações de $\sigma^2$ e $V(\mu)$. - -Em modelos de regressão, definimos $g(\mu_i) = X\beta$ e $V(\mu_i)$ que -definem a função de quase-verossimilhança. Nessa abordagem são estimados -os parâmetros $\beta$ e $\sigma^2$. A estimativa do vetor $\beta$ pode -ser obtidas pelo algoritmo \textit{IWLS}. Usando as funções quase-escore -e matriz de quase-informação chega-se ao mesmo algoritmo de estimação -dado no caso Poisson, que não depende de $\sigma^2$. O parâmetro -$\sigma^2$ é estimado separadamente, pós estimação dos $\beta$'s. Um -estimador usual é o baseado na estatÃstica $\chi^2$ de Pearson. +de forma geral, não é possÃvel descrever uma distribuição de +probabilides para $Y$ somente com as especificações de $\sigma^2$ e +$V(\mu)$. + +Em modelos de regressão, $g(\mu_i) = X\beta$ e $V(\mu_i)$ definem a +função de quase-verossimilhança. Nessa abordagem são estimados os +parâmetros $\beta$ e $\sigma^2$. A estimativa do vetor $\beta$ pode ser +obtidas pelo algoritmo \textit{IWLS}. Usando as funções quase-escore e +matriz de quase-informação chega-se ao mesmo algoritmo de estimação dado +no caso Poisson, que não depende de $\sigma^2$. O parâmetro $\sigma^2$ é +estimado separadamente, pós estimação dos $\beta$'s. Um estimador usual +é o baseado na estatÃstica $\chi^2$ de Pearson. \begin{equation} \label{eqn:estimador-theta} @@ -241,16 +242,15 @@ estimador usual é o baseado na estatÃstica $\chi^2$ de Pearson. \label{cap02:binomneg} Uma das principais alternativas paramétricas para dados de contagem -superdispersos é a adoção da distribuição Binomial Negativa. A função -massa de probabilidade da distribuição Binomial Negativa pode ser -deduzida de um processo hierárquico de efeitos aleatórios onde se assume -que +superdispersos é a distribuição Binomial Negativa. A função massa de +probabilidade da distribuição Binomial Negativa pode ser deduzida de um +processo hierárquico de efeitos aleatórios onde se assume que \begin{equation} \label{eqn:proc-binomneg} \begin{split} - Y \mid & b \sim Poisson(b) \\ - & b \sim Gama(\mu, \theta) + Y \mid & b \sim \textrm{Poisson}(b) \\ + & b \sim \textrm{Gama}(\mu, \theta) \end{split} \end{equation} @@ -268,7 +268,7 @@ distribuição Poisson (vide expressão em \ref{eqn:pmf-poisson}) e $g(b \begin{equation} \label{eqn:proc-binomneg} \begin{split} - Pr(Y = y \mid \mu,\theta) &= \int_0^\infty f(y \mid b) + \Pr(Y = y \mid \mu,\theta) &= \int_0^\infty f(y \mid b) g(b \mid \mu,\theta) db\\ &= \frac{\theta^\theta}{y!\mu^\theta\Gamma(\theta)} \int_0^\infty e^{-b(1 + \theta/\mu)} b^{y+\theta-1}db \\ @@ -280,17 +280,17 @@ distribuição Poisson (vide expressão em \ref{eqn:pmf-poisson}) e $g(b \end{equation} \noindent -com $\mu >0$ e $\theta > 0$. Ressaltamos que esse é um caso particular de -um modelo de efeito aleatório cuja a integral tem solução analÃtica e +com $\mu >0$ e $\theta > 0$. Ressaltamos que esse é um caso particular +de um modelo de efeito aleatório cuja integral tem solução analÃtica e por consequência o modelo marginal tem forma fechada. Outro caso que se baseia no mesmo princÃpio é o modelo \textit{Inverse Gaussian Poisson}, que como o nome sugere adota a distribuição Inversa Gaussiana para os efeitos aleatórios. Na figura \ref{fig:distr-binomneg} são apresentadas -as distribuições Binomial Negativa para diferentes parâmetros $\theta$ em -comparação com a distribuição Poisson equivalente em locação. Note que -quanto menor o parâmetro $\theta$, maior a dispersão da distribuição. Isso -introduz uma propriedade importante desse modelo, para $\theta \rightarrow -\infty$ a distribuição reduz-se a Poisson. +as distribuições Binomial Negativa para diferentes parâmetros $\theta$ +em comparação com a distribuição Poisson equivalente em locação. Note +que quanto menor o parâmetro $\theta$, maior a dispersão da +distribuição. Isso introduz uma propriedade importante desse modelo, +para $\theta \to \infty$ a distribuição reduz-se a Poisson. <<distr-binomneg, fig.cap="Probabilidades pela distribuição Binomial Negativa para diferentes nÃveis de dispersão, fixando a média em 5.", fig.height=3.5, fig.width=7>>= @@ -361,8 +361,8 @@ trellis.unfocus() @ Os momentos média e variância da distribuição Binomial Negativa são -expressos como $E(Y) = \mu$ e $V(Y) = \mu + \mu^2/\sigma^2$. Note que -pelas expressões fica evidente a caracterÃstica da Binomial Negativa de +expressos como $E(Y) = \mu$ e $V(Y) = \mu + \mu^2/\sigma^2$. Pelas +expressões fica evidente a caracterÃstica da Binomial Negativa de acomodar somente superdispersão, pois $E(Y)$ é menor que $V(Y)$ para qualquer $\sigma^2$. Percebemos também quanto maior o parâmetro $\sigma^2$ mais $E(Y)$ se aproxima de $V(Y)$, e no limite, quando @@ -410,9 +410,9 @@ fonte("Fonte: Elaborado pelo autor.") wrapfigure() @ -A relação funcional entre média e variância é ilustrada na -figura \ref{fig:mv-binomneg} onde apesentamos as médias e variâncias -para $\mu$ entre 0 e 10 e $\theta$ entre 0 e 50. O comportamento dessa +A relação funcional entre média e variância é ilustrada na figura +\ref{fig:mv-binomneg} onde são apresentadas as médias e variâncias para +$\mu$ entre 0 e 10 e $\theta$ entre 0 e 50. O comportamento dessa relação proporciona um maior flexibilidade à distribuição em acomodar superdispersão, uma caracterÃstica importante exibida nesta figura é que para a Binomial Negativa se aproximar a Poisson em contagens altas o @@ -429,30 +429,31 @@ derivadas, função escore e matriz de informação de Fisher chegamos que a matriz de informação é bloco diagonal caracterizando a ortogonalidade dos parâmetros $\beta$ de locação e $\theta$ de dispersão. Deste fato decorre que a estimação dos parâmetros pode ser realizada em paralelo, -ou seja, estima-se o vetor $beta$ pelo método de \textit{IWLS} e -posteriormente o parâmetro $\theta$ pelo método de Newton-Raphson, faz-se -os dois procedimentos simultaneamente até a convergência dos parâmetros. +ou seja, estima-se o vetor $\beta$ pelo método de \textit{IWLS} e +posteriormente o parâmetro $\theta$ pelo método de Newton-Raphson, +faz-se os dois procedimentos simultaneamente até a convergência das +estimativas. \section{Modelo COM-Poisson} \label{cap02:compoisson} -A distribuição de probabilidades COM-Poisson foi proposta em 1962, em um -contexto de filas por \citeauthoronline{Conway1962} e generaliza a -Poisson em termos da razão de probabilidades sucessivas, como veremos +A distribuição de probabilidades COM-Poisson foi proposta por +\citeonline{Conway1962}, em um contexto de filas e generaliza a Poisson +em termos da razão de probabilidades sucessivas, como veremos adiante. Seja $Y$ uma variável aleatória COM-Poisson, então sua função massa de probabilidade é \begin{equation} \label{eqn:pmf-compoisson} - Pr(Y=y \mid \lambda, \nu) = \frac{\lambda^y}{(y!)^\nu Z(\lambda, \nu)} - \qquad y = 0, 1, 2, \cdots + \Pr(Y=y \mid \lambda, \nu) = \frac{\lambda^y}{(y!)^\nu Z(\lambda, \nu)} + \qquad y = 0, 1, 2, \ldots \end{equation} \noindent em que $\lambda > 0$, $\nu \geq 0$ e $Z(\lambda, \nu)$ é uma constante -de normalização, calculada para que de fato seja uma função massa de -probabilidade. $\sum_{i=1}^\infty Pr(Y = y) = 1$. $Z(\lambda, \nu)$ é -definida como se segue +de normalização, calculada para que de fato \ref{eqn:pmf-compoisson} +seja uma função massa de probabilidade, $\sum_{i=1}^\infty \Pr(Y = y) = +1$. $Z(\lambda, \nu)$ é definida como se segue \begin{equation} \label{eqn:constante-z} @@ -464,25 +465,25 @@ entre probabilidades sucessivas \begin{equation} \label{eqn:prob-ratio} - \frac{Pr(Y=y-1)}{Pr(Y=y)} = \frac{y^\nu}{\lambda} + \frac{\Pr(Y=y-1)}{\Pr(Y=y)} = \frac{y^\nu}{\lambda} \end{equation} \noindent que se caracteriza não necessariamente linear em $y$, diferentemente da -Poisson, o que permite caudas mais pesadas ou mais magras à distribuição +Poisson, o que permite caudas mais pesadas ou mais leves à distribuição \cite{Sellers2010}. Na figura \ref{fig:distr-compoisson} apresentamos as -distribuições COM-Poisson para diferentes valores de $\lambda$ e $\nu$ +distribuições COM-Poisson para diferentes valores de $\lambda$ e $\nu$, em contraste com as equivalentes, em locação, distribuições -Poisson. Nessa figura podemos apreciar a flexibilidade desse modelo, +Poisson. Nessa figura podemos ver a flexibilidade desse modelo, pois i) contempla o caso de subdispersão mesmo em contagens baixas ($E(Y)=3$, painel a esquerda), a distribuição permite caudas pesadas e consequentemente uma dispersão extra Poisson, ii) contempla subdispersão mesmo em contagens altas, o que na Poisson terÃamos variabilidade na mesma -magnitude, na COM-Poisson podemos ter caudas mais magras concentrando as +magnitude, na COM-Poisson podemos ter caudas mais leves concentrando as probabilidades em torno da média (painel a direita) e iii) tem como caso particular a Poisson quando o parâmetro $\nu = 1$ (painel central). -<<distr-compoisson, fig.cap="Probabilidades pela distribuição COM-Poisson para diferentes parâmetros", fig.height=3.5, fig.width=7>>= +<<distr-compoisson, fig.cap="Probabilidades pela distribuição COM-Poisson para diferentes parâmetros.", fig.height=3.5, fig.width=7>>= library(tccPackage) ##------------------------------------------- @@ -559,11 +560,11 @@ trellis.unfocus() @ Uma das vantagens do modelo COM-Poisson é que possui, além da Poisson -quando $\nu = 1$ outros distribuições bem conhecidas como casos +quando $\nu = 1$, outras distribuições bem conhecidas como casos particulares. Esses casos particulares ocorrem essencialmente devido a forma assumida pela série infinita $Z(\lambda, \nu)$. Quando $\lambda = 1$, $Z(\lambda, \nu = 1) = e^\lambda$ e substituindo na expressão -\ref{eqn:pmf-compoisson} temos a distribuição Poisson resultante. Quando +\ref{eqn:pmf-compoisson}, tem-se a distribuição Poisson resultante. Quando $\nu \rightarrow \infty,\, Z(\lambda, \nu) \rightarrow 1+\lambda$ e a distribuição COM-Poisson se aproxima de uma distribuição Bernoulli com $P(Y=1)=\frac{\lambda}{1+\lambda}$. E quando $\nu = 0$ e $\lambda < 1$ @@ -633,11 +634,11 @@ for (i in 1:3) { @ Um inconveniente desse modelo é que os momentos média e variância não -tem forma fechada. Sendo assim podem ser calculados a partir da +tem forma fechada. Sendo assim, devem ser calculados a partir da definição $$ - E(Y) = \sum_{y = 0}^{\infty} y \cdot p(y) \qquad \qquad + E(Y) = \sum_{y = 0}^{\infty} y \cdot p(y) \qquad \textrm{e} \qquad V(Y) = \sum_{y = 0}^{\infty} y^2 \cdot p(y) - E^2(Y) $$ @@ -646,24 +647,26 @@ $$ \begin{equation} \label{eqn:cmp-mean-aprox} - E(Y) \approx \lambda^{1/\nu} - \frac{\nu - 1}{2\nu} \qquad \qquad + E(Y) \approx \lambda^{1/\nu} - \frac{\nu - 1}{2\nu} \qquad + \textrm{e} \qquad V(Y) \approx \frac{\lambda^{1/\nu}}{\nu} \end{equation} \noindent os autores ressaltam que essa aproximação é satisfatória para $\nu \leq -1$ ou $\lambda > 10^\nu$. Na figura \ref{fig:mv-compoisson} -representamos de forma gráfica a relação média e variância aproximada -pelas expressões em \ref{eqn:cmp-mean-aprox}. Note que temos quase uma -relação linear entre média e variância, \citeonline{Sellers2010} -descrevem que essa pode ser aproximada por $\frac{1}{\nu}E(Y)$. Dessas -aproximações, bem como das visualizações em \ref{fig:distr-compoisson}, -\ref{fig:casos-particulares} e \ref{fig:mv-compoisson} temos que o -parâmetros $\nu$, ou $\frac{1}{\nu}$, controla a precisão da distribuição, -sendo ela equidispersa $\mu = 1$, superdispersa quando $\nu < 1$ -e subdispersa quando $\nu > 1$. - -<<mv-compoisson, fig.cap="Relação Média e Variância na distribuição COM-Poisson", fig.height=4, fig.width=4, fig.show="hide", results="asis">>= +1$ ou $\lambda > 10^\nu$. Na figura \ref{fig:mv-compoisson} é +representada a relação média e variância aproximada pelas expressões em +\ref{eqn:cmp-mean-aprox}. Percebe-se que a relação é praticamente linear +entre média e variância, \citeonline{Sellers2010} descrevem que essa +pode ser relação pode, ainda, ser aproximada por +$\frac{1}{\nu}E(Y)$. Dessas aproximações, bem como das visualizações em +\ref{fig:distr-compoisson}, \ref{fig:casos-particulares} e +\ref{fig:mv-compoisson} deduz-se que o parâmetros $\nu$, ou +$\frac{1}{\nu}$, controla a precisão da distribuição, sendo ela +equidispersa quando $\nu = 1$, superdispersa quando $\nu < 1$ e +subdispersa quando $\nu > 1$. + +<<mv-compoisson, fig.cap="Relação Média e Variância na distribuição COM-Poisson.", fig.height=4, fig.width=4, fig.show="hide", results="asis">>= ##------------------------------------------- ## Parâmetros considerados @@ -711,20 +714,20 @@ wrapfigure() Embora o modelo COM-Poisson não tenha expressão fechada para a média da distribuição pode-se utilizá-lo como modelo associado a distribuição condicional da variável resposta de contagem. Isso é feito incorporando -um preditor linear em $\lambda$, que embora não representa a média está -associado com a locação da distribuição, ou seja, modela-se a média +um preditor linear em $\lambda$, que mesmo não representando a média, +está associado com a locação da distribuição, ou seja, modela-se a média indiretamente nessa abordagem. O modelo de regressão é definido com as -variáveis aleatórias condicionalmente independentes $Y_1, Y_2, \cdots, -Y_n$, dado o vetor de covariáveis $X_i = (x_{i1}, x_{i2}, \cdots, +variáveis aleatórias condicionalmente independentes $Y_1, Y_2, \ldots, +Y_n$, dado o vetor de covariáveis $X_i = (x_{i1}, x_{i2}, \ldots, x_{ip})$ seguindo um modelo COM-Poisson de parâmetros $\lambda_i = -e^{X_i\beta}$, $i = 1, 2, \cdots, n$ e $\nu$ comum a todas as +e^{X_i\beta}$, $i = 1, 2, \ldots, n$ e $\nu$ comum a todas as observações. Sob a notação de MLG's, temos em \ref{eqn:reg-poisson} o modelo devidamente formulado \begin{equation} \label{eqn:reg-compoisson} \begin{split} - Y_i \mid & X_i \sim \textit{COM-Poisson}(\lambda_i, \nu) \\ + Y_i \mid & X_i \sim \textrm{COM-Poisson}(\lambda_i, \nu) \\ &\eta(E(Y_i \mid X_i)) = \log(\lambda_i) = X_i\beta \end{split} \end{equation} @@ -748,7 +751,7 @@ $$ \underline{y}) $$ -<<constante-z, fig.cap="Convergência da constante de normalização da COM-Poisson para diferentes conjuntos de parâmetros", fig.height=3, fig.width=7>>= +<<constante-z, fig.cap="Convergência da constante de normalização da COM-Poisson para diferentes conjuntos de parâmetros.", fig.height=3, fig.width=7>>= ##------------------------------------------- ## Calcula Z para um c(lambda, phi) @@ -798,17 +801,18 @@ xyplot(z ~ j | .id, data = da, @ -Note que nessa maximização a constante de normalização $Z(\lambda, -\nu)$, conforme definida em \ref{eqn:constante-z} é calcula para cada -indivÃduo o que potencialmente torna o processo de estimação lento. Uma -ilustração do número de incrementos considerados para cálculo da -constante $Z(\lambda, \nu)$ é apresentado na figura -\ref{fig:constante-z}, neste ilustração foram utilizados os mesmos -parâmetros definidos em \ref{fig:distr-compoisson} e note que o número -de incrementos considerados para convergência \footnote{Adotou-se como - critério de convergência a iteração $j$ tal que $\lambda^j/(j!)^\nu < - 0,00001$}. de $Z(\lambda, \nu)$ foram \Sexpr{c(table(da[, ".id"]))} nos -primeiro, segundo e terceiro painéis respectivamente. +Para avaliação da log-verossimilhança em \ref{eqn:loglik-compoisson} a +constante de normalização $Z(\lambda, \nu)$, conforme definida em +\ref{eqn:constante-z} é calcula para cada observação o que +potencialmente torna o processo de estimação lento. Uma ilustração do +número de incrementos considerados para cálculo da constante $Z(\lambda, +\nu)$ é apresentada na figura \ref{fig:constante-z}. Nesta ilustração +foram utilizados os mesmos parâmetros definidos em +\ref{fig:distr-compoisson} e o número de incrementos +considerados para convergência \footnote{Adotou-se como critério de + convergência a iteração $j$ tal que $\lambda^j/(j!)^\nu < + 0,00001$}. de $Z(\lambda, \nu)$ foram \Sexpr{c(table(da[, ".id"]))} +nos primeiro, segundo e terceiro painéis respectivamente. Detalhes computacionais do algoritmo de maximização e manipulações algébricas para eficiência na avaliação da log-verossimilhança no modelo @@ -820,29 +824,33 @@ COM-Poisson são discutidos na seção \ref{cap03:metodos}. Problemas com excesso de zeros são comuns em dados de contagem. Caracteriza-se como excesso de zeros casos em que a quantidade observada de contagens nulas supera substancialmente aquela esperada -pelo modelo de contagem adotado, no caso do modelo Poisson +pelo modelo de contagem adotado. No caso do modelo Poisson $e^{-\lambda}$. -As contagens nulas que geram o excesso de zeros podem ser decorridas de +As contagens nulas que geram o excesso de zeros podem ser explicadas de duas formas distintas. A primeira denominamos de zeros estruturais, quando a ocorrência de zero se dá pela ausência de determinada caracterÃstica na população e a segunda, que denominamos zeros amostrais ocorre segundo um processo gerador de dados de contagem (e.g processo -Poisson). Assim, de forma geral temos dois processos geradores de dados -atuantes na geração de uma variável aleatória de contagem com excessivos +Poisson). Por exemplo, considerando o número de dias que uma famÃlia +consome um determinado produto, tem-se aquelas famÃlias que não consomem +o produto (zeros estruturais) e as demais famÃlias que consomem o +produto, porém não o consumiram no intervalo de tempo considerado no +estudo (zeros amostrais). Assim, de forma geral temos dois processos +geradores de dados em uma variável aleatória de contagem com excessivos zeros. Em geral, quando dados de contagem apresentam excessos de valores zero -também apresentarão subdispersão. Todavia, essa dispersão pode ser +também apresentarão superdispersão. Todavia, essa dispersão pode ser exclusivamente devido ao excesso de zeros e assim os modelos alternativos já apresentados não terão um bom desempenho. Uma ilustração -deste fato é ilustrada pela figura \ref{fig:ilustra-zeros}, em que -simulamos um conjunto de dados com excesso de ajustamos um modelo -COM-Poisson. Note que em ambos os casos o modelo se ajustou -adequadamente, indicando os excessos de zeros devem ser abordados de -forma diferente. +deste fato é apresentada na figura \ref{fig:ilustra-zeros}, em que foram +simulados dados com excesso de zeros e ajustado um modelo +COM-Poisson. Em ambos os casos o modelo não se ajustou adequadamente, +indicando que os excessos de zeros devem ser abordados de forma +diferente. -<<ilustra-zeros, fig.cap="Ilustração de dados de contagem com excesso de zeros", fig.height=3, fig.width=5>>= +<<ilustra-zeros, fig.cap="Ilustração de dados de contagem com excesso de zeros.", fig.height=3, fig.width=5>>= ##------------------------------------------- ## Simula os dados @@ -908,42 +916,42 @@ xyplot(py_real ~ c(yu - 0.15) | caso, data = da, \citeonline[capÃtulo 7]{Hilbe2014} discute sobre a interpretação e modelagem de dados de contagem com excesso de zeros. Para essa situação -temos ao menos duas abordagens i) os modelos de mistura +as duas principais abordagens são i) os modelos de mistura \cite{Lambert1992}, também chamados de inflacionados, em inglês \textit{Zero Inflated Models} e ii) os modelos condicionais \cite{Ridout1998}, também chamados de modelos de barreira, em inglês \textit{Hurdle Models}. Neste trabalho somente a abordagem via modelos -condicionais será abordada. A função massa de probabilidade do modelo +condicionais será considerada. A função massa de probabilidade do modelo Hurdle é \begin{equation} \label{eqn:pmf-hurdle} - Pr(Y = y \mid \pi, \Theta_c) = + \Pr(Y = y \mid \pi, \Theta_c) = \begin{dcases*} \pi & \text{se } y = 0,\\ - (1 - \pi) \frac{Pr(Z = z \mid \Theta_c)}{1 - Pr(Z = 0 \mid + (1 - \pi) \frac{\Pr(Z = z \mid \Theta_c)}{1 - \Pr(Z = 0 \mid \Theta_c)} & \text{se } y = 1, 2, \dots \end{dcases*} \end{equation} \noindent em que $0<\pi<1$, representa a probabilidade de ocorrência de zeros e -$Pr(Z = z \mid \Theta_c)$ a função massa de probabilidade de uma +$\Pr(Z = z \mid \Theta_c)$ a função massa de probabilidade de uma variável aleatória de contagem $Z$, como a Poisson ou a Binomial Negativa. Da especificação em \ref{eqn:pmf-hurdle}, os momentos média e variância -são obtidos facilmente usando as definições $E(Y) = \sum_{y=1}^\infty y -\cdot Pr(Y=y)$ e $V(Y) = \sum_{y=1}^\infty y^2 \cdot Pr(Y=y) - E^2(Y)$ +são obtidos usando as definições $E(Y) = \sum_{y=1}^\infty y \cdot +\Pr(Y=y)$ e $V(Y) = \sum_{y=1}^\infty y^2 \cdot \Pr(Y=y) - E^2(Y)$ $$ -E(Y) = \frac{E(Z)(1-\pi)}{1-Pr(Z = 0)} \qquad -V(Y) = \frac{1-\pi}{1-Pr(Z = 0)} \left [ E(Z) \frac{(1-\pi)}{1-Pr(Z = +E(Y) = \frac{E(Z)(1-\pi)}{1-\Pr(Z = 0)} \quad \textrm{e} \quad +V(Y) = \frac{1-\pi}{1-Pr(Z = 0)} \left [ E(Z) \frac{(1-\pi)}{1-\Pr(Z = 0)} \right ] $$ Para a inclusão de covariáveis, caracterizando um problema de regressão, -dado que o modelo tem dois processos atuantes devemos modelar ambos como +dado que o modelo tem dois processos devemos modelar ambos como se segue \begin{equation} @@ -959,25 +967,25 @@ se segue com $i = 1, 2, \cdots, n$, $G_i$ e $X_i$ as covariáveis da i-ésima observação consideradas para explicação da contagens nulas e não nulas respectivamente, $D(\mu_i, \phi)$ uma distribuição de probabilidades -para considerada para as contagens não nulas que pode conter ou não um -parâmetro $\phi$ adicional, se Poisson $D(\mu_i, \phi)$ se resume a -$Poisson(\mu_i)$ e $g(\mu_i)$ uma função de ligação, nos casos Poisson e -Binomial Negativa considera-se $\log(\mu_i)$. O que está implÃcito na -formulação \ref{eqn:reg-hurdle} é que para a componente que explica a -geração de zeros está sendo considerada a distribuição Bernoulli de -parâmetro $\pi_i$, contudo pode-se utilizar distribuições censuradas a -direita no ponto $y=1$ para estimação desta probabilidade, como explicam -\citeonline{Zeileis2007}. +considerada para as contagens não nulas que pode conter ou não um +parâmetro $\phi$ adicional, se Poisson, $D(\mu_i, \phi)$ se resume a +$\textrm{Poisson}(\mu_i)$ e $g(\mu_i)$ uma função de ligação, nos casos +Poisson e Binomial Negativa considera-se $\log(\mu_i)$. O que está +implÃcito na formulação \ref{eqn:reg-hurdle} é que para a componente que +explica a geração de zeros está sendo considerada a distribuição +Bernoulli de parâmetro $\pi_i$, contudo pode-se utilizar distribuições +censuradas a direita no ponto $y=1$ para estimação desta probabilidade, +como explicam \citeonline{Zeileis2007}. \section{Modelos de efeitos aleatórios} \label{cap02:aleatorio} Nas seções anteriores exploramos modelos que flexibilizam algumas -suposições do modelo Poisson. Basicamente permitindo casos não +suposições do modelo Poisson, basicamente permitindo casos não equidispersos e modelando conjuntamente um processo gerador de zeros -extra. Contudo uma suposição dos modelos de regressão para dados de -contagem vistos até aqui é que as variáveis aleatória $Y_1, Y_2, \cdots, -Y_n$ são condicionalmente independentes, dado o vetor de +extra. Contudo, uma suposição dos modelos de regressão para dados de +contagem vistos até aqui é que as variáveis aleatórias $Y_1, Y_2, +\ldots, Y_n$ são condicionalmente independentes, dado o vetor de covariáveis. Porém não são raras as situações em que essa suposição não se mostra adequada. \citeonline{Ribeiro2012} cita alguns exemplos: @@ -990,9 +998,9 @@ se mostra adequada. \citeonline{Ribeiro2012} cita alguns exemplos: suficientemente descrita por covariáveis. \end{itemize} -Nessas situações pode-se estender a classe de modelos de regressão -com a adição de efeitos aleatórios que incorporam variáveis não -observáveis (latentes) ao modelo, permitindo assim acomodar uma +Nessas situações pode-se estender a classe de modelos de regressão com a +adição de efeitos aleatórios que incorporam termos baseados em variáveis +não observáveis (latentes) ao modelo, permitindo assim acomodar uma variabilidade, que pode ser ou não estruturada, não prescrita pelo modelo. De forma geral a especificação dos modelos de efeitos aleatórios segue uma especificação hierárquica @@ -1007,18 +1015,19 @@ segue uma especificação hierárquica \end{equation} \noindent -para $i = 1, 2, \cdots, m$ (grupos com efeitos aleatórios comuns) e $j = -1, 2, \cdots, n$ (observações) com D$(\mu_{ij}, \phi)$, uma distribuição +para $i = 1, 2, \ldots, m$ (grupos com efeitos aleatórios comuns) e $j = +1, 2, \ldots, n$ (observações) com D$(\mu_{ij}, \phi)$, uma distribuição considerada para as variáveis resposta condicionalmente independentes, $g(\mu_{ij})$ uma função de ligação conforme definida na teoria dos -MLG's, $X_{ij}$ e $Z_{i}$ as vetores conhecidos representando os efeitos -das covariáveis de interesse, $b_i$ uma quantidade aleatória provida de -uma distribuição K$(\Theta_b)$. Note que nesses modelos uma quantidade -aleatória é somada ao preditor linear, diferentemente dos modelos de -efeitos fixos e a partir desta quantidade é possÃvel induzir um -comportamento correlato entre as observações. - -Como temos duas quantidades aleatórias no modelo, $Y \mid X$ e $b$, a +MLG's, $X_{ij}$ e $Z_{i}$ os vetores conhecidos que representam os +efeitos das covariáveis de interesse e os termos que definem os grupos +considerados como aleatórios, $b_i$ uma quantidade aleatória provida de +uma distribuição K$(\Theta_b)$. Nesses modelos uma quantidade aleatória +é somada ao preditor linear, diferentemente dos modelos de efeitos fixos +e a partir desta quantidade é possÃvel induzir uma estrutura de +dependência entre as observações. + +Como são duas quantidades aleatórias no modelo, $Y \mid X$ e $b$, a verossimilhança para um modelo de efeito aleatório é dada integrando-se os efeitos aleatórios @@ -1029,11 +1038,11 @@ os efeitos aleatórios \mid \Theta_b) db_i \end{equation} -Perceba que na avaliação da verossimilhança é necessário o cálculo de -$m$ integrais de dimensão $q$. Para muitos casos essa integral não tem -forma analÃtica sendo necessários métodos numéricos de aproximação, que -são discutidos na seção \ref{cap03:metodos}. E as estimativas de máxima -verossimilhança são +Na avaliação da verossimilhança é necessário o cálculo de $m$ integrais +de dimensão $q$. Para muitos casos essa integral não tem forma analÃtica +sendo necessários métodos numéricos de intergração, que são discutidos +na seção \ref{cap03:metodos}. As estimativas de máxima verossimilhança +são $$ \hat{\Theta} = (\hat{\beta}, \hat{\Theta_b}) = @@ -1042,25 +1051,19 @@ $$ $$ \noindent -note que no processo de estimação dos modelos de efeitos aleatórios, -métodos numéricos são intensivamente utilizados, pois a cada iteração do -algoritmo de maximização da log-verossimilhança $m$ integrais de -dimensão $q$ são aproximadas, ou seja, métodos de aproximação de -integrais são utilizados concomitantemente ao método de maximização. - -Em modelos de contagem de efeitos mistos é comum adotar como -distribuição para os efeitos aleatórios uma Normal $q$-variada com média -0 e matriz de variância e covariâncias $\Sigma$, ou seja, na -especificação \ref{eqn:reg-misto} K$(\Theta_b) = NMV_q(0, \Sigma)$. Para -estes casos os principais métodos de aproximação da integral tem -desempenhos melhores \cite{Bates2015}. +Em modelos de efeitos mistos é comum adotar como distribuição para os +efeitos aleatórios uma Normal $q$-variada com média 0 e matriz de +variância e covariâncias $\Sigma$, ou seja, na especificação +\ref{eqn:reg-misto} K$(\Theta_b) = NMV_q(0, \Sigma)$. Para estes casos +os principais métodos de aproximação da integral tem desempenhos +melhores \cite{Bates2015}. Como mencionado anteriormente modelos de efeitos aleatórios são candidatos a modelagem de dados superdispersos. Quando não há uma estrutura de delineamento experimental ou observacional pode-se incluir -efeitos aleatórios a nÃvel de observação (e então $m=n$, ou seja, os +efeitos aleatórios ao nÃvel de observação (e então $m=n$, ou seja, os vetores $Y$ e $b$ tem mesma dimensão). Casos particulares de modelos de -efeitos aleatórios, onde o efeito aleatório é adiciona a nÃvel de +efeitos aleatórios, onde o efeito aleatório é adicionado ao nÃvel de observação são o modelo Binomial Negativo e o \textit{Inverse Gaussian Model}, em ambos os casos a integral, definida em \ref{eqn:loglik-misto} tem solução analÃtica e consequentemente a diff --git a/docs/cap03_materiais-e-metodos.Rnw b/docs/cap03_materiais-e-metodos.Rnw index da1bac9b1a5a04dc93184b9ccda8cb5c340cfdeb..6ca2433bdb83340941b39ca9ec50adbb39d90e73 100644 --- a/docs/cap03_materiais-e-metodos.Rnw +++ b/docs/cap03_materiais-e-metodos.Rnw @@ -4,12 +4,12 @@ Essa seção é destinada a apresentação dos conjuntos de dados analisados no trabalho e descrição dos recursos computacionais e métodos utilizados -na análise. Na seção \ref{cap03:materiais-dados} os conjuntos de dados -são apresentados, ao todo são seis conjuntos de dados com diferentes -caracterÃsticas. Os recursos computacionais utilizados são descritos na -seção \ref{cap03:materiais-recursos}. Na última seção -\ref{cap03:metodos} desse capÃtulo são apresentados os métodos para -ajuste, avaliação e comparação dos modelos propostos. +na análise. Na seção \ref{cap03:materiais-dados} seis conjuntos de dados +com diferentes caracterÃsticas são apresentados. Os recursos +computacionais utilizados são descritos na seção +\ref{cap03:materiais-recursos}. Na última seção desse capÃtulo, +\ref{cap03:metodos}, são apresentados os métodos para ajuste, avaliação +e comparação dos modelos propostos. \section{Materias} \label{cap03:materiais} @@ -20,7 +20,7 @@ ajuste, avaliação e comparação dos modelos propostos. A seguir são apresentados os seis conjuntos de dados utilizados para avaliar o desempenho dos modelos COM-Poisson. Os dados em estudo são, quase em sua totalidade, resultantes de experimentos agronômicos com -delineamentos balanceados, o que é uma caracterÃstica desejável, haja +delineamentos balanceados, o que é uma caracterÃstica vantajosa, haja visto que o principal interesse é a avaliação do desempenho do modelo COM-Poisson quando empregado a análise desses dados. @@ -44,28 +44,27 @@ niveis.est <- paste(unique(cottonBolls$est), collapse = ", ") Experimento conduzido sob delineamento inteiramente casualizado com cinco repetições em casa de vegetação com plantas de algodão \emph{Gossypium - hirsutum} submetidas à diferentes nÃveis de desfolha artificial de + hirsutum} submetidas a diferentes nÃveis de desfolha artificial de remoção foliar (\Sexpr{niveis.des}), em combinação com o estágio fenológico no qual a desfolha foi aplicada (\Sexpr{niveis.est}). A unidade experimental foi um vaso com duas plantas onde avaliou-se o número de capulhos produzidos ao final da ciclo cultura -\apud{Zeviani2014}{Silva2012}. O experimento contou com +\cite{Silva2012}. O experimento contou com \Sexpr{nrow(cottonBolls)} observações das quais temos as informações das -variáveis número de capulhos de algodão produzidos, \texttt{ncap}, -nÃvel de desfolha de remoção foliar, \texttt{des} e estágio fenológico -das planta na unidade experimental, \texttt{est}. +variáveis número de capulhos de algodão produzidos (\texttt{ncap}), +nÃvel de desfolha de remoção foliar (\texttt{des}) e estágio fenológico +das planta na unidade experimental (\texttt{est}). Esse conjunto de dados já fora publicado sob a motivação da -caracterÃstica de subdispersão, na ocasião o modelo proposto na análise -foi o \textit{Gamma-Count} \cite{Zeviani2014}. Na figura -\ref{fig:descr-cottonBolls}, apresentamos os dados do experimento. A -esquerda temos a disposição das cinco observações em cada tratamento -(combinação de nÃvel de desfolha e estágio fenológico do algodão) e à -direita um gráfico descritivo cruzando médias e variâncias amostrais -calculadas em cada tratamento, onde a linha pontilhada representa a -caracterÃstica de equidispersão, média igual a variância. Em todos os -tratamentos obteve-se a média menor que a variância apontando evidência -de subdispersão. +caracterÃstica de subdispersão, utilizando o modelo \textit{Gamma-Count} +\cite{Zeviani2014}. Na figura \ref{fig:descr-cottonBolls}, apresentamos +os dados do experimento. À esquerda temos a disposição das cinco +observações em cada tratamento (combinação de nÃvel de desfolha e +estágio fenológico do algodão) e à direita um gráfico descritivo +cruzando médias e variâncias amostrais calculadas em cada tratamento, +onde a linha pontilhada representa a caracterÃstica de equidispersão, +média igual a variância. Em todos os tratamentos obteve-se a média menor +que a variância apontando evidência de subdispersão. <<descr-cottonBolls, fig.height=4.5, fig.width=8, fig.cap="(Esquerda) Número de capulhos produzidos para cada nÃvel de desfolha e estágio fenológico. (Direita) Médias e variâncias das cinco repetições em cada combinação de nÃvel de desfolha e estágio fenológico.">>= @@ -123,15 +122,14 @@ niveis.dexp <- paste0(paste(unique(cottonBolls2$dexp), Experimento conduzido na Universidade Federal da Grande Dourados (UFGD) em 2007, cujo objetivo foi avaliar os impactos da exposição de plantas à alta infestação de Mosca-branca \emph{Bemisia tabaci} em componentes de -produção do algodão \footnote{Experimento ainda não publicado.}. No -experimento, plantas de algodão foram expostas à alta infestação da -praga por diferentes perÃodos, \Sexpr{niveis.dexp} onde avaliou-se o -número de capulhos produzidos, \texttt{ncapu}, o número de estruturas -reprodutivas, \texttt{nerep} e o número de nós \texttt{nnos}, como -variáveis de interesse que representam a produtividade do cultivo de -algodão. A condução do estudo deu-se via delineamento inteiramente -casualizado com cinco vasos contendo duas plantas, para cada perÃodo de -exposição. +produção do algodão \cite{Martelli2008}. No experimento, plantas de +algodão foram expostas à alta infestação da praga por diferentes +perÃodos, \Sexpr{niveis.dexp} onde avaliou-se o número de capulhos +produzidos (\texttt{ncapu}), o número de estruturas reprodutivas +(\texttt{nerep}) e o número de nós (\texttt{nnos}), como variáveis de +interesse que representam a produtividade do cultivo de algodão. A +condução do estudo deu-se via delineamento inteiramente casualizado com +cinco vasos contendo duas plantas, para cada perÃodo de exposição. <<descr-cottonBolls2, fig.height=3.5, fig.width=7, fig.cap="Disposição das variáveis de contagem nº de estruturas reprodutivas, nº de capulhos produzidos e nº de nós da planta observadas sob diferentes dias de exposição à infestação de Mosca-branca.">>= @@ -165,11 +163,11 @@ fonte.xy("Fonte: Elaborado pelo autor.") @ -Na figura \ref{fig:descr-cottonBolls2} apresentamos a disposição de cada -uma das variáveis aleatórias de contagem número de estruturas -reprodutivas, número de capulhos produzidos e número de nós da planta -para os diferentes perÃodos em que as plantas estiveram sob alta -infestação de Mosca-branca. Para todas as contagens parece haver um +Na figura \ref{fig:descr-cottonBolls2} a disposição de cada uma das +variáveis aleatórias de contagem número de estruturas reprodutivas, +número de capulhos produzidos e número de nós da planta para os +diferentes perÃodos em que as plantas estiveram sob alta infestação de +Mosca-branca é apresentada. Para todas as contagens parece haver um comportamento subdisperso. A indicação de subdispersão também se observa na tabela \ref{tab:mv-cottonBolls2}, onde temos as médias e variâncias amostrais calculadas com as dez observações nos seis perÃodos de @@ -248,12 +246,12 @@ Experimento fatorial 5 $\times$ 3 que estudou diferentes nÃveis de adubação potássica aplicada ao solo, \Sexpr{niveis.K} e diferentes nÃveis de umidade do solo, \Sexpr{niveis.umid}, que representam pouca água, água em quantidade ideal e água em abundância, nos componentes de -produção da soja. O experimento foi instalado em casa de vegetação no -delineamento de blocos casualizados completos e a unidade experimental -foi um vaso com duas plantas de soja. No experimento foram medidas -várias variáveis respostas (que representam a produtividade), sendo que -o número de vagens viáveis por vaso e o número de grãos por vaso foram -as variáveis de contagem \cite{Serafim2012}. +produção da soja \cite{Serafim2012}. O experimento foi instalado em casa +de vegetação no delineamento de blocos casualizados completos e a +unidade experimental foi um vaso com duas plantas de soja. No +experimento foram medidas várias variáveis respostas (que representam a +produtividade), sendo que o número de vagens viáveis por vaso e o número +de grãos por vaso foram as variáveis de contagem. <<descr-soyaBeans, fig.height=4, fig.width=7.2, fig.cap="Disposição das variáveis número de grãos e número de vagens nos diferentes nÃveis de adubação potássica e umidade do solo.">>= @@ -291,7 +289,7 @@ variáveis. Para o número de grãos por parcela, com contagens mais elevadas, as variâncias amostrais são, quase em sua totalidade, superiores as médias caracterizando uma evidência de superdispersão. Já para o número de vagens por parcela temos médias e variâncias, em média, -próximas o que é indÃcia que a suposição de equidispersão é razoável. +próximas o que indica que a suposição de equidispersão é razoável. <<mv-soyaBeans, fig.height=3.5, fig.width=7, fig.cap="Médias e variâncias amostrais das contagens de grão e vagens, avaliadas no experimento com soja sob efeito umidade e adubação potássica.">>= @@ -385,12 +383,12 @@ da praga para cada cultivar em cada uma das datas de avaliação, representadas pelos dias decorridos após a primeira avaliação, em 11/12/09. Note que as contagens são muito altas e dispersas, principalmente nas quatro primeiras avaliações. A direita temos uma -descrição no nÃvel de dispersão da variável de contagem. Perceba que -esse é um conjunto de dados extremamente superdisperso, os pontos, que -representam em médias e variâncias em cada combinação de dias de após a -primeira avaliação e cultivares de soja, estão todos acima da reta -identidade (equidispersão) com variâncias em torno de 1.000 vezes -maiores que as respectivas médias. +descrição no nÃvel de dispersão da variável de contagem. Esse é um +conjunto de dados extremamente superdisperso. Os pontos, que representam +as médias e variâncias em cada combinação de cultivares de soja e dias +após a primeira avaliação, estão todos acima da reta identidade (de +equidispersão) com variâncias em torno de 1.000 vezes maiores que as +respectivas médias. <<descr-ninfas, fig.height=4, fig.width=8, fig.cap="(Esquerda) Dispersão entre o número total de ninfas de Mosca-branca nos folÃolos da soja e o número de dias após a primeira avaliação para as quatro diferentes cultivares. (Direita) Relação entre as médias e as variâncias amostrais do número de ninfas nesse experimento.">>= @@ -442,24 +440,24 @@ data(fish, package = "tccPackage") Diferentemente dos demais, esse é um estudo observacional feito por biólogos com interesse em modelar o número de peixes capturados por -grupos de pescadores visitantes em um Parque Estadual \textbf{citar o - repositório da UCLA}. Nesse estudo tem-se como informações a respeito -dos grupos de visitantes, o número de pessoas e de crianças no grupo e -se há ou não a presença de campista. Um fato interesse deste dado é que -nem todos os grupos de visitantes praticaram pescaria, portanto, nesses -grupos o número de peixes capturado será zero. - -Na figura \ref{fig:descr-fish} pode-se notar o evidente excesso de -contagens zero. No gráfico a esquerda apresentamos a disposição das -contagens, transformadas por $\log(y_i|x_i + 0,5)$. É caracterÃstica -marcante no gráfico a grande quantidade de pontos dispostos no primeiro -valor do eixo $y$, \Sexpr{log(0.5)} = $\log(0.5)$. Embora seja um -gráfico marginal, não considerando as covariáveis de cada contagem, a -direita temos um histograma da variável resposta onde percebe-se -novamente a grande quantidade de valores nulos, ao todo -\Sexpr{with(fish, sum(npeixes == 0)/length(npeixes))*100}\% dos dados -são contagens nulas. Portanto nesse problema, claramente modelos -alternativos que acomodem excesso de zeros se fazem necessários. +grupos de pescadores visitantes em um Parque Estadual \cite{UCLA}. Nesse +estudo tem-se como informações a respeito dos grupos de visitantes, o +número de pessoas e de crianças e se há ou não a presença de +campista. Um fato interessante deste dado é que nem todos os grupos de +visitantes praticaram pescaria, portanto, nesses grupos o número de +peixes capturado será zero. + +Na figura \ref{fig:descr-fish} é evidente o excesso de contagens +zero. No gráfico à esquerda apresentamos a disposição das contagens, +transformadas por $\log(y_i|x_i + 0,5)$. É caracterÃstica marcante no +gráfico a grande quantidade de pontos dispostos no primeiro valor do +eixo $y$, \Sexpr{log(0.5)} = $\log(0.5)$. Embora seja um gráfico +marginal, não considerando as covariáveis de cada contagem, a direita +temos um histograma da variável resposta onde percebe-se novamente a +grande quantidade de valores nulos, ao todo \Sexpr{with(fish, + sum(npeixes == 0)/length(npeixes))*100}\% dos dados são contagens +nulas. Portanto nesse problema, claramente modelos alternativos que +acomodem excesso de zeros se fazem necessários. <<descr-fish, fig.height=3.5, fig.width=7.5, fig.cap="(Esquerda) LogarÃtmo neperiano do número de peixes capturados acrescido de 0,5 para as diferentes composições dos grupos. (Direita) Histograma do número de peixes capturados por grupo.">>= @@ -508,27 +506,25 @@ data(nematodes, package = "tccPackage") Esse último conjunto de dados explorado no trabalho, é resultado de um experimento em casa de vegetação que estudou a reprodução de nematoides em cultivares de feijoeiro. No experimento, o solo de vasos com duas -plantas de feijão foi inicialmente contaminado com nematoides. Ao final -do experimento, as raizes das duas plantas por vaso foram lavadas, -trituradas, peneiradas e diluÃdas e as contagens dos nematoides -realizadas em alÃquotas dessa solução. Perceba que temos, incidindo -sobre a contagem a quantidade de raizes produzidas por parcela e ainda o -volume usado para diluir essa quantidade, pois as contagens são -realizadas em alÃquotas da solução composta pela razão entre massa -fresca de raizes (em gramas) e volume utilizado para diluição (em -milÃmetros)\footnote{Cedido para fins acadêmicos por Andressa Cristina +plantas de feijão foi inicialmente contaminado com nematoides e as +raizes das duas plantas por vaso foram, ao final do experimento, +lavadas, trituradas, peneiradas e diluÃdas e, a partir de alÃquotas +dessa solução, contou-se o número de nematoides. Como denominador da +contagem tem-se a razão entre a massa fresca de raizes (em gramas) por +parcela e o volume de água (em milÃmetros) utilizado para diluir essa +quantidade \footnote{Cedido para fins acadêmicos por Andressa Cristina Zamboni Machado, pesquisadora do Instituto Agronômico do Paraná (IAPAR), e pelo técnico agrÃcola do IAPAR Santino Aleandro da Silva}. -<<descr-nematodes, fig.height=4, fig.width=4, fig.show="hide", results="asis", fig.cap="Dispersão do número de nematoides em uma alÃquota de 1ml provida pela solução de 1 g/ml de massa fresca diluÃda.">>= +<<descr-nematodes, fig.height=4, fig.width=4, fig.show="hide", results="asis", fig.cap="Dispersão do número de nematoides providos por uma alÃquota da solução de 1 g/ml de massa fresca diluÃda.">>= cols <- trellis.par.get("superpose.line")$col[1:2] key <- list( ## corner = c(0.1, 0.9), type = "b", divide = 1, lines = list(pch = c(NA, 15), lty = c(2, 0), col = cols), - text = list(c("Média de nematoides por cultura", - "Média de nematoides geral"))) + text = list(c("Média de nematoides por linhagem", + "Média de nematoides"))) xyplot(nema ~ cult, data = nematodes, type = c("p", "g"), @@ -551,15 +547,16 @@ wrapfigure() @ Na figura \ref{fig:descr-nematodes} apresentamos a dispersão das -contagens de nematoides em uma alÃquota de 1 ml da solução composta de -uma grama de massa fresca de raiz por um milÃmetro de água. Note que as -contagens para cada uma das culturas se distribuem em torno do perfil -médio (linha pontilhada). Um detalhe interesse desse conjunto de dados é -que as linhagens de feijoeiro avaliadas não foram escolhas subjetivas, -pode-se interpretar as linhagens escolhidas como um sorteio aleatório -dentre uma população de linhagens de feijoeiro. Assim esse experimento -pode ser rotulado como um experimento de medidas repetidas, caso comum -nas aplicações de modelos de efeitos aleatórios. +contagens de nematoides em aliquotas da solução de uma grama de massa +fresca de raiz por um milÃmetro de água para cada linhagem. As contagens +para cada uma das linhagens se distribuem em torno do perfil médio +(linha pontilhada). Um detalhe interesse desse conjunto de dados é que o +efeito das linhagens pode ser considerado aleatório em certas fazes do +programa de melhoramento genético. Portanto, pode-se interpretar as +linhagens escolhidas como um sorteio aleatório dentre uma população de +linhagens de feijoeiro. Assim, modelos com efeitos aleatórios a nÃvel de +linhagem são capazes de representar as caracterÃsticas distintas de cada +linhagem por meio de uma distribuição de probabilidades. \subsection{Recursos computacionais} \label{cap03:materiais-recursos} @@ -567,31 +564,30 @@ nas aplicações de modelos de efeitos aleatórios. O \textit{software} R, versão \Sexpr{with(R.version, paste0(major, ".", minor))}, é utilizado tanto para a preparação e apresentação dos dados quanto para ajuste dos modelos e apresentação de resultados. Pacotes -auxiliares utilizados no trabalho são: \texttt{MASS} (versão -\Sexpr{packageVersion("MASS")}) para ajuste e inferências dos modelos +auxiliares utilizados no trabalho são: \texttt{MASS} +(\Sexpr{packageVersion("MASS")}) para ajuste e inferências dos modelos Binomial Negativo, \texttt{bbmle} (versão \Sexpr{packageVersion("bbmle")}) para estimação via máxima verossimilhança das funções implementadas para o modelo COM-Poisson , -\texttt{pscl} (versão \Sexpr{packageVersion("pscl")}) para ajuste dos +\texttt{pscl} (\Sexpr{packageVersion("pscl")}) para ajuste dos modelos Poisson e Binomial Negativo com componente de barreira para modelagem de excesso de zeros e \texttt{lme4} (versão \Sexpr{packageVersion("lme4")}) para ajuste dos modelos Poisson com efeitos aleatórios normais. Para apresentação gráfica dos resultados os -pacotes \texttt{lattice} (versão \Sexpr{packageVersion("lattice")}), -\texttt{latticeExtra} (versão \Sexpr{packageVersion("latticeExtra")}) e -\texttt{corrplot} (versão \Sexpr{packageVersion("corrplot")}) são +pacotes \texttt{lattice} (\Sexpr{packageVersion("lattice")}), +\texttt{latticeExtra} (\Sexpr{packageVersion("latticeExtra")}) e +\texttt{corrplot} (\Sexpr{packageVersion("corrplot")}) são exaustivamente utilizados. Finalmente, para elaboração do relatório, mesclando códigos em R e escrita na linguagem de marcação \LaTeX{}, o -pacote \texttt{knitr} (versão \Sexpr{packageVersion("knitr")}) é +pacote \texttt{knitr} (\Sexpr{packageVersion("knitr")}) é requerido. Destaca-se nesse trabalho que todas as funções implementadas para ajuste e inferência dos modelos de regressão COM-Poisson estão disponÃveis, em -formato de um pacote R \texttt{tccPackage}, no endereço -\url{https://github.com/jreduardo/tccPackage}. No capÃtulo -\ref{cap:resultados-e-discussao} destacamos as chamadas de algumas -funções e no apêndice \ref{capA:codigostcc} mostramos o emprego do pacote -na análise de dois conjuntos de dados exibidos no trabalho. +formato de um pacote R, \texttt{tccPackage}, no endereço +\url{https://github.com/JrEduardo/tccPackage}. No apêndice +\ref{capA:codigostcc} mostramos o emprego do pacote na análise de um +conjunto de dados exibido no trabalho. \section{Métodos} \label{cap03:metodos} @@ -602,9 +598,10 @@ log-verossimilhança, definida na expressão \ref{eqn:loglik-compoisson}, via algoritmo numérico de otimização \textit{BFGS}. O parâmetro extra da COM-Poisson, $\nu$ tem suporte nos reais positivos, restringindo o espaço paramétrico de busca do otimizador, o que é numericamente -indesejável. Para contornar essa empecilho reparametrizamos o modelo com -o parâmetro $\phi = \log(\nu)$, assim como $0 < \nu < \infty$, $-\infty -< \phi < \infty$. Sob a reparametrização a função a ser maximizada é +indesejável. Para deixar o domÃnio de busca nos reais reparametrizamos o +modelo com o parâmetro $\phi = \log(\nu)$, como $0 < \nu < \infty$ então +$-\infty < \phi < \infty$. Sob a reparametrização a função a ser +maximizada é \begin{equation} \label{loglik-compoissonr} @@ -612,12 +609,17 @@ o parâmetro $\phi = \log(\nu)$, assim como $0 < \nu < \infty$, $-\infty e^\phi \sum_i^n \log(y!) - \sum_i^n \log(Z(\lambda_i, \phi)) \end{equation} +\noindent +em que $\lambda_i = e^{X_i\beta}$, com $X_i$ o vetor $(x_{i1}, x_{i2}, +\ldots x_{ip})$ de covariáveis da i-ésima observação, e $(\beta, \phi) +\in \R^{p+1}$. + O ajuste do modelo é realizado sob $\phi$. Portanto as inferências -decorrentes do modelo são sobre esse parâmetro, todavia pode retornar -para parametrização original utilizando a função inversa em valores -pontuais ou método delta para funções de $\phi$. Nesse trabalho as -inferências são realizadas sob o parâmetro $\phi$. Para esse parâmetro -as interpretações são como se segue +decorrentes são sobre esse parâmetro. Todavia pode-se retornar para +parametrização original utilizando a função inversa em valores pontuais +ou método delta para funções de $\phi$. Nesse trabalho as inferências +são realizadas sob o parâmetro $\phi$. Para esse parâmetro as +interpretações são como se segue $$ \phi < 0 \Rightarrow \textrm{Superdispersão} \quad @@ -628,32 +630,29 @@ $$ \noindent ou seja, possui a interpretação de um parâmetro de precisão. -Note que a partir dessa reparametrização a condução de testes de -hipóteses é facilitada. Uma vez que $\phi = 0$, representa o caso -particular em que a COM-Poisson se reduz a Poisson, a estatÃstica +A partir dessa reparametrização a condução de testes de hipóteses é +facilitada. Uma vez que $\phi = 0$, representa o caso particular em que +a COM-Poisson se reduz a Poisson, a estatÃstica \begin{equation*} - \begin{split} - &TRV = 2 \cdot \left ( \ell_{CMP} - \ell_{P} \right )\\ - & TRV \sim \rchi^2_{1} - \end{split} + TRV = 2 \cdot \left ( \ell_{CMP} - \ell_{P} \right ) \sim \rchi^2_{1} \end{equation*} \noindent -em que $\ell_{CMP}$ e $\ell_{P}$ são as log-verossimilhanças maximizadas -dos modelos COM-Poisson e Poisson com mesmo preditor linear -respectivamente, se refere ao teste de razão de verossimilhanças para -$H_0: \phi = 0$, ou de forma mais apelativa, se refere ao teste sobre a -equivalência dos modelos COM-Poisson e Poisson. +sendo $\ell_{CMP}$ e $\ell_{P}$ as log-verossimilhanças maximizadas dos +modelos COM-Poisson e Poisson com mesmo preditor linear respectivamente, +se refere ao teste de razão de verossimilhanças para $H_0: \phi = 0$, ou +de forma mais apelativa, ao teste sobre a equivalência dos modelos +COM-Poisson e Poisson. Para incluir um componente de barreira no modelo COM-Poisson, acomodando excesso de zeros, partimos da definição em \ref{eqn:pmf-hurdle} adotando -para $Pr(Z = z \mid \Theta_c)$ a distribuição COM-Poisson +para $\Pr(Z = z \mid \Theta_c)$ a distribuição COM-Poisson (\ref{eqn:pmf-compoisson}) resultando em \begin{equation} \label{eqn:pmf-hurdlecmp} - Pr(Y = y \mid \pi, \phi, \lambda) = + \Pr(Y = y \mid \pi, \phi, \lambda) = \begin{dcases*} \pi & \text{se } y = 0,\\ (1 - \pi) \frac{\lambda^y}{(y!)^{e^\phi}Z(\lambda, @@ -688,13 +687,13 @@ máxima verossimilhança do modelo COM-Poisson com componente de barreira. Uma outra extensão proposta para o modelo COM-Poisson é a inclusão de efeitos aleatórios a fim de modelar a estrutura experimental ou -observacional de um conjunto de dados. Nos restringimos a inclusão de -efeitos aleatórios Normais, ou seja, $b \sim \textrm{Normal}(0, -\Sigma)$, que são incorporados sob a forma $\underline{\lambda} = X\beta -+ Z b$ conforme especificação \ref{eqn:reg-misto}. Assim, considerando a -distribuição COM-Poisson para a variável resposta condicionada as -covariáveis e os efeitos aleatórios, podemos escrever a verossimilhança -como +observacional de um conjunto de dados. Este trabalho restringe-se a +inclusão de efeitos aleatórios Normais, ou seja, $b \sim +\textrm{Normal}(0, \Sigma)$, que são incorporados sob a forma +$\underline{\lambda} = X\beta + Z b$ conforme especificação +\ref{eqn:reg-misto}. Assim, considerando a distribuição COM-Poisson para +a variável resposta condicionada as covariáveis e os efeitos aleatórios, +podemos escrever a verossimilhança como \begin{equation} \label{eqn:loglik-mixedcmp} @@ -716,7 +715,7 @@ grupo. A integração em \ref{eqn:loglik-mixedcmp}, necessária para a avaliação da verossimilhança não tem forma analÃtica. Utilizamos a aproximação de Laplace da forma como apresentada em \citeonline[pág. 141]{RibeiroJr2012} para aproximação dessa integral. A -estimação dos parâmetros é realizada via maximização de $\log(\Ell(\phi, +estimação dos parâmetros é realizada via maximização da $\log(\Ell(\phi, \Sigma, \beta \mid \underline{y}))$ com métodos numéricos de otimização. Ressalta-se que esse é um procedimento computacionalmente intensivo, pois a cada iteração do algoritmo de maximização, $m$ @@ -725,34 +724,32 @@ realizadas. Ainda, quando considerada a distribuição COM-Poisson para a variável resposta condicionalmente independente, temos também o cálculo de $n_m$ constantes normalizadoras $Z(\lambda, \phi)$ (\ref{eqn:constante-z}) para cada $m$ grupo em cada iteração do -algoritmo de otimização. Toda essa estrutura hierárquica com -procedimentos computacionais realizados a cada estágio, são extremamente -sensÃveis a aspectos de programação/implementação. +algoritmo de otimização. Com toda essa estrutura hierárquica, +procedimentos computacionais realizados a cada estágio são +potencialmente instáveis numericamente. Para comparação entre os modelos COM-Poisson e demais modelos listados no capÃtulo \ref{cap:modelos-para-dados-de-contagem} utilizamos -essencialmente o valor maximizado da log-verossimilhança. Critérios -de informação de Akaike (AIC) e Bayesiano (BIC) definidos como +essencialmente o valor maximizado da log-verossimilhança e o critério +de informação de Akaike (AIC) definido como \begin{equation} \label{eqn:criterios-informacao} - \textrm{AIC} = k2 - 2\ell(\Theta_k, \underline{y}) \qquad \qquad - \textrm{BIC} = k\log(n) - 2\ell(\Theta_k, \underline{y}) + \textrm{AIC} = 2(k - \ell(\Theta_k, \underline{y})) \end{equation} \noindent -sendo $k$ o número de parâmetros, $n$ o número de observações e -$\ell(\Theta_k, \underline{y})$ a log-verossimilhança maximizada do -modelo definido pelo conjunto $\Theta_k$ de parâmetros, também são -utilizados. Nas análises comparamos também os nÃveis descritivos nos -testes de razão de verossimilhanças entre modelos encaixados. Nos -modelos de regressão de efeitos fixos os valores preditos pelos modelos -COM-Poisson e demais alternativas pertinentes são contrastados -graficamente com bandas de confiança. - -Para maximização numérica das log-verossimilhanças dos modelos de +sendo $k$ o número de parâmetros e $\ell(\Theta_k, \underline{y})$ a +log\-verossimilhança maximizada do modelo definido pelo conjunto +$\Theta_k$ de parâmetros. Nas análises comparamos também os nÃveis +descritivos nos testes de razão de verossimilhanças entre modelos +encaixados. Nos modelos de regressão de efeitos fixos os valores +preditos pelos modelos COM-Poisson e demais alternativas pertinentes são +exibidos graficamente com bandas de confiança. + +Para maximização numérica das log\-verossimilhanças dos modelos de regressão COM-Poisson e suas extensões utilizamos um método de -otimização quasi-Newton bastante popular, denominado \textit{BFGS}. As -informações do vetor gradiente (derivadas de primeira e matriz hessiana -(derivadas de segunda ordem) são obtidos numericamente via aproximação -de diferenças finitas \cite{Nocedal1995}. +otimização quasi-Newton bastante popular, denominado \textit{BFGS} +\cite{Nocedal1995}. As informações do vetor gradiente (derivadas de +primeira e matriz hessiana (derivadas de segunda ordem) são obtidos +numericamente via aproximação de diferenças finitas. diff --git a/docs/cap04_resultados-e-discussao.Rnw b/docs/cap04_resultados-e-discussao.Rnw index 5861d2233570e6abf3bd1e0a0015b6d6634400f8..30c09ba1bc32e4dad9d1e7509cd7c2d07c775bae 100644 --- a/docs/cap04_resultados-e-discussao.Rnw +++ b/docs/cap04_resultados-e-discussao.Rnw @@ -2,9 +2,14 @@ % CAPÃTULO 4 - RESULTADOS E DISCUSSÃO % ------------------------------------------------------------------------ -Nesse capÃtulo são apresentados os modelos de regressão COM-Poisson -ajustados aos dados apresentados na seção \ref{cap03:materiais-dados}. - +Nesse capÃtulo são apresentados os resultados e discussões da aplicação +modelos de regressão COM-Poisson ajustados aos dados apresentados na +seção \ref{cap03:materiais-dados} comparando-as com abordagens já +utilizadas na EstatÃstica aplicada. As primeiras seis seções são +destinadas a apresentação das análises estatÃsticas de cada conjunto de +dados citado. Na seção \ref{cap04:discussao} discussões gerais sobre os +resultados dos modelos COM-Poisson empregados nas análises são +realizadas. \section{Análise de dados de capulhos de algodão sob efeito de desfolha} \label{sec:analise-cottonBolls} @@ -52,8 +57,8 @@ prof.cottonBolls <- profile(m5C, which = "phi") Diante da estrutura do experimento apresentada na seção \ref{sec:cottonBolls} foram propostos, por \citeonline{Zeviani2014}, cinco preditores crescentes em complexidade que testam aspectos -interesses sobre os fatores experimentais envolvidos no experimento. -Abaixo expressamos os cinco preditores considerados. +interesses sobre os fatores experimentais. Abaixo expressamos os cinco +preditores considerados. \noindent Preditor 1: $g(\mu) = \beta_0$ \\ @@ -68,26 +73,26 @@ Preditor 5: $g(\mu) = \beta_0 + \beta_{1j} \textrm{def} + \beta_{2j} \noindent onde $j$ varia nos nÃveis de estágio fenológico da planta (1: vegetativo, 2: botão floral, 3: florescimento, 4: maça, 5: capulho) e -$g(\mu)$ uma função de ligação entre o componente sistemático e o -componente aleatório do modelo. A proposta desses preditores foi +$g(\mu)$ uma função de ligação. A proposta desses preditores foi realizada de forma aninhada a fim de facilitar a condução de testes de -hipóteses. O modelo 1 contêm apenas o intercepto, e é ajustado apenas +hipóteses. O modelo 1 contêm somente o intercepto, e é ajustado apenas como ponto de partida para verificar como modelos mais estruturados melhoram o ajuste. O modelo 2 apresenta apenas o efeito de desfolha de forma linear, o modelo 3 é o modelo 2 somado um efeito de segunda ordem. O modelo 4, apresenta o efeito de desfolha linear mudando de -acordo com o estágio de crescimento, e por fim o modelo 5 diz que não -somente o efeito de primeira ordem muda com o estágio de crescimento, -mais também o efeito de segunda ordem. - -A seguir ajustamos os modelos Poisson e COM-Poisson como alternativas -paramétricas à análise de dados e como alternativa semi-paramétrica a -estimação via quase-verossimilhança Poisson. Na tabela -\ref{tab:ajuste-cottonBolls} apresentamos os resultados dos três modelos -ajustados aos cinco preditores considerados. O modelo COM-Poisson -apresentou melhor desempenho dentre todos os preditores considerados -quando comparado ao Poisson, indicado pelas maiores log-verossimilhanças -e menores AIC's. +acordo com o estágio de crescimento (interação entre o efeito linear de +desfolha e estágio), e por fim o modelo 5 não somente o efeito de +primeira ordem muda com o estágio de crescimento, mais também o efeito +de segunda ordem (interação entre o efeito de primeira e segunda ordem +de desfolha e estágio). + +A seguir são ajustados os modelos Poisson e COM-Poisson como +alternativas paramétricas à análise de dados e como alternativa +semi-paramétrica a estimação via quasi-verossimilhança Poisson. Na +tabela \ref{tab:ajuste-cottonBolls} apresentamos os resultados dos três +modelos ajustados aos cinco preditores. O modelo COM-Poisson apresentou +melhor ajuste dentre todos os preditores considerados quando comparado +ao Poisson, indicado pelas maiores log-verossimilhanças e menores AIC's. <<loglik-cottonBolls, include=FALSE>>= @@ -154,14 +159,13 @@ tab.ajuste <- data.frame(etas, tab.ajuste) \item np, número de parâmetros, diff $\ell$, diferença entre log-verossimilhanças, F, estatÃstica F baseada nas quasi-deviances, diff np, diferença entre o np. \\[0.1cm] -\item Fonte: Elaborado pelo autor, adaptação de Zeviani et al. (2014, - Tabela 1). +\item Fonte: Elaborado pelo autor. \end{tablenotes} \end{table} As estimativas dos parâmetros extras $\phi$ e $\sigma^2$ dos modelos COM-Poisson e Quasi-Poisson respectivamente, também são apresentadas na -\ref{tab:ajuste-cottonBolls} e indicam subdispersão ($\phi>0$ e +tabela \ref{tab:ajuste-cottonBolls} e indicam subdispersão ($\phi>0$ e $\sigma^2<1$). Note que, mesmo quando não consideramos covariáveis, preditor 1, a hipótese de equidispersão foi rejeitada pelo modelos COM-Poisson e Quasi-Poisson. Isso se reflete nos nÃveis descritivos dos @@ -183,20 +187,19 @@ fonte.xy("Fonte: Elaborado pelo autor.") wrapfigure() @ -Na figura \ref{fig:prof-cottonBolls} apresentamos a avaliação do -parâmetro $\phi$ do modelo COM-Poisson com efeito de desfolha artificial -de primeira e segunda ordem para cada estágio fenológico, via -verossimilhança perfilhada. O valor zero, que representa a não -necessidade de um modelo COM-Poisson não é contemplado pelos intervalos -de confiança de 90, 95 e até 99\%. A simetria do perfil de -verossimilhança também é algo para se destacar, pois neste caso -intervalos do tipo Wald (computacionalmente mais fáceis), via -aproximação quadrática da verossimilhança, podem ser construÃdos, muito -embora os construÃdos via perfil de log-verossimilhança sejam -preferÃveis. Em concordância com a figura, o teste de hipóteses via -razão de verossimilhanças para $H_0: \phi = 0$, rejeitou a hipótese nula -com um nÃvel de significância muito próximo a zero, tabela -\ref{tab:ajuste-cottonBolls}. +Na figura \ref{fig:prof-cottonBolls} a avaliação do parâmetro $\phi$ do +modelo COM-Poisson com efeito de desfolha artificial de primeira e +segunda ordem para cada estágio fenológico, via verossimilhança +perfilhada é apresentada. O valor zero, que representa a não necessidade +de um modelo COM-Poisson está dentro dos limites de confiança de 90, 95 +e até 99\%. A simetria do perfil de verossimilhança também é algo para +se destacar, pois neste caso intervalos do tipo Wald (computacionalmente +mais fáceis), via aproximação quadrática da verossimilhança, podem ser +construÃdos, muito embora os construÃdos via perfil de +log-verossimilhança sejam preferÃveis. Em concordância com a figura, o +teste de hipóteses via razão de verossimilhanças para $H_0: \phi = 0$, +rejeitou a hipótese nula com um nÃvel de significância muito próximo a +zero, tabela \ref{tab:ajuste-cottonBolls}. <<coef-cottonBolls, include=FALSE>>= @@ -223,7 +226,7 @@ tab.coef <- coeftab(m5P, m5Q, m5C, \cmidrule(lr){2-3} \cmidrule(lr){4-5} \cmidrule(lr){6-7} Parâmetro & Estimativa & Est/EP & Estimativa & Est/EP & Estimativa & Est/EP \\ \midrule - $\phi$ & -- & -- & 0,24 & -- & 1,58 & 12,42 \\ + $\sigma^2,\,\phi$ & -- & -- & 0,24 & -- & 1,58 & 12,42 \\ $\beta_{0}$ & 2,19 & 34,57 & 2,19 & 70,42 & 10,90 & 7,76 \\ $\beta_{11}$ & 0,44 & 0,85 & 0,44 & 1,73 & 2,02 & 1,77 \\ $\beta_{12}$ & 0,29 & 0,57 & 0,29 & 1,16 & 1,34 & 1,21 \\ @@ -246,20 +249,19 @@ tab.coef <- coeftab(m5P, m5Q, m5C, As estimativas dos efeitos lineares e quadráticos de desfolha artificial, conforme notação do preditor 5, são apresentadas na tabela \ref{tab:coef-cottonBolls} para os modelos Poisson, Quasi-Poisson e -COM-Poisson. As estimativas dos parâmetros para os modelos Poisson e -Quasi-Poisson são idênticas, por construção \ref{cap02:poisson}, o que -difere são as magnitudes dessas estimativas em comparação com seu erro -padrão, que no caso Quasi-Poisson é corrigido pelo parâmetro -$\sigma^2$. Considerando o modelo COM-Poisson as estimativas são -notavelmente diferentes, pois o preditor linear é construÃdo em -$\lambda$, da expressão \ref{eqn:pmf-compoisson}, e este parâmetro não -descreve, sozinho, a média da distribuição. Sendo assim as estimativas -do COM-Poisson não podem ser comparadas com as demais -estimativas. Contudo, a magnitude desses efeitos com relação ao efeito -padrão sim e neste caso temos os modelos Quasi-Poisson e COM-Poisson -levando as mesmas conclusões. - -<<corr-cottonBolls, fig.width=7, fig.height=7, fig.cap="Imagem da matriz de correlação entre os parâmetros do modelo COM-Poisson">>= +COM-Poisson. Para os modelos Poisson e Quasi-Poisson as estimativas são +idênticas, por construção \ref{cap02:poisson}, o que difere são as +magnitudes dessas estimativas em comparação com seu erro padrão, que no +caso Quasi-Poisson é corrigido pelo parâmetro $\sigma^2$. Considerando o +modelo COM-Poisson as estimativas são notavelmente diferentes, pois o +preditor linear é construÃdo em $\lambda$, da expressão +\ref{eqn:pmf-compoisson}, e este parâmetro não descreve, diretamente, a +média da distribuição. Sendo assim as estimativas do COM-Poisson não +podem ser comparadas com as demais estimativas. Contudo, a magnitude +desses efeitos com relação ao efeito padrão sim e neste caso temos os +modelos Quasi-Poisson e COM-Poisson levando as mesmas conclusões. + +<<corr-cottonBolls, fig.width=7, fig.height=7, fig.cap="Imagem da matriz de correlação entre os parâmetros do modelo COM-Poisson.">>= Vcov <- vcov(m5C) Corr <- cov2cor(Vcov) @@ -275,12 +277,12 @@ fonte("Fonte: Elaborado pelo autor.") As covariâncias entre as estimativas dos parâmetros do modelo COM-Poisson são apresentadas, na escala da correlação, na figura \ref{fig:corr-cottonBolls}. Destaca-se nessa figura a forte correlação -do parâmetro extra $\phi$ com os $\beta$'s da regressão. Embora seja uma -representação empÃrica, observada a esse particular conjunto de dados, -nota-se a não ortogonalidade na matriz de informação observada, o que -implica que inferências sob o parâmetro $\phi$ influenciam as demais -inferências a ser realizadas sobre os $\beta$'s. Esse comportamento dos -modelos COM-Poisson é recorrente, como veremos também nos demais +do parâmetro de precisão $\phi$ com os $\beta$'s da regressão. Embora +seja uma representação empÃrica, observada a esse particular conjunto de +dados, nota-se a não ortogonalidade na matriz de informação observada, o +que implica que inferências sobre os $\beta$'s devem levar em +consideração a incerteza sobre $\phi$ e vice-e-versa. Esse comportamento +dos modelos COM-Poisson é recorrente, como veremos também nos demais conjuntos de dados. <<pred-cottonBolls, fig.height=3.5, fig.width=7, fig.cap="Curva dos valores preditos com intervalo de confiança de (95\\%) como função do nÃvel de desfolha e do estágio fenológico da planta.">>= @@ -360,18 +362,18 @@ contida na matriz de variâncias e covariâncias não pôde ser marginalizada para os $\beta$'s, que efetivamente são utilizados para cálculo de $\hat{\lambda}_i$ e consequentemente $\hat{\mu}_i$. Portanto, para cálculo dos valores preditos utilizamos a matriz de variâncias e -covariâncias condicionada a $\phi$ \cite[teorema 3.6, +covariâncias condicionada a $\phi$, conforme \citeonline[teorema 3.6, pág. 123]{Ferreira2011}. Essa é uma prática tomada também para cálculo dos valores preditos nos demais conjunto de dados. As médias com intervalos de confiança calculadas com os modelos COM-Poisson e Quasi-Poisson são praticamente idênticas, conforme pode -ser visto na \ref{fig:pred-cottonBolls}. Contudo, ressaltamos que o -modelo COM-Poisson é totalmente paramétrico e assim conseguimos -recuperar a distribuição, calculando probabilidades o que não é possÃvel -com a formulação Quasi-Poisson. Ainda nota-se claramente que o modelo -Poisson é inadequado a esse conjunto de dados e que inferências a partir -deste seriam incorretas. +ser visto na figura \ref{fig:pred-cottonBolls}. Contudo, destaca-se que +o modelo COM-Poisson é totalmente paramétrico permitindo representar uma +distribuição, calculando probabilidades, o que não é possÃvel com a +formulação Quasi-Poisson. Ainda nota-se claramente que o modelo Poisson +é inadequado a esse conjunto de dados e que inferências a partir deste +seriam incorretas. \section{Análise de dados de capulhos de algodão sob efeito de Mosca-Branca} \label{sec:analise-cottonBolls2} @@ -444,8 +446,9 @@ prof.nnos <- profile(m3C.nnos, which = "phi") Nesse conjunto de dados também temos indÃcios de subdispersão para as três variáveis de interesse mensuradas no estudo, conforme apresentado -na seção \ref{sec:cottonBolls2}. Para as três contagens procedeu-se com -o ajuste dos modelos Poisson, Quasi-Poisson e COM-Poisson os preditores: +na seção \ref{sec:cottonBolls2}. Para cada contagem procedeu-se com o +ajuste dos modelos Poisson, Quasi-Poisson e COM-Poisson adotando os +preditores: \noindent Preditor 1: $g(\mu) = \beta_0$ \\ @@ -502,10 +505,9 @@ phis <- cmptest(m3C.ncapu, m2C.nerep, m3C.nnos) @ \noindent -sendo \texttt{dexp} a variável aleatória dias de exposição à alta -infestação de mosca-branca. Assim temos os preditores 1, 2, 3 que -representam efeito nulo, linear e quadrático dos dias de exposição -respectivamente. +sendo \texttt{dexp} a variável dias de exposição à alta infestação de +mosca-branca. Assim temos os preditores 1, 2, 3 que representam efeito +nulo, linear e quadrático dos dias de exposição respectivamente. \begin{table}[ht] \centering @@ -543,7 +545,7 @@ respectivamente. \end{tablenotes} \end{table} -Na tabela \ref{tab:ajuste-cottonBolls2} são exibidos as medidas de +Na tabela \ref{tab:ajuste-cottonBolls2} são exibidas as medidas de ajuste dos modelos para as três variáveis resposta. Em todos os casos o modelo COM-Poisson apresentou maiores log-verossimilhanças indicando um melhor ajuste, quando comparado ao Poisson, também indicado pelos os @@ -552,32 +554,33 @@ parâmetros considerados no modelo. Para questões inferenciais novamente, temos um desacordo entre os modelos paramétricos. Pelos modelos Poisson não temos evidências para manutenção de nenhum efeito da variável número de dias sob infestação, em todos os casos, ao passo que no modelo -COM-Poisson indicou efeito quadrático quando considerado o modelo para o -número de nós da planta (nÃvel descritivo de \Sexpr{1-anC.nnos[3,6]}) e -o número de capulhos produzidos (nÃvel descritivo de -\Sexpr{1-anC.ncapu[3,6]}, na borda da região de significância, mas com -uma diminuição do AIC em favor do efeito quadrático). Quando modelado o -número de estruturas reprodutivas o modelo COM-Poisson também não -indicou efeito quadrático, contudo o efeito linear de \texttt{dexp} pode -ser discutido uma vez que a significância do TRV foi de -\Sexpr{anC.ncapu[3,6]} e o AIC apresentou um pequeno aumento com relação -ao modelo nulo. Consideramos nas demais inferências os preditores com -efeitos linear, para o número de estruturas reprodutivas e quadrático, -para o número de capulhos produzidos e número de nós da planta. +COM-Poisson tem-se evidências do efeito quadrático quando considerado o +modelo para o número de nós da planta (nÃvel descritivo de +\Sexpr{1-anC.nnos[3,6]}) e o número de capulhos produzidos (nÃvel +descritivo de \Sexpr{1-anC.ncapu[3,6]}, na borda da região de +significância, mas com uma diminuição do AIC em favor do efeito +quadrático). Quando modelado o número de estruturas reprodutivas o +modelo COM-Poisson também não indicou efeito quadrático, contudo o +efeito linear de \texttt{dexp} pode ser discutido uma vez que a +significância do TRV foi de \Sexpr{anC.ncapu[3,6]} e o AIC apresentou um +pequeno aumento com relação ao modelo nulo. Consideramos nas demais +inferências os preditores com efeitos linear, para o número de +estruturas reprodutivas e quadrático, para o número de capulhos +produzidos e número de nós da planta. A especificação do modelo via Quasi-Verossimilhança Poisson obteve -nÃveis descritivos menos favoráveis a rejeição da hipótese nula que o -modelo COM-Poisson. Contudo, para escolha de preditores as mesmas +nÃveis descritivos mais conservadores para a rejeição da hipótese nula +que o modelo COM-Poisson. Contudo, para escolha de preditores as mesmas tendências apontadas pelo COM-Poisson foram seguidas. Para avaliação do parâmetro $\phi$ da COM-Poisson nos três modelos considerados, temos os intervalos de confiança construÃdos sob -perfilhamento da verossimilhança na figura \ref{fig:prof-cottonBolls2}. Note -que para nenhum dos modelos os intervalos de confiança de 90, 95 e 99\% -de confiança contiveram o valor de $\phi = 0$. Os valores estimados dos -parâmetros nos modelos para número de capulhos, número de estruturas -reprodutivas e número de nós da planta foram de \Sexpr{phis[, 1]} -respectivamente, indicando subdispersão. +perfilhamento da verossimilhança na figura +\ref{fig:prof-cottonBolls2}. Para nenhum dos modelos o valor de $\phi = +0$ esteve dentro dos limites de confiança de 90, 95 e 99\%. Os valores +estimados dos parâmetros nos modelos para número de capulhos, número de +estruturas reprodutivas e número de nós da planta foram de \Sexpr{phis[, + 1]} respectivamente, indicando subdispersão em todos os casos. <<prof-cottonBolls2, fig.height=3.5, fig.width=7, fig.cap="Perfis de log-verossimilhança para o parâmetro extra da COM-Poisson nos modelos para número de capulhos produzidos (esquerda), número de estruturas reprodutivas (central) e número de nós (direira).">>= @@ -637,15 +640,15 @@ xyplot(abs(z) ~ focal | param, data = da, @ -Na figura \ref{fig:corr-cottonBolls2a} temos a representação da matriz de -covariância entre as estimativas dos modelos para número de capulhos, à -esquerda e número de nós da plantas, à direita. A forte correlação entre -o parâmetro extra $\phi$ e $\beta_0$ (principalmente) também foi -observada no ajuste do modelo para esses conjuntos de dados. No modelo -considerado para o número de estruturas reprodutivas, o mesmo -comportamento é observado, \ref{fig:cor-cottonBolls2b}. +Na figura \ref{fig:corr-cottonBolls2a} é representada a matriz de +covariância via correlações entre as estimativas dos modelos para número +de capulhos, à esquerda e número de nós da plantas, à direita. A forte +correlação entre o parâmetro extra $\phi$ e $\beta_0$ (principalmente) +também foi observada no ajuste do modelo para esses conjuntos de +dados. Considerado o modelo para o número de estruturas reprodutivas, o +mesmo comportamento é observado, figura \ref{fig:corr-cottonBolls2b}. -<<corr-cottonBolls2a, fig.height=4, fig.width=8, fig.cap="Imagem da matriz de correlação entre os parâmetros do modelo COM-Poisson">>= +<<corr-cottonBolls2a, fig.height=4, fig.width=8, fig.cap="Imagem da matriz de correlação entre os parâmetros do modelo COM-Poisson. (Esquerda) Modelo para o número de capulhos por parcela e (direita) para o número de nós por parcela.">>= pnames <- c("phi", "beta0", "beta1", "beta2") @@ -665,7 +668,7 @@ fonte("Fonte: Elaborado pelo autor.") @ -<<corr-cottonBolls2b, fig.height=4, fig.width=4, results="asis", fig.show="hide", fig.cap="Imagem da matriz de correlação entre os parâmetros do modelo COM-Poisson">>= +<<corr-cottonBolls2b, fig.height=4, fig.width=4, results="asis", fig.show="hide", fig.cap="Imagem da matriz de correlação entre os parâmetros do modelo COM-Poisson para o número de estruturas reprodutivas">>= pnames <- c("phi", "beta0", "beta1") @@ -686,10 +689,10 @@ COM-Poisson e Quasi-Poisson temos a representação gráfica na figura \ref{fig:pred-cottonBolls2} com intervalos de confiança para média com 95\% de confiança. Assim como na análise realizada na seção \ref{sec:analise-cottonBolls} temos os valores preditos com bandas de -confiança obtidos dos modelos COM-Poisson e Quasi-Poisson ajustados, -praticamente idênticos levando as mesmas interpretações. +confiança obtidos dos modelos COM-Poisson e Quasi-Poisson, praticamente +idênticos levando as mesmas interpretações. -<<pred-cottonBolls2, fig.height=3.5, fig.width=7, fig.cap="Curva dos valores preditos com intervalo de confiança de (95\\%) como função do nÃvel de desfolha e do estágio fenológico da planta.">>= +<<pred-cottonBolls2, fig.height=3.5, fig.width=7, fig.cap="Curva dos valores preditos com intervalo de confiança de (95\\%) como função dos dias de exposição a alta infestação de Mosca-branca considerando os modelos para o número de estruturas reprodutivas (esquerda), número de capulhos produzidos (centro) e número de nós (direita).">>= qn <- qnorm(0.975) * c(fit = 0, lwr = -1, upr = 1) @@ -901,9 +904,10 @@ de vagens viáveis foram contabilizados por unidade experimental (vaso com duas plantas) e estão sob o efeito, controlado, de duas covariáveis, nÃveis de adubação potássica (\Sexpr{niveis.K}) e nÃveis de umidade do solo (\Sexpr{niveis.umid}), que consideramos na análise como fatores com -5 e 3 nÃveis respectivamente. Ainda têm-se pela condução do experimento -o efeito relacionado a blocagem realizada, foram cinco blocos utilizados -para controle de variação local. Os preditores considerados são +5 e 3 nÃveis respectivamente. Ainda têm-se, pela condução do +experimento, o efeito relacionado a blocagem realizada, foram cinco +blocos utilizados para controle de variação local. Os preditores +considerados são \noindent Preditor 1: $\eta_1 = g(\mu_{ijk}) = \beta_0 + \tau_i + \gamma_j + \delta_k $ \\ @@ -914,22 +918,88 @@ Preditor 1: $\eta_2 = g(\mu_{ijk}) = \beta_0 + \tau_i + \gamma_j + \delta_k + em que $\tau_i$ é o efeito do i-ésimo bloco, $i=$1: bloco II, 2: bloco III, 3: bloco IV e 4: V; $\gamma_j$ o efeito do j-ésimo nÃvel de umidade aplicado, $j=$1: 50\% e 2: 62,5\%; $\delta_k$ o efeito do k-ésimo nÃvel -de adubação potássica, $k=$ 30, 60, 120 e 180 mg dm$^{-3}$ e +de adubação potássica, $k=$ 1: 30, 2: 60, 3: 20 e 4: 180 mg dm$^{-3}$ e $\alpha_{jk}$ o efeito da interação entre o j-ésimo nÃvel de umidade do solo e o k-ésimo nÃvel de adubação potássica. Assim no modelo mais -completo, com interação, teremos 19 parâmetros de locação a serem +completo, com interação, são 19 parâmetros de locação a serem estimados. -Para ajuste dos modelos COM-Poisson nesse exemplo tivemos um tempo -computacional ligeiramente mais demorado (em torno de 10s para os quatro -modelos considerando as duas contagens e os dois preditores). Isso se -deve ao fato das contagens serem altas (variando entre +Para ajuste dos modelos COM-Poisson nesse exemplo o tempo computacional +foi ligeiramente mais demorado (em torno de 10s para os quatro modelos +considerando as duas contagens e os dois preditores). Isso se deve ao +fato das contagens serem altas (variando entre \Sexpr{paste(range(soyaBeans[ , "ngra"]), collapse=" e ")} para o número de grãos e \Sexpr{paste(range(soyaBeans[ , "nvag"]), collapse=" e ")} -para o número de vagens) e estarmos em um caso superdisperso -($\phi<0$). Nesse cenário a constante normalizada $Z(\lambda_i, \nu = -\exp(\phi))$, expressão \ref{eqn:constante-z}, converge para 0 mais -lentamente. +para o número de vagens) e superdispersas ($\phi<0$). Nesse cenário os +incrementos da constante normalizadora $Z(\lambda_i, \nu = \exp(\phi))$, +expressão \ref{eqn:constante-z}, convergem para 0 mais lentamente. + +<<convergez-soyaBeans, fig.height=3, fig.width=7, fig.cap="Convergência das constantes de normalização para cada indivÃduo no modelo para o número de vagens viáveis (esquerda) e para o número de grãos produzidos (direita)">>= + +##------------------------------------------- +## Constante normalizadora + +## Para nvag +lam.nv <- predict(m2C.nv) +zs.nv <- sapply(lam.nv, function(l) { + funZ(exp(l), exp(m2C.nv@coef[1]), maxit = 1000, tol = 0.001) +}) +names(zs.nv) <- 1:nrow(soyaBeans) +const.nv <- plyr::ldply(zs.nv) + +## Para ngra +lam.ng <- predict(m2C.ng) +zs.ng <- sapply(lam.ng, function(l) { + funZ(exp(l), exp(m2C.ng@coef[1]), maxit = 1000, tol = 0.001) +}) +names(zs.ng) <- 1:nrow(soyaBeans) +const.ng <- plyr::ldply(zs.ng) + +## Empilhando +const.all <- rbind(data.frame(const.nv, var = "nv"), + data.frame(const.ng, var = "ng")) + +xyplot(z ~ j | var, data = const.all, + type = c("l", "g"), + scales = "free", + ylab = list( + expression(frac(lambda[i]^j, "(j!)"^nu)), + rot = 0), + strip = strip.custom( + factor.levels = c("Número de vagens", "Número de grãos")), + sub = "Fonte: Elaborado pelo autor.") + +## Valores para nvag +index.nv <- which.max(table(const.nv$.id)) +nterm.nv <- table(const.nv$.id)[index.nv] +obs.nv <- names(table(const.all$.id))[index.nv] +soma.nv <- max(aggregate(z ~ .id, sum, data = const.nv)$z) +lambda.nv <- lam.nv[as.numeric(obs.nv)] + + +## Valores para ngra +index.ng <- which.max(table(const.ng$.id)) +nterm.ng <- table(const.ng$.id)[index.ng] +obs.ng <- names(table(const.all$.id))[index.ng] +soma.ng <- max(aggregate(z ~ .id, sum, data = const.ng)$z) +lambda.ng <- lam.ng[as.numeric(obs.ng)] + +@ + +Na figura \ref{fig:convergez-soyaBeans} são exibidos os termos dessa +constante para cada indÃviduo nos modelos mais complexos considerados +para o número de vagens e para o número de grãos. O critério de +convergência adotado foi de $\lambda^j/(j!)^\nu < 1 \times 10^{-3}$. No +modelo para número de vagens o maior valor para a constante foi de +\Sexpr{soma.nv} soma de \Sexpr{nterm.nv}, calculados para a observação +\Sexpr{obs.nv} cujo teve o maior valor estimado para o parâmetro +$\lambda$, $\hat{\lambda} = $\Sexpr{lambda.nv}, nesse o modelo o +parâmetro $\phi$ foi estimado em \Sexpr{m2C.nv@coef[1]}. Já no modelo +para o número de grãos foram necessários \Sexpr{nterm.ng}, termos que +somados resultaram em \Sexpr{soma.ng}, maior constante calculada. Isso +tambpem se deu na observação \Sexpr{obs.ng} que para este modelo, com +$\hat{\phi} = $\Sexpr{m2C.ng@coef[1]}, teve um parâmetro $\lambda$ +estimado em \Sexpr{lambda.ng}. <<loglik-soyaBeans, include=FALSE>>= @@ -989,32 +1059,32 @@ tab.ng <- cbind(tab.ng, dispersions.ng) Medidas de qualidade de ajuste calculadas sob os modelos Poisson, COM-Poisson, Binomial Negativo e Quasi-Poisson são apresentadas na tabela \ref{tab:ajuste-soyaBeans}. Considerando a variável resposta -número de vagens viáveis, percebe-se que há indÃcios de equidispersão -indicados i) pelos parâmetros extras dos modelos alternativos ao -Poisson, em que estimativas $\hat{\phi}$, $\hat{\theta}$ e -$\hat{\sigma^2}$ estão próximas dos valores 0, $\infty$ e 1 que +número de vagens viáveis, não há indÃcios de afastamento da +equidispersão indicados i) pelos parâmetros extras dos modelos +alternativos ao Poisson, em que estimativas $\hat{\phi}$, $\hat{\theta}$ +e $\hat{\sigma^2}$ estão próximas dos valores 0, $\infty$ e 1, que compreendem o caso particular Poisson nos modelos COM-Poisson, Binomial -Negativo e Quasi-Poisson, ii) pelas log-verossimilhanças dos modelos -paramétricos que resultaram em valores muito próximos, iii) pelos -valores de AIC que foram menores nos modelos Poisson, mostrando que não -há ganho expressivo quando estimados os parâmetros extra dos modelos -alternativos. Os \textit{p-valores} associados ao TRV entre os modelos -COM-Poisson e Poisson com preditores 1 e 2 foram de -\Sexpr{cmptest(m1C.nv, m2C.nv)[, 2]}, evidenciando a equidispersão dos -dados. Na figura \ref{fig:prof-soyaBeans} à esquerda apresentamos os -intervalos de confiança baseados no perfil de verossimilhança para -$\phi$ no modelo COM-Poisson com efeito de interação, como esses -intervalos exibidos contemplam o valor 0 o modelo COM-Poisson pode ser -reduzido ao Poisson. Para avaliação dos preditores, temos novamente um -caso de valores na borda de significância. Seguimos as análises -permanecendo com o modelo mais completo que considera a interação entre -adubação e umidade. +Negativo e Quasi-Poisson respectivamente, ii) pelas log-verossimilhanças +dos modelos paramétricos que resultaram em valores muito próximos, iii) +pelos valores de AIC que foram menores nos modelos Poisson, mostrando +que não há ganho expressivo quando estimados os parâmetros extra dos +modelos alternativos. Os \textit{p-valores} associados ao TRV entre os +modelos COM-Poisson e Poisson com preditores 1 e 2 foram de +\Sexpr{cmptest(m1C.nv, m2C.nv)[, 2]}, evidenciando a não fuga de +equidispersão dos dados. Na figura \ref{fig:prof-soyaBeans} à esquerda +são apresentados os intervalos de confiança baseados no perfil de +verossimilhança para $\phi$, no modelo COM-Poisson com efeito de +interação, como esses intervalos contém o valor da hipótese nula 0, o +modelo COM-Poisson pode ser reduzido ao Poisson. Para avaliação dos +preditores, novamente tem-se um caso de valores na borda de +significância. Seguimos as análises permanecendo com o modelo mais +completo que considera a interação entre adubação e umidade. \begin{table}[ht] \centering \small \caption{Medidas de ajuste para avaliação e comparação entre preditores - e modelos ajustados} + e modelos ajustados ao número de vagens e ao número de grão por parcela} \label{tab:ajuste-soyaBeans} \begin{tabular}{lcccrcccrc} \toprule @@ -1047,18 +1117,18 @@ adubação e umidade. \end{table} No fragmento direito da tabela \ref{tab:ajuste-soyaBeans} são -apresentados os resultados para os modelos que ajustam o número de grãos -por parcela. Neste caso temos evidências de superdispersão, pois as -estimativas dos parâmetros $\phi$ e $\sigma^2$ foram menores que zero e -maiores que 1 respectivamente. Os valores de AIC se apresentam menores e -as avaliações da log-verossimilhança no ponto máximo maiores para os -modelos paramétricos alternativos ao Poisson. Ainda a evidência sobre o -efeito de interação para essa variável resposta é mais contundente. Na -\ref{fig:prof-soyaBeans} à direita temos a verossimilhança perfilhada -com indicação dos intervalos de confiança para $\phi$ e estes não -contemplam o zero. - -<<prof-soyaBeans, fig.height=3.5, fig.width=7, fig.cap="Perfis de log-verossimilhança para o parâmetro extra da COM-Poisson nos modelos para número de vagens viáveis por parcela (esquerda) e número grãos de soja por parcela (direira).">>= +apresentados os resultados para os modelos que ajustam os efeitos para o +número de grãos por parcela. Neste caso temos evidências de +superdispersão, pois as estimativas dos parâmetros $\phi$ e $\sigma^2$ +foram menor que zero e maior que 1 respectivamente. Os valores de AIC se +apresentam menores e as avaliações da log-verossimilhança no ponto +máximo maiores para os modelos paramétricos alternativos ao +Poisson. Ainda a evidência sobre o efeito de interação para essa +variável resposta é maior. Na figura \ref{fig:prof-soyaBeans} à direita +temos a verossimilhança perfilhada com indicação dos intervalos de +confiança para $\phi$ e estes não contém o valor zero. + +<<prof-soyaBeans, fig.height=3.5, fig.width=7, fig.cap="Perfis de log-verossimilhança para o parâmetro de precisão da COM-Poisson nos modelos para número de vagens viáveis por parcela (esquerda) e número grãos de soja por parcela (direira).">>= ##====================================================================== ## Causa @@ -1112,10 +1182,10 @@ xyplot(abs(z) ~ focal | param, data = da.soya, @ -A visualização da covariâncias entre as estimativas dos parâmetros no +A visualização das covariâncias entre as estimativas dos parâmetros no modelo COM-Poisson para o número de vagens por parcela é feita na figura -\ref{corr-soyaBeansa} e para o número de grãos por parcela na figura -\ref{fig:corr-soyaBeansa}. Em ambos os casos a correlação entre os +\ref{fig:corr-soyaBeansa} e para o número de grãos por parcela na figura +\ref{fig:corr-soyaBeansb}. Em ambos os casos a correlação entre os parâmetros de locação ($\beta$'s) e dispersão ($\phi$) ganha destaque. <<corr-soyaBeansa, fig.height=7, fig.width=7, fig.cap="Imagem da matriz de correlação entre os parâmetros do modelo COM-Poisson ajustados ao número de vagens por parcela.">>= @@ -1152,12 +1222,12 @@ fonte("Fonte: Elaborado pelo autor.") @ -Na figura \ref{fig:pred-soyaBeans} apresentamos as médias calculadas -com com intervalos de confiança 95\% sob os modelos Poisson, -COM-Poisson, Binomial-Negativo e Quasi-Poisson considerando efeito de -interação entre os nÃveis de umidade do solo e adubação potássica de -confiança. Tomou-se o efeito médio de bloco, uma vez que esse efeito não -é de interesse prático. +Na figura \ref{fig:pred-soyaBeans} são apresentadas as médias calculadas +com intervalos de confiança 95\% sob os modelos Poisson, COM-Poisson, +Binomial-Negativo e Quasi-Poisson, considerando efeito de interação +entre os nÃveis de umidade do solo e adubação potássica. Tomou-se o +efeito médio de bloco, uma vez que esse efeito aditivo não é de interesse +prático. <<pred-soyaBeans, fig.height=5, fig.width=7.5, fig.cap="Valores preditos com intervalos de confiança (95\\%) como função do nÃvel de adubação com potássio e do percentual de umidade do solo para cada variável de interesse mensurada (número de vagens e número de grãos por parcela).">>= @@ -1309,20 +1379,20 @@ fonte.xy("Fonte: Elaborado pelo autor.") @ -Para a contagem do número de vagens, observa-se os intervalos -com comprimento muito parecidos, ligeiramente menores para o caso +Para a contagem do número de vagens, observa-se os intervalos com +comprimento muito parecidos, ligeiramente menores para o caso COM-Poisson e Binomial Negativo. Para a contagem do número de grão por parcela, onde temos um caso superdisperso, percebe-se que o modelo -Poisson nos leva a falsa confiança, uma vez que os intervalos são +Poisson nos leva a uma falsa precisão, uma vez que os intervalos são menores não por se ajustar melhor aos dados, mas sim por subestimar a variabilidade do processo. Para as formulações alternativas, temos os modelos paramétricos com intervalos menores que o semi-paramétrico Quasi-Poisson, isso é razoável, pois nos Quasi-Poisson temos somente a especificação de dois momentos, enquanto que nos paramétricos -especificamos a distribuição completa, ganhando informação -\ref{eqn:quasi-informacao}. Os intervalos sob os modelos COM-Poisson e -Binomial Negativa foram os mais parcimoniosos, sendo intervalos menores, -porém fiéis a variabilidade inerente ao processo. +especificamos a distribuição completa, ganhando informação (ver equação +\ref{eqn:quasi-informacao}). De forma geral os intervalos sob os modelos +COM-Poisson e Binomial Negativa são maiores, porém fiéis a variabilidade +inerente ao processo. \section{Análise de ninfas de mosca-branca em lavoura de soja} \label{sec:analise-whiteFly} @@ -1360,17 +1430,21 @@ prof.ntot <- profile(m1C.ntot, which = "phi") @ -Neste experimento também temos fortes indÃcios de superdispersão, -conforme visto na seção \ref{sec:whiteFly}. Assim os modelos Poisson, +e têm-se interesse na avaliação dos +fatores dias decorridos após a primeira avaliação da planta e +cultivar + +Neste experimento também há fortes indÃcios de superdispersão, conforme +visto na seção \ref{sec:whiteFly}. Assim os modelos Poisson, COM-Poisson, Binomial Negativo e Quasi-Poisson serão aplicados. A -variável em estudo é a contagem de ninfas de Mosca-Branca nos folÃolos -de plantas de soja e têm-se interesse na avaliação dos fatores dias -decorridos após a primeira avaliação da planta e cultivar. Como o -experimento foi conduzido sob delineamento de blocos casualizados, os -efeitos de bloco são considerados no modelo. As covariáveis serão -tratadas como fator, assim como na aplicação anterior, com seis nÃveis -para o número de dias decorridos a partir da primeira avaliação e quatro -nÃvel para o fator cultivar de soja. Os preditores em comparação são: +variável em estudo é a contagem da quantidade de ninfas de Mosca-branca +nos folÃolos de plantas de soja, ao longo dos dias nas diferentes +cultivares. Como o experimento foi conduzido sob delineamento de blocos +casualizados, os efeitos de bloco são considerados no modelo. As +covariáveis serão tratadas como fator, assim como na aplicação anterior, +com seis nÃveis para o número de dias decorridos a partir da primeira +avaliação e quatro nÃveis para o fator cultivar de soja. Os preditores +em comparação são: \noindent Preditor 1: $\eta_1 = g(\mu_{ijk}) = \beta_0 + \tau_i + \gamma_j + \delta_k $ \\ @@ -1384,23 +1458,65 @@ $j=$1: BRS 243 RR, 2: BRS 245 RR e 3: BRS 246 RR; $\delta_k$ o efeito do k-ésimo nÃvel do número de dias após o inÃcio do experimento, $k=$ 8, 13, 22, 31 e 38 dias e $\alpha_{jk}$ o efeito da interação entre a j-ésima cultivar e o k-ésimo nÃvel do número de dias após o inÃcio do -experimento. Como construÃdo, a avaliação do efeito de interação é de -interesse prático, pois informa se há desempenhos distintos das -cultivares conforme o número de dias decorridos da primeira -avaliação. No modelo com interação, temos 27 parâmetros de locação a -serem estimados. +experimento. A avaliação do efeito de interação é de interesse prático, +pois informa se há um padrão distinto na quantidade de ninfas ao longo +do tempo entre as cultivares. No modelo com interação, temos 27 +parâmetros de locação a serem estimados. + +<<convergez-whiteFly, fig.height=3, fig.width=3.5, fig.show="hide", results="asis", fig.cap="Convergência das constantes de normalização para cada indivÃduo no modelo para o número de ninfas de Mosca-branca.">>= + +##------------------------------------------- +## Constante normalizadora + +## Para nvag +lam.ntot <- predict(m2C.ntot) +zs.ntot <- sapply(lam.ntot, function(l) { + funZ(exp(l), exp(m2C.ntot@coef[1]), maxit = 1500, tol = 0.001) +}) +names(zs.ntot) <- 1:nrow(whiteFly) +const.ntot <- plyr::ldply(zs.ntot) +const.ntot <- rbind(data.frame(const.ntot, var = "ntot")) + +xyplot(z ~ j | var, data = const.ntot, + type = c("l", "g"), + scales = "free", + ylab = list( + expression(frac(lambda[i]^j, "(j!)"^nu)), + rot = 0), + strip = strip.custom( + factor.levels = c("Número de vagens")), + sub = "Fonte: Elaborado pelo autor.") + +## Valores para ntot +index.ntot <- which.max(table(const.ntot$.id)) +nterm.ntot <- table(const.ntot$.id)[index.ntot] +obs.ntot <- names(table(const.all$.id))[index.ntot] +soma.ntot <- max(aggregate(z ~ .id, sum, data = const.ntot)$z) +lambda.ntot <- lam.ntot[as.numeric(obs.ntot)] + +wrapfigure() + +@ Assim como na aplicação superdispersa apresentada na seção \ref{sec:analise-soyaBeans}, nesse exemplo temos um cenário com contagens altas (variando entre \Sexpr{paste(range(soyaBeans[ , "ngra"]), collapse=" e ")}) e ainda superdispersas (parâmetros $\phi$ -estimados próximos à -3). Isso torna a convergência da função $Z(\lambda_i, \nu = -\exp(\phi))$ demorada e o valor dessa constante que normaliza a -densidade é altÃssimo. Em problemas com contagens altas e comportamento -muito superdisperso a obtenção da constante Z pode se tornar proibitiva -computacionalmente, devido à \textit{overflow} (valores que ultrapassam o -limite de capacidade de armazenamento da máquina) e consequentemente o -modelo COM-Poisson não se ajusta. +estimados próximos à -3). Isso torna a convergência da função +$Z(\lambda_i, \nu = \exp(\phi))$ demorada e o valor dessa constante, que +normaliza a densidade, é altÃssimo para a maioria das +observações. Considerando o modelo com interação, pode-se visualizar os +termos, que somados compõem a constante $Z$, para cada observação, na +figura \ref{fig:convergez-whiteFly}. Para a observação \Sexpr{obs.ntot} +tem-se o maior valor calculado da constante $Z$, \Sexpr{soma.ntot}. Para +obtenção deste valor \Sexpr{nterm.ntot} termos foram necessários, +conforme exibido no eixo $x$ do gráfico. + +Em problemas com contagens altas e comportamento muito superdisperso a +obtenção da constante Z pode se tornar proibitiva computacionalmente, +devido à \textit{overflow} (valores que ultrapassam o limite de +capacidade de cálculo da máquina) e consequentemente o modelo +COM-Poisson não se ajusta. <<loglik-whiteFly, include=FALSE>>= @@ -1438,11 +1554,11 @@ tab.ajuste <- data.frame( Nesse exemplo, os modelos COM-Poisson convergiram e seus resultados são exibidos na tabela \ref{tab:ajuste-whiteFly} em conjunto com os -resultados proporcionados pelos modelos Poisson, Binomial Negativo e -COM-Poisson. Todas as estimativas dos parâmetros extras nos modelos -concorrentes ao Poisson, $\hat{\phi}$, $\hat{theta}$ e $\hat{sigma^2}$ +resultados do ajuste dos modelos Poisson, Binomial Negativo e +Quasi-Poisson. Todas as estimativas dos parâmetros extras nos modelos +concorrentes ao Poisson, $\hat{\phi}$, $\hat{\theta}$ e $\hat{\sigma^2}$ indicam expressivamente a superdispersão os dados. Em benefÃcio dos -modelos alternativos ao Poisson temos todas as medidas apresentadas +modelos alternativos ao Poisson tem-se todas as medidas apresentadas indicando uma substancial melhora de ajuste quando flexibilizamos o modelo. Destaque para a magnitude dessas evidências, em que, por exemplo, o AIC obtido dos modelos alternativos é em torno de 0,47 @@ -1486,13 +1602,13 @@ vezes o obtido do Poisson. Para tomada de decisão, observa-se que o modelo Poisson é claramente inadequado. Para avaliação dos preditores, na tabela \ref{tab:ajuste-whiteFly}, temos o modelo Poisson indicando (com uma -significância inferior a 1E-10) que há efeito de interação entre os dias -decorridos da primeira avaliação e as cultivares ao passo que nos -modelos alternativos esse efeito é marcadamente não significativo. Essa -discordância se deve, conforme já discutido, ao fato de o modelo Poisson -subestimar a variabilidade por sua restrição de equidispersão. Assim, -com variâncias menores qualquer efeito acrescido no modelo passará por -significativo. +significância inferior a $1 \times 10^{-10}$) que há efeito de interação +entre os dias decorridos da primeira avaliação e as cultivares ao passo +que, nos modelos alternativos, esse efeito é marcadamente não +significativo. Essa discordância se deve, conforme já discutido, ao fato +de o modelo Poisson subestimar a variabilidade por sua restrição de +equidispersão. Assim, com variâncias menores, qualquer efeito acrescido +ao modelo passará por significativo. <<prof-whiteFly, fig.height=4, fig.width=4, fig.show="hide", results="asis", fig.cap="Perfil de log-verossimilhança para o parâmetro extra da COM-Poisson">>= @@ -1503,15 +1619,15 @@ wrapfigure() @ -Enfatizando a superdispersão indicada pelo modelo COM-Poisson, -considerando o preditor de efeitos aditivos, temos o perfil de +Enfatizando a superdispersão indicada pelo modelo COM-Poisson e +considerando o preditor de efeitos aditivos, tem-se o perfil de verossimilhança para o parâmetro $\phi$ apresentado na figura \ref{fig:prof-whiteFly}. Podemos observar que os limites inferiores dos intervalos de confiança de 90, 95 e 99\% estão muito distantes do valor 0, sob o qual temos equivalência entre os modelos Poisson e COM-Poisson. Outra caracterÃstica desse gráfico é a leve assimetria à -esquerda, o que atribuÃmos a forte caracterÃstica de superdispersão dos -dados. +esquerda, indicando que haverá imperfeições para inferências baseadas na +aproximação quadrática da verossimilhança. <<corr-whiteFly, fig.width=7, fig.height=7, fig.cap="Imagem da matriz de correlação entre os parâmetros do modelo COM-Poisson">>= @@ -1529,9 +1645,9 @@ fonte("Fonte: Elaborado pelo autor.") @ -Também exibimos as covariâncias entre os efeitos estimados pelo modelo -COM-Poisson conforme descrição do preditor 1 na figura -\ref{fig:corr-whiteFly} na escala de correlação. Similarmente as +As covariâncias entre os efeitos estimados pelo modelo COM-Poisson +também são apresentadas, conforme descrição do preditor 1 na figura +\ref{fig:corr-whiteFly}, sob a escala de correlação. Similarmente as análises anteriores observa-se a alta correlação entre $\hat{\phi}$ e os demais parâmetros de regressão. A soma dos valores absolutos das correlações observadas entre $\hat{\phi}$ e as demais estimativas é de @@ -1635,22 +1751,22 @@ fonte.xy("Fonte: Elaborado pelo autor.") As médias com intervalos de confiança calculadas para cada combinação dos nÃveis de dias após a primeira avaliação e cultivar de soja considerando os modelos Poisson, COM-Poisson, Binomial-Negativo e -Quasi-Poisson, são apresentadas na \ref{fig:pred-whiteFly}. Para o -efeito de bloco consideramos o efeito médio para uma correta -comparação. Podemos observar que o intervalo de confiança descrito pelo +Quasi-Poisson, são apresentadas na figura \ref{fig:pred-whiteFly}. Para +o efeito de bloco foi considerado o efeito médio, para uma correta +comparação. Pode-se observar que o intervalo de confiança descrito pelo modelo Poisson é quase imperceptÃvel quando comparados aos demais, mostrando novamente que seu uso é inadequado a esses dados. Já para as outras alternativas não tivemos um comportamento padrão em todas as cultivares. Os intervalos pelo modelos Quasi-Poisson e COM-Poisson foram muito similares em todos os casos e os intervalos pelo modelo Binomial -Negativo intervalos mais amplos. Um fato interessante é que não -necessariamente as estimativas pontuais da média desses modelos -alternativos serão iguais, isso ocorre, por construção, somente para nos -modelos Poisson e Quasi-Poisson, esse exemplo ilustra na prática a -constatação desse fato. Para o modelo Binomial Negativo tivemos -médias visivelmente superiores que os demais para a cultivar BRS -239. Para o modelo COM-Poisson as estimativas pontuais são visivelmente -iguais as do modelo Poisson. +Negativo mais amplos. Um fato interessante é que não necessariamente as +estimativas pontuais da média desses modelos alternativos serão iguais, +isso ocorre, por construção, somente para nos modelos Poisson e +Quasi-Poisson, esse exemplo ilustra na prática a constatação desse +fato. Para o modelo Binomial Negativo tivemos médias visivelmente +superiores que os demais para a cultivar BRS 239. Para o modelo +COM-Poisson as estimativas pontuais são visivelmente iguais as do modelo +Poisson. \section{Análise de captura de peixes em um parque estadual} \label{sec:analise-fish} @@ -1681,13 +1797,13 @@ m2HC <- hurdlecmp(f2, data = fish) @ -Nesse exemplo ilustramos a análise de um estudo observacional em que -aparentemente temos uma quantidade excessiva de contagens nulas (veja a +Nesse exemplo ilustra-se a análise de um estudo observacional em que +aparentemente há uma quantidade excessiva de contagens nulas (veja a seção \ref{sec:fish}). O estudo tem por objetivo a modelagem do número de peixes capturados por grupos de visitantes em um Parque Estadual. As -covariáveis mensuradas foram \texttt{np}, o número de pessoas no grupo, -\texttt{nc}, o número de crianças e \texttt{ca} variável binária que -indica a presença ou não de um campista no grupo. +covariáveis mensuradas foram (\texttt{np}), o número de pessoas no +grupo, (\texttt{nc}), o número de crianças e (\texttt{ca}) variável +binária que indica a presença ou não de um campista no grupo. Como já antecipado pela visualização e apresentação dos dados, modelos estruturados de forma convencional, que pressupõe apenas um processo @@ -1707,7 +1823,7 @@ Preditor 1: \quad $ \begin{aligned} g(\mu) &= \beta_0 + \beta_1 \textrm{ca} + \beta_2 \textrm{np} \\ - logit(\pi) &= \gamma_0 + \gamma_1 \textrm{ca} + + \textrm{logit}(\pi) &= \gamma_0 + \gamma_1 \textrm{ca} + \gamma_2 \textrm{np} + \gamma_3 \textrm{nc} \end{aligned}$ \\ @@ -1717,21 +1833,21 @@ Preditor 2: \quad $ g(\mu) &= \beta_0 + \beta_1 \textrm{ca} + \beta_2 \textrm{np} + \beta_3 \textrm{nc} + \beta_4 (\textrm{np} \cdot \textrm{nc}) \\ - logit(\pi) &= \gamma_0 + \gamma_1 \textrm{ca} + + \textrm{logit}(\pi) &= \gamma_0 + \gamma_1 \textrm{ca} + \gamma_2 \textrm{np} + \gamma_3 \textrm{nc} + \gamma_4 (\textrm{np} \cdot \textrm{nc}) \end{aligned}$ \\ \noindent -sendo $g(\mu)$ e $logit(\pi)$ as funções de ligação que relacionam os -preditores lineares com as médias dos modelos para contagens não nulas e -contagens zero respectivamente. Os preditores lineares foram propostos -de forma aninhada. No primeiro temos os efeitos aditivos de todas as -covariáveis mensuradas para a parte das contagens nulas e efeitos -aditivos do número de pessoas e de crianças para a parte das contagens -não nulas. No segundo temos os efeitos aditivos de todas as -covariáveis acrescidos do efeito de interação entre o número de pessoas e -de crianças para ambas as partes do modelo. +sendo $g(\mu)$ e $\textrm{logit}(\pi)$ as funções de ligação que +relacionam os preditores lineares com as médias dos modelos para +contagens não nulas e contagens zero respectivamente. Os preditores +lineares foram propostos de forma aninhada. No primeiro considera-se os +efeitos aditivos de todas as covariáveis mensuradas para a parte das +contagens nulas e efeitos aditivos do número de pessoas e de crianças +para a parte das contagens não nulas. No segundo tem-se os efeitos +aditivos de todas as covariáveis acrescido do efeito de interação entre +o número de pessoas e de crianças para ambas as partes do modelo. <<logLik-fish, include=FALSE>>= @@ -1794,11 +1910,10 @@ comparado aos demais. Isso se deve ao fato discutido na seção \ref{cap02:zeros}, que mesmo modelando os zeros podemos ter diferentes nÃveis de dispersão para as contagens nulas. Nesse exemplo as contagens não nulas são superdispersas, conforme visto pelas estimativas dos -parâmetros extras do modelo Binomial Negativo e COM-Poisson. Conforme -indicado pelos nÃveis descritivos dos TRV's aplicados nos modelos -encaixados temos a indicação de que o modelo com efeitos de interação é -distinto do modelo com efeitos aditivos definidos no preditor 1. - +parâmetros extras do modelo Binomial Negativo e COM-Poisson. Indicado +pelos nÃveis descritivos dos TRV's aplicados nos modelos encaixados há +evidências de que o modelo com efeitos de interação é distinto do modelo +com efeitos aditivos definidos no preditor 1. <<coef-fish, results="asis">>= @@ -1830,12 +1945,12 @@ tab <- data.frame(pnames, cbind(coHP, coHB, coHC)) @ As estimativas dos parâmetros para cada especificação de modelos são -exibidas na tabela \ref{tab:coef-fish}. Observe primeiramente que as +exibidas na tabela \ref{tab:coef-fish}. Observe, primeiramente, que as estimativas dos parâmetros $\gamma_i$, $i = 0, 1, 2, 3, 4$ são idênticas, independentemente do modelo adotado. Esse resultado é esperado, pois na construção dos modelos com componente de barreira, a modelagem da parte que contempla os valores zero é realizada via -distribuição Bernoulli com parâmetro $\pi = logit(Z\gamma)$. As +distribuição Bernoulli com parâmetro $\pi = \textrm{logit}(Z\gamma)$. As diferenças entre os modelos ocorre na distribuição considerada para a parte das contagens não nulas. @@ -1850,7 +1965,7 @@ parte das contagens não nulas. \cmidrule(lr){2-3} \cmidrule(lr){4-5} \cmidrule(lr){6-7} Parâmetro & Estimativa & Est/EP & Estimativa & Est/EP & Estimativa & Est/EP \\ \midrule - Extra ($\phi$, $\theta$) & & & 0,37 & -2,08 & -3,77 & -9,52 \\ + $\phi,\,\theta$ & & & 0,37 & -2,08 & -3,77 & -9,52 \\ $\beta_0$ & -1,01 & -5,44 & -1,75 & -2,90 & -0,62 & -29,74 \\ $\beta_1$ & 0,74 & 7,88 & 0,41 & 1,23 & 0,10 & 29,20 \\ $\beta_2$ & 0,89 & 18,55 & 1,05 & 6,41 & 0,14 & 21,86 \\ @@ -1873,28 +1988,28 @@ Nos efeitos estimados para a parte da modelagem dos valores não nulos têm-se algumas diferenças consideráveis. Destaca-se que o valor das estimativas dos modelos Poisson e Binomial Negativo são comparáveis entre si, pois modelam a média da distribuição, mas não comparáveis com -as estimativas do modelo COM-Poisson, pois este modelo um parâmetro que -não representa, unicamente, a média. Contudo, independente da +as estimativas do modelo COM-Poisson, pois este modela um parâmetro que +não representa, diretamente, a média. Contudo, independente da distribuição o sinal dos efeitos deve ser o mesmo. Isso não ocorre nas estimativas dos parâmetros $\beta_3$, positiva no modelo Poisson e negativa nos demais e $\beta_4$, positiva no modelo COM-Poisson e -negativa nos demais. Porém esses efeitos não tem impacto significativo +negativa nos demais. Porém, esses efeitos não tem impacto significativo para definição dos parâmetros das distribuições, conforme podemos ver na -figura \ref{fig:pref-fish} que mostra as médias calculadas com base nas +figura \ref{fig:pred-fish} que exibe as médias calculadas com base nas três formulações. A seguir discutimos sobre os valores apresentados dos erros padrão dessas estimativas. Calculando a magnitude desses efeitos quando escalonados pelo seu erro -padrão, calculado pelo negativo do inverso da matriz hessiana, temos +padrão, obtido pelo negativo do inverso da matriz hessiana, temos diferenças substanciais. O modelo COM-Poisson indica erros padrões das estimativas muito menores que os apresentados no modelo Binomial -Negativo. Sob investigações do problema, encontramos que este resultado +Negativo. Sob investigações do problema, encontrou-se que este resultado se deve por inconsistências no procedimento numérico para determinação da matriz hessiana por diferenças finitas no modelo COM-Poisson. Portanto, os erros padrão sob o modelo COM-Poisson -apresentados não são confiáveis. +apresentados estão incorretos. -<<pred-fish, fig.height=4.5, fig.width=7, fig.cap="Valores preditos do número de peixes capturados considerando o número de crianças e pessoas no grupo e a presença de um campista">>= +<<pred-fish, fig.height=4.5, fig.width=7, fig.cap="Valores preditos do número de peixes capturados considerando o número de crianças e pessoas no grupo e a presença de um campista.">>= ##====================================================================== ## Preditos @@ -1978,21 +2093,20 @@ draw.key( @ -Embora tenhamos constatado problemas nos algoritmos numéricos para -determinar a curvatura da log-verossimilhança, temos que as estimativas -pontuais são coerentes com os demais modelos, conforme visto no figura -\ref{fig:pred-fish} onde temos apresentadas as médias calculadas com -base nos três modelos estudados. Observa-se em todos os modelos a -mesma tendência. - -Com esse ilustramos a extensão do modelo COM-Poisson para acomodar -excesso de zeros e ressaltamos que nesse exemplo tivemos contagens não -nulas superdispersas e para esses casos temos a distribuição Binomial -Negativa sendo a principal alternativa. Porém em casos que as contagens -não nulas se apresentam de forma subdispersa não temos opções -prontamente disponÃveis para análise e o modelo COM-Poisson com -componente de barreira, conforme apresentado, se torna uma abordagem -atrativa. +Embora tenha-se constatado problemas nos algoritmos numéricos para +determinar a curvatura da log-verossimilhança, as estimativas pontuais +são coerentes com os demais modelos, conforme visto na figura +\ref{fig:pred-fish} onde são apresentadas as médias calculadas com +base nos três modelos estudados. Observa-se em todos os modelos a mesma +tendência. + +Com esse exemplo ilustra-se a extensão do modelo COM-Poisson para +acomodar excesso de zeros e ressalta-se que as contagens não nulas +analisadas são superdispersas e para esses casos temos a distribuição +Binomial Negativa sendo a principal alternativa. Porém, em casos que as +contagens não nulas se mostram subdispersas não temos opções prontamente +disponÃveis para análise e o modelo COM-Poisson com componente de +barreira, conforme apresentado, se torna uma abordagem atrativa. \section{Análise de dados de reprodução de nematoides em cultivares de feijoeiro} @@ -2006,7 +2120,7 @@ data(nematodes) ## Preditores f1 <- nema ~ (1|cult) -f2 <- nema ~ off + (1|cult) +f2 <- nema ~ log(off) + (1|cult) ## Ajuste dos mixed Poisson m1PM <- glmer(f1, data = nematodes, family = poisson) @@ -2019,8 +2133,8 @@ load("mixedcmp_models.rda") @ -Nessa última aplicação apresentada no trabalho ilustramos a extensão dos -modelos de contagem para inclusão de efeitos aleatórios. Os modelos em +Nessa última aplicação apresentada no trabalho a extensão dos modelos de +contagem para inclusão de efeitos aleatórios é ilustrada. Os modelos em competição são o Poisson e o COM-Poisson com efeitos aleatórios. O conjunto de dados se refere ao número de nematoides em cultivares medidas em soluções \texttt{sol} compostas da massa fresca de raizes @@ -2030,17 +2144,17 @@ em competição, os seguintes preditores: \noindent Preditor 2: $g(\mu) = \beta_0 + b_j$ \\ -Preditor 2: $g(\mu) = \beta_0 + \beta_1 \textrm{sol}_i + b_j$ +Preditor 2: $g(\mu) = \beta_0 + \beta_1 \log(\textrm{sol})_i + b_j$ \noindent em que $i = 1, 2, \cdots, \Sexpr{nrow(nematodes)}$ (número de observações) e $j$ varia nos nÃveis da cultivar de feijão ($j =$ A, B, C, $\cdots$, S representando o efeito aleatório, realização de uma variável aleatória Normal de média 0 e variância $\sigma^2$. Assim, nos -modelos propostos têm-se a variabilidade intra-cultivares explicada por -uma distribuição Normal e a variabilidade extra-cultivares explicada -pela relação média variância descrita pelo modelo considerado, Poisson -ou COM-Poisson. +modelos propostos têm-se a variabilidade entre as cultivares explicada +por uma distribuição Normal e a variabilidade dentro das cultivares +explicada pela relação média variância descrita pelo modelo considerado, +Poisson ou COM-Poisson. <<logLik-nematodes, include=FALSE>>= @@ -2064,32 +2178,33 @@ tab <- data.frame( @ -O ajuste de modelos com a inclusão de efeitos aleatórios requer a +O ajuste dos modelos com a inclusão de efeitos aleatórios requer a solução de uma integral que, em geral, é resolvida numericamente. Isso -torna o procedimento de ajuste computacionalmente intensivo e muito -sensÃvel a problemas numéricos. Para o ajuste dos modelos COM-Poisson de -efeitos mistos algumas iterações do algoritmo de estimação propuseram +torna o procedimento de ajuste computacionalmente intensivo e bastante +suscetÃvel a problemas numéricos. Para o ajuste dos modelos COM-Poisson +de efeitos mistos algumas iterações do algoritmo de estimação propuseram valores para os parâmetros que resultaram em somas $Z(\lambda_i, \phi)$ -não puderam ser representados pela máquina, \textit{overflow}. Porém o -algoritmo é equipado com procedimentos para esquivar-se desse problema -propondo novos valores mesmo quando a função objetivo não puder ser -calculada, alcançando o máximo da log-verossimilhança. Para o modelo -Poisson de efeito aleatório utilizou-se das programações em R providas -pelo pacote \texttt{lme4} \cite{Bates2015}, que trabalham com matrizes -esparsas para os efeitos aleatórios e otimização em linguagem de baixo -nÃvel, minimizando os problemas numéricos. +que não puderam ser representados pela máquina, +\textit{overflow}. Porém, o algoritmo dispõe de procedimentos que evitam +sua interrupção, propondo novos valores mesmo quando a função objetivo +não puder ser calculada, alcançando o máximo da +log-verossimilhança. Para o modelo Poisson de efeito aleatório +utilizou-se das programações em R providas pelo pacote \texttt{lme4} +\cite{Bates2015}, que trabalham com matrizes esparsas para os efeitos +aleatórios e otimização em linguagem de baixo nÃvel, minimizando os +problemas numéricos. Os resultados do ajuste para avaliação e comparação dos modelos são apresentados na tabela \ref{tab:ajuste-nematodes}. Os valores na tabela indicam que os modelos Poisson e COM-Poisson se ajustaram de forma equivalente, os valores da log-verossimilhança foram muito -próximos. Essa equivalência também é apontada pelos AIC's que foram +próximos. Essa equivalência também é apontada pelos AIC's, que foram maiores para nos modelos COM-Poisson e pelos nÃveis descritivos dos TRV's realizados sob a hipótese $H_0: \phi = 0$, indicando que a adoção de um modelo com um parâmetro adicional não é justificado pelo pequeno -acréscimo na log-verossimilhança. Com relação ao efeito da solução de -massa fresca de raiz, temos evidências apontando um efeito significativo -para explicação do número de nematoides. +acréscimo na log-verossimilhança. Com relação ao efeito do logaritmo da +solução de massa fresca de raiz, temos evidências apontando um efeito +significativo para explicação do número de nematoides. \begin{table}[ht] \centering @@ -2117,26 +2232,25 @@ para explicação do número de nematoides. \end{tablenotes} \end{table} -Permanecendo com o segundo preditor, com o efeito da solução, temos as -estimativas dos parâmetros do modelo apresentadas na tabela -\ref{tab:coef-nematodes} em conjunto com seu erro padrão, calculado sob -aproximação quadrática da verossimilhança, ou seja via inversão da -matriz hessiana. Novamente temos os resultados similares entre os -modelos. Lembre-se que, desta tabela o único resultado comparável -diretamente é a razão entre estimativa e erro padrão do parâmetro -$\beta_1$. O parâmetro $\sigma$ é o responsável por estabelecer a -distribuição dos efeitos aleatórios, que no modelo Poisson são somado -para composição de $\mu$ e na COM-Poisson para composição de +Permanecendo com o segundo preditor, com o efeito do logaritmo da +solução, temos as estimativas dos parâmetros do modelo apresentadas na +tabela \ref{tab:coef-nematodes} em conjunto com seu erro padrão, +calculado sob aproximação quadrática da verossimilhança, ou seja via +inversão da matriz hessiana. Novamente, temos os resultados similares +entre os modelos. Lembre-se que, desta tabela o único resultado +comparável diretamente é a razão entre estimativa e erro padrão do +parâmetro $\beta_1$. O parâmetro $\sigma$ é a variância da distribuição +dos efeitos aleatórios, que no modelo Poisson são somados aos efeitos +fixos para composição de $\mu$ e na COM-Poisson para composição de $\lambda$. Outro resultado interessante dessa tabela é a estimativa do -parâmetro $\phi$ da COM-Poisson, a estimativa positiva indica uma -subdispersão moderada nesse conjunto de dados. Uma vantagem do -modelo misto COM-Poisson é que podemos distinguir a variabilidade da -contagem com a variabilidade dos grupos aleatórios no experimento. Nesse -exemplo tivemos uma variabilidade do efeito aleatório maior, $\sigma$ -estimado no caso COM-Poisson maior que no caso Poisson, porém essa -variabilidade extra capturada pelo efeito aleatório é compensada pela -subdispersão capturada pelo parâmetro $\phi$. - +parâmetro $\phi$ da COM-Poisson, que positiva indica uma subdispersão +moderada nesse conjunto de dados. Uma vantagem do modelo misto +COM-Poisson é que podemos distinguir a variabilidade da contagem com a +variabilidade do efeito do grupo no experimento. Nesse exemplo tivemos +uma variabilidade do efeito aleatório maior, $\sigma$ estimado no caso +COM-Poisson maior que no caso Poisson, porém essa variabilidade extra +capturada pelo efeito aleatório é compensada pela subdispersão capturada +pelo parâmetro $\phi$. <<coef-nematodes, include=FALSE>>= @@ -2172,19 +2286,18 @@ Parâmetro & Estimativa & E. Padrão & Est/EP & Estimativa & E. Padrão & Est/EP \end{tabular} \end{table} -Como resultados complementares a tabela \ref{tab:coef-nematodes} temos +Como resultados complementares a tabela \ref{tab:coef-nematodes}, tem-se os perfis de verossimilhança com intervalos de confianças de nÃveis 90, 95 e 99\% apresentados na figura \ref{fig:prof-nematodes}. Observa-se um comportamento razoavelmente simétrico para todos os parâmetros, apenas -com uma assimetria levemente destacada para o parâmetro $\beta_0$, o que -nos dá mais segurança para interpretarmos resultados baseados na +com uma assimetria levemente destacada para o parâmetro $\beta_0$. Isso +traz mais segurança para interpretarmos resultados baseados na aproximação quadrática da verossimilhança, que são de fácil obtenção pois só envolvem inversão de matrizes. No perfil de verossimilhança para o parâmetro $\phi$, temos mais uma evidência da equivalência entre os -modelos Poisson e COM-Poisson, pois note que o valor 0 é contido pelos -intervalos. +modelos Poisson e COM-Poisson, pois os intervalos contém o valor 0. -<<prof-nematodes, fig.height=3, fig.width=7.2, fig.cap="Perfis de verossimilhança dos parâmetros estimados no modelo COM-Poisson Misto">>= +<<prof-nematodes, fig.height=3, fig.width=7.2, fig.cap="Perfis de verossimilhança dos parâmetros estimados no modelo COM-Poisson Misto.">>= fl <- expression(phi, log(sigma), beta[0], beta[1]) myprof(profCM, subset = 3.5, @@ -2194,7 +2307,7 @@ myprof(profCM, subset = 3.5, fonte.xy("Fonte: Elaborado pelo autor.") @ -<<corr-nematodes, fig.width=3.5, fig.height=3.5, fig.show="hide", results="asis", fig.cap="Imagem da matriz de correlação entre os parâmetros do modelo COM-Poisson">>= +<<corr-nematodes, fig.width=3.5, fig.height=3.5, fig.show="hide", results="asis", fig.cap="Imagem da matriz de correlação entre os parâmetros do modelo COM-Poisson.">>= pnames <- c("phi", "lsigma0", paste0("beta", 0:1)) @@ -2216,13 +2329,13 @@ responsáveis pela explicação da variabilidade do processo em estudo. Na figura \ref{fig:corr-nematodes} apresentados as covariâncias entre os parâmetros do modelo, na escala de correlação, a fim de verificar, principalmente, a correlação entre $\sigma$ e $\phi$. Observa-se que, -conforme esperado, estes parâmetros apresentam uma forte covariância e +conforme esperado, estes parâmetros apresentam uma forte correlação e ainda que esta é positiva, pois estamos no caso de subdispersão, ainda que não de forma acentuada. Nota-se também que a caracterÃstica de não ortogonalidade entre os parâmetros de locação e $\phi$ se mantém com a inclusão de efeitos aleatórios. -<<pred-nematodes, fig.height=4.2, fig.width=7.3, fig.cap="Perfis de verossimilhança dos parâmetros estimados no modelo COM-Poisson Misto">>= +<<pred-nematodes, fig.height=4.2, fig.width=7.3, fig.cap="Perfis de verossimilhança dos parâmetros estimados no modelo COM-Poisson Misto.">>= ##------------------------------------------- ## Obtendo os efeitos aleatórios @@ -2323,8 +2436,11 @@ diferenças ao quadrado, entre valores preditos pelos dois modelos foi de \Sexpr{sum((predCM$y - predPM$y)^2)}, o que mostra que ambos os modelos levam ao mesmo resultado. -Com essa aplicação ilustramos a extensão do modelo COM-Poisson para +Nessa aplicação ilustra-se a extensão do modelo COM-Poisson para inclusão de efeitos aleatórios. Nesse caso tivemos um experimento em que as contagens, condicionadas aos efeitos aleatórios, se apresentaram de forma equidispersa, indicada pelo modelo COM-Poisson, e os resultados entre os modelos COM-Poisson e Poisson foram equivalentes. + +\section{Discussões} +\label{cap04:discussao} diff --git a/docs/cap05_consideracoes-finais.Rnw b/docs/cap05_consideracoes-finais.Rnw index 0cb30e74b821d230d1669263f410d8c580092cab..3372f9234e9a155b3ca6f57d716e29e47f063c9a 100644 --- a/docs/cap05_consideracoes-finais.Rnw +++ b/docs/cap05_consideracoes-finais.Rnw @@ -5,61 +5,61 @@ O objetivo nesse trabalho foi a exploração, extensão e aplicação da distribuição COM-Poisson na análise de dados de contagem cujo atendemos com a apresentação de seis aplicações dos modelos COM-Poisson à -conjuntos de dados reais que percorreram caracterÃsticas de -equidispersão, subdispersão, superdispersão, contagens altas, excesso de -zeros e medidas repetidas mostrou-se a flexibilidade do modelo -COM-Poisson quando comparado à s demais abordagens comuns para tais -caracterÃsticas. +conjuntos de dados reais que exibem equidispersão, subdispersão, +superdispersão, contagens altas, excesso de zeros e efeito aleatório, +mostrando a flexibilidade do modelo COM-Poisson quando comparado à s +demais abordagens comuns para tais caracterÃsticas. -Nos quatro primeiro conjuntos de dados, em que modelou-se as contagens +Nos quatro primeiros conjuntos de dados, em que modelou-se as contagens via modelos de regressão de efeitos fixos, tivemos os resultados dos modelos COM-Poisson equivalentes a abordagem semi-paramétrica via quasi-verossimilhança, quanto a significância dos efeitos e predição com bandas de confiança. Porém ressalta-se que na abordagem por quasi-verossimilhança, com a especificação de apenas dois momentos, i) -não recupera-se a distribuição de probabilidades da variável em estudo, -ii) a informação a respeito da média é igual ou inferior a uma abordagem -totalmente paramétrica e iii) extensões como a modelagem de excesso de -zeros e modelagem do parâmetro de dispersão não são imediatas. Nos casos -de superdispersão exploramos também os resultados dos modelos baseados -na distribuição Binomial Negativa e nessa abordagem temos o -inconveniente de somente a caracterÃstica de superdispersão ser +não se pode representar a distribuição de probabilidades da variável em +estudo, ii) a informação a respeito da média é igual ou inferior a uma +abordagem totalmente paramétrica e iii) extensões como a modelagem de +excesso de zeros e modelagem do parâmetro de dispersão não são +imediatas. Nos casos de superdispersão exploramos também os resultados +dos modelos baseados na distribuição Binomial Negativa e nessa abordagem +temos o inconveniente de somente a caracterÃstica de superdispersão ser contemplada. Nos estudos de caso os modelos Binomial Negativo proporcionaram resultados, com relação a significância dos efeitos, -equivalentes ao COM-Poisson e Quasi-Poisson. Porém em um dos estudos de +equivalentes ao COM-Poisson e Quasi-Poisson. Porém, em um dos estudos de caso com acentuada superdispersão, os valores preditos pontuais e intervalares nessa abordagem diferiram dos modelos COM-Poisson e Quasi-Poisson, isso devido a forma da relação média e variância dessa distribuição, figura \ref{fig:mv-binomneg}. -Nas extensões propostas tivemos resultados satisfatórios do desempenho a -distribuição COM-Poisson. No caso da inclusão de um componente de +Nas extensões propostas obteve-se resultados satisfatórios do desempenho +a distribuição COM-Poisson. No caso da inclusão de um componente de barreira para modelagem de excesso de zeros, cujo denominamos como modelo Hurdle COM-Poisson, os resultados dos testes de razão de verossimilhanças para testar a significância dos efeitos foram equivalentes ao modelo Hurdle Binomial Negativo assim como as -estimativas pontuais dos valores preditos. Na aplicação do modelo Hurdle -COM-Poisson não foi possÃvel a obtenção dos erros padrão das estimativas -dos efeitos devido a problemas numéricos na determinação da matriz -hessiano. Para o caso estendido do modelo COM-Poisson em que acomodamos -efeitos aleatórios, destacamos os procedimentos computacionalmente -intensivos que são empregados no algoritmo de estimação. A aplicação se -deu a um experimento que apresentou contagens com um grau não -significativo de subdispersão. Nessa aplicação os modelos em competição -foram o Poisson e o COM-Poisson de efeitos mistos. Dessa aplicação todos -os resultados em questões inferenciais foram equivalentes em ambos os -modelos, com poder de teste maior para o modelo COM-Poisson. +estimativas pontuais dos valores preditos. Ainda nessa aplicação, não +foi possÃvel a obtenção dos erros padrão das estimativas dos efeitos, +baseados na matriz hessiana, devido a problemas numéricos na +determinação dessa matriz. Para o caso estendido do modelo COM-Poisson +em que acomoda-se efeitos aleatórios, os procedimentos +computacionalmente intensivos que são empregados no algoritmo de +estimação ganham destaque. A aplicação se deu a um experimento que +apresentou contagens com um grau não significativo de +subdispersão. Nessa aplicação os modelos em competição foram o Poisson e +o COM-Poisson de efeitos mistos e todos os resultados em questões +inferenciais foram equivalentes em ambos os modelos, com poder de teste +maior para o modelo COM-Poisson. Nas aplicações, em geral, tivemos caracterÃsticas que permearam a todos os modelos baseados na distribuição COM-Poisson. A primeira delas, e talvez a mais difÃcil de se contornar, é a determinação da constante de -normalização, pois essa depende do parâmetro em que associamos a um +normalização, pois essa depende do parâmetro que associamos a um preditor linear assim temos que calcular $n$ constantes a cada iteração do algoritmo de estimação. Em casos de contagens altas e superdispersão -dessa constante é extremamente demorado. Outra caracterÃstica que se -manisfestou em todas as aplicações foi a não ortogonalidade entre os -parâmetros de regressão e o parâmetro adicional $\phi$, observada pelas -correlações calculadas a partir da matriz hessiano. O que torna as +o cálculo dessa constante é extremamente demorado. Outra caracterÃstica +que se manisfestou em todas as aplicações foi a não ortogonalidade entre +os parâmetros de regressão e o parâmetro adicional $\phi$, observada +pelas correlações calculadas a partir da matriz hessiana. O que torna as inferências dependentes. Em pesquisas não relatadas nesse trabalho verificamos que a reparametrização do parâmetro $\lambda$, adotando a aproximação para média contorna essa caracterÃstica com o preço de se @@ -73,24 +73,25 @@ Em geral, destaca-se o modelo Poisson, largamente utilizado na estatÃstica aplicada, como uma alternativa restritiva devido a sua suposição de equidispersão (relação média igual a variância), que leva a resultados incorretos quando essa suposição não é atendida. Como -alternativa sugere-se o modelo COM-Poisson que se apresenta como uma -alternativa paramétrica tão flexÃvel quanto a abordagem por -quasi-verossimilhança e que apresenta a distribuição Poisson como caso -particular facilitando a condução de testes de razão de verossimilhanças -para verificar a necessidade deste modelo mais flexÃvel. Em favor do -modelo COM-Poisson apresentamos extensões para modelagem de excesso de -zeros e inclusão de efeitos efeitos aleatórios mostrando que extensões -nesse modelo são feitas de maneira simples. +alternativa sugere-se o modelo COM-Poisson, uma alternativa paramétrica +tão flexÃvel quanto a abordagem por quasi-verossimilhança e que +apresenta a distribuição Poisson como caso particular facilitando a +condução de testes de razão de verossimilhanças para verificar a +necessidade deste modelo mais flexÃvel. Em favor do modelo COM-Poisson, +extensões para modelagem de excesso de zeros e inclusão de efeitos +efeitos aleatórios são apresentadas com aplicações, mostrando que +extensões nesse modelo são feitas de maneira simples. Dado o escopo do trabalho foram vários os tópicos levantados para pesquisas futuras. Estudo de reparametrizações que tornem os parâmetros $\lambda$ e $\nu$ ortogonais no modelo COM-Poisson podem ser de grande -valia, pois tornaram as inferências entre eles independentes. Para -acelerar o algoritmo de estimação aproximações da constante normalização -podem resultar em ajustes satisfatórios. Estudos de simulação para -verificar a robustez do modelo a má especificação da distribuição da -variável resposta. Implementação da modelagem de excesso de zeros via -mistura de distribuições. Inclusão de efeitos aleatórios dependentes no -modelo misto COM-Poisson. São algumas das muitas possibilidades para -pesquisa envolvendo dados de contagem subdispersos ou superdispersos -modelados com a distribuição COM-Poisson. +valia, pois tornaram as inferências entre eles independentes, além de +possivelmente permitir a fatoração da verossimilhança com estimação +concentrada. Para acelerar o algoritmo de estimação aproximações da +constante normalização podem resultar em ajustes satisfatórios. Estudos +de simulação para verificar a robustez do modelo à má especificação da +distribuição da variável resposta. Implementação da modelagem de excesso +de zeros via mistura de distribuições. Inclusão de efeitos aleatórios +dependentes no modelo misto COM-Poisson. São algumas das muitas +possibilidades para pesquisa envolvendo dados de contagem subdispersos +ou superdispersos modelados com a distribuição COM-Poisson. diff --git a/docs/compois.bib b/docs/compois.bib index 8b60dacb19069541867c7a739938a6ab8c074d16..4657cf4dc768cdc62eceaedbe99d6e50b6c4a20c 100644 --- a/docs/compois.bib +++ b/docs/compois.bib @@ -1,65 +1,3 @@ -@book{Ferreira2011, -author = {Ferreira, Daniel Furtado}, -mendeley-groups = {TCC{\_}UFPR{\_}2015}, -publisher = {Editora UFLA}, -title = {{Estat{\'{i}}stica Multivariada}}, -year = {2011} -} -@book{Nocedal1995, -abstract = {This is a book for people interested in solving optimization problems. Because of the wide (and growing) use of optimization in science, engineering, economics, and industry, it is essential for students and practitioners alike to develop an understanding of optimization algorithms. Knowledge of the capabilities and limitations of these algorithms leads to a better understanding of their impact on various applications, and points the way to future research on improving and extending optimization algorithms and software. Our goal in this book is to give a comprehensive description of the most powerful, state-of-the-art, techniques for solving continuous optimization problems. By presenting the motivating ideas for each algorithm, we try to stimulate the reader's intuition and make the technical details easier to follow. Formal mathematical requirements are kept to a minimum. Because of our focus on continuous problems, we have omitted discussion of important optimization topics such as discrete and stochastic optimization.}, -author = {Nocedal, Jorge and Wright, Stephen J.}, -booktitle = {International ADAMS user conference}, -doi = {10.1007/BF01068601}, -file = {:home/eduardo/Documents/Mendeley Desktop/Numerical{\_}Optimization.pdf:pdf}, -isbn = {0387987932}, -issn = {0011-4235}, -mendeley-groups = {TCC{\_}UFPR{\_}2015}, -pages = {636}, -pmid = {21384397}, -publisher = {Springer}, -title = {{Numerical optimization}}, -url = {https://books.google.com/books?id=epc5fX0lqRIC{\&}pgis=1}, -year = {1995} -} -@phdthesis{Suekane2011, -author = {Suekane, Renato}, -file = {:home/eduardo/Documents/Mendeley Desktop/Disserta{\c{c}}{\~{a}}o Renato Suekane.pdf:pdf}, -mendeley-groups = {TCC{\_}UFPR{\_}2015}, -school = {Universidade Federal da Grande Dourados}, -title = {{DISTRIBUI{\c{C}}{\~{A}}O ESPACIAL E DANO DE MOSCA-BRANCA Bemisia tabaci (GENNADIUS, 1889) BI{\'{O}}TIPO B NA SOJA}}, -year = {2011} -} -@article{Serafim2012, -abstract = {Os solos tropicais, normalmente pobres em pot{\'{a}}ssio (K), quando cultivados com soja Glycine max L.) demandam aduba{\c{c}}{\~{a}}o pot{\'{a}}ssica para obten{\c{c}}{\~{a}}o de produtividades satisfat{\'{o}}rias. Objetivou-se com este trabalho avaliar o efeito de doses de K e n{\'{i}}veis de umidade do solo nos componentes de produ{\c{c}}{\~{a}}o da soja. O experimento foi realizado em casa de vegeta{\c{c}}{\~{a}}o e os tratamentos foram dispostos em um delineamento em blocos casualizados em esquema fatorial (5 x 3), com cinco repeti{\c{c}}{\~{o}}es. Um vaso com 5 dm 3 de solo com duas plantas comp{\^{o}}s a parcela experimental. O primeiro fator correspondeu {\`{a}}s doses de K (0; 30; 60; 120 e 180 mg dm -3 e o segundo fator as faixas de umidade do solo (35 a 40; 47,5 a 52,5; e 60 a 65{\%} do volume total de poros). Foram avaliados: rendimento de gr{\~{a}}os, peso de cem gr{\~{a}}os, n{\'{u}}mero total de gr{\~{a}}os por vaso, teor de K no gr{\~{a}}o, n{\'{u}}mero de vagens vi{\'{a}}veis. Houve resposta da soja {\`{a}} aduba{\c{c}}{\~{a}}o pot{\'{a}}ssica, com aumento do rendimento de gr{\~{a}}os, massa de cem gr{\~{a}}os, teor de K no gr{\~{a}}o e n{\'{u}}mero de vagens vi{\'{a}}veis. O total de gr{\~{a}}os por vaso atingiu valor m{\'{a}}ximo na combina{\c{c}}{\~{a}}o dos limites superiores de cada fator de estudo. O K reduziu os efeitos do d{\'{e}}fice h{\'{i}}drico na cultura da soja.}, -author = {Serafim, Milson Evaldo and Ono, F{\'{a}}bio Benedito and Zeviani, Walmes Marques and Novelino, Jos{\'{e}} Oscar and Silva, Joil Vilhalva}, -doi = {10.1590/S1806-66902012000200003}, -file = {:home/eduardo/Documents/Mendeley Desktop/a03v43n2.pdf:pdf}, -issn = {1806-6690}, -journal = {Revista Ci{\^{e}}ncia Agron{\^{o}}mica}, -keywords = {Glycine max,Potassium,Soil-humidity}, -mendeley-groups = {TCC{\_}UFPR{\_}2015}, -month = {jun}, -number = {2}, -pages = {222--227}, -title = {{Umidade do solo e doses de pot{\'{a}}ssio na cultura da soja}}, -url = {http://www.scielo.br/scielo.php?script=sci{\_}arttext{\&}pid=S1806-66902012000200003{\&}lng=pt{\&}nrm=iso{\&}tlng=en}, -volume = {43}, -year = {2012} -} -@article{Silva2012, -author = {Silva, A. M. and Degrande, P. E. and Suekane, R. and Fernandes, M. G. and Zeviani, W. M.}, -file = {:home/eduardo/Documents/Mendeley Desktop/v35n1a16.pdf:pdf}, -issn = {0871-018X}, -journal = {Revista de Ci{\^{e}}ncias Agr{\'{a}}rias}, -keywords = {bolls,cotton,crop growth stage,crop yield,defoliation,leaf area,phenology,productivity,yield losses}, -mendeley-groups = {TCC{\_}UFPR{\_}2015}, -number = {1}, -pages = {163--172}, -title = {{Impacto de diferentes n{\'{i}}veis de desfolha artificial nos est{\'{a}}dios fenol{\'{o}}gicos do algodoeiro}}, -url = {http://www.cabdirect.org/abstracts/20123299470.html;jsessionid=CF06663390A3A4463413D3018ECAACD6}, -volume = {35}, -year = {2012} -} @article{Bates2015, abstract = {lme4: Mixed-effects modeling with R}, author = {Bates, Douglas M and Maechler, Martin and Bolker, Ben and Walker, Steve}, @@ -74,20 +12,44 @@ url = {http://lme4.r-forge.r-project.org/lMMwR/lrgprt.pdf}, volume = {67}, year = {2015} } -@article{Lambert1992, -author = {Lambert, Diane}, -doi = {10.2307/1269547}, -file = {:home/eduardo/Documents/Mendeley Desktop/lambert1992.pdf:pdf}, -issn = {00401706}, -journal = {Technometrics}, +@phdthesis{Borges2012, +author = {Borges, Patrick}, +file = {:home/eduardo/Documents/Mendeley Desktop/4552.pdf:pdf}, mendeley-groups = {TCC{\_}UFPR{\_}2015}, -month = {feb}, -number = {1}, -pages = {1}, -title = {{Zero-Inflated Poisson Regression, with an Application to Defects in Manufacturing}}, -url = {http://www.jstor.org/stable/1269547?origin=crossref}, -volume = {34}, -year = {1992} +school = {Universidade Federal de S{\~{a}}o Carlos}, +title = {{Novos modelos de sobreviv{\^{e}}ncia com fra{\c{c}}{\~{a}}o de cura baseados no processo da carcinog{\^{e}}nese}}, +year = {2012} +} +@article{Conway1962, +author = {Conway, Richard W and Maxwell, William L}, +journal = {Journal of Industrial Engineering}, +mendeley-groups = {TCC{\_}UFPR{\_}2015}, +pages = {132----136}, +title = {{A queuing model with state dependent service rates}}, +volume = {12}, +year = {1962} +} +@book{Ferreira2011, +author = {Ferreira, Daniel Furtado}, +mendeley-groups = {TCC{\_}UFPR{\_}2015}, +publisher = {Editora UFLA}, +title = {{Estat{\'{i}}stica Multivariada}}, +year = {2011} +} +@book{Hilbe2014, +abstract = {This entry-level text offers clear and concise guidelines on how to select, construct, interpret and evaluate count data. Written for researchers with little or no background in advanced statistics, the book presents treatments of all major models using numerous tables, insets, and detailed modeling suggestions. It begins by demonstrating the fundamentals of linear regression and works up to an analysis of the Poisson and negative binomial models, and to the problem of overdispersion. Examples in Stata, R, and SAS code enable readers to adapt models for their own purposes, making the text an ideal resource for researchers working in public health, ecology, econometrics, transportation, and other related fields.}, +author = {Hilbe, Joseph M.}, +booktitle = {Statistical Science}, +doi = {10.1017/CBO9781139236065}, +file = {:home/eduardo/Documents/Mendeley Desktop/Hilbe - 2014 - Modeling Count Data.pdf:pdf}, +isbn = {ISBN 978-1-107-02833-3}, +issn = {1467-9280}, +mendeley-groups = {TCC{\_}UFPR{\_}2015}, +pages = {300}, +pmid = {25052830}, +title = {{Modeling Count Data}}, +volume = {25}, +year = {2014} } @article{King1989, abstract = {This paper discusses the problem of variance specification in models for event count data. Event counts are dependent variables that can take on only nonnegative integer values, such as the number of wars or coups d'etat in a year. I discuss several generalizations of the Poisson regression model, presented in King (1988), to allow for substantively interesting stochastic processes that do not fit into the Poisson framework. Individual models that cope with, and help analyze, heterogeneity, contagion, and negative contagion are each shown to lead to specific statistical models for event count data. In addition, I derive a new generalized event count (GEC) model that enables researchers to extract significant amounts of new information from existing data by estimating features of these unobserved substantive processes. Applications of this model to congressional challenges of presidential vetoes and superpower conflict demonstrate the dramatic advantages of this approach.}, @@ -116,6 +78,114 @@ title = {{Over- and Underdisperson Models}}, url = {https://lmb.univ-fcomte.fr/IMG/pdf/ch30{\_}kokonendji2014.pdf}, year = {2014} } +@article{Lambert1992, +author = {Lambert, Diane}, +doi = {10.2307/1269547}, +file = {:home/eduardo/Documents/Mendeley Desktop/lambert1992.pdf:pdf}, +issn = {00401706}, +journal = {Technometrics}, +mendeley-groups = {TCC{\_}UFPR{\_}2015}, +month = {feb}, +number = {1}, +pages = {1}, +title = {{Zero-Inflated Poisson Regression, with an Application to Defects in Manufacturing}}, +url = {http://www.jstor.org/stable/1269547?origin=crossref}, +volume = {34}, +year = {1992} +} +@article{Lord2010, +abstract = {The objective of this article is to evaluate the performance of the COM-Poisson GLM for analyzing crash data exhibiting underdispersion (when conditional on the mean). The COM-Poisson distribution, originally developed in 1962, has recently been reintroduced by statisticians for analyzing count data subjected to either over- or underdispersion. Over the last year, the COM-Poisson GLM has been evaluated in the context of crash data analysis and it has been shown that the model performs as well as the Poisson-gamma model for crash data exhibiting overdispersion. To accomplish the objective of this study, several COM-Poisson models were estimated using crash data collected at 162 railway-highway crossings in South Korea between 1998 and 2002. This data set has been shown to exhibit underdispersion when models linking crash data to various explanatory variables are estimated. The modeling results were compared to those produced from the Poisson and gamma probability models documented in a previous published study. The results of this research show that the COM-Poisson GLM can handle crash data when the modeling output shows signs of underdispersion. Finally, they also show that the model proposed in this study provides better statistical performance than the gamma probability and the traditional Poisson models, at least for this data set.}, +author = {Lord, Dominique and Geedipally, Srinivas Reddy and Guikema, Seth D.}, +doi = {10.1111/j.1539-6924.2010.01417.x}, +file = {:home/eduardo/Documents/Mendeley Desktop/Lord, Geedipally, Guikema - 2010 - Extension of the application of conway-maxwell-poisson models Analyzing traffic crash data exhibiting.pdf:pdf}, +isbn = {1539-6924 (Electronic) 0272-4332 (Linking)}, +issn = {02724332}, +journal = {Risk Analysis}, +keywords = {Com-poisson,Conway-Maxwell-Poisson,gamma models,negative binomial models,regression models,underdispersion}, +mendeley-groups = {TCC{\_}UFPR{\_}2015}, +mendeley-tags = {Com-poisson}, +number = {8}, +pages = {1268--1276}, +pmid = {20412518}, +title = {{Extension of the application of conway-maxwell-poisson models: Analyzing traffic crash data exhibiting underdispersion}}, +volume = {30}, +year = {2010} +} +@article{Nelder1972, +author = {Nelder, John Ashworth and Wedderburn, Robert William Maclagan}, +file = {:home/eduardo/Documents/Mendeley Desktop/Nelder, Wedderburn - 1972 - Generalized Linear Models.pdf:pdf}, +journal = {Journal of the Royal Statistical Society. Series A (General)}, +mendeley-groups = {TCC{\_}UFPR{\_}2015}, +pages = {370--384}, +title = {{Generalized Linear Models}}, +volume = {135}, +year = {1972} +} +@book{Nocedal1995, +abstract = {This is a book for people interested in solving optimization problems. Because of the wide (and growing) use of optimization in science, engineering, economics, and industry, it is essential for students and practitioners alike to develop an understanding of optimization algorithms. Knowledge of the capabilities and limitations of these algorithms leads to a better understanding of their impact on various applications, and points the way to future research on improving and extending optimization algorithms and software. Our goal in this book is to give a comprehensive description of the most powerful, state-of-the-art, techniques for solving continuous optimization problems. By presenting the motivating ideas for each algorithm, we try to stimulate the reader's intuition and make the technical details easier to follow. Formal mathematical requirements are kept to a minimum. Because of our focus on continuous problems, we have omitted discussion of important optimization topics such as discrete and stochastic optimization.}, +author = {Nocedal, Jorge and Wright, Stephen J.}, +booktitle = {International ADAMS user conference}, +doi = {10.1007/BF01068601}, +file = {:home/eduardo/Documents/Mendeley Desktop/Numerical{\_}Optimization.pdf:pdf}, +isbn = {0387987932}, +issn = {0011-4235}, +mendeley-groups = {TCC{\_}UFPR{\_}2015}, +pages = {636}, +pmid = {21384397}, +publisher = {Springer}, +title = {{Numerical optimization}}, +url = {https://books.google.com/books?id=epc5fX0lqRIC{\&}pgis=1}, +year = {1995} +} +@article{Park2009, +abstract = {Developing sound or reliable statistical models for analyzing motor vehicle crashes is very important in highway safety studies. However, a significant difficulty associated with the model development is related to the fact that crash data often exhibit over-dispersion. Sources of dispersion can be varied and are usually unknown to the transportation analysts. These sources could potentially affect the development of negative binomial (NB) regression models, which are often the model of choice in highway safety. To help in this endeavor, this paper documents an alternative formulation that could be used for capturing heterogeneity in crash count models through the use of finite mixture regression models. The finite mixtures of Poisson or NB regression models are especially useful where count data were drawn from heterogeneous populations. These models can help determine sub-populations or groups in the data among others. To evaluate these models, Poisson and NB mixture models were estimated using data collected in Toronto, Ontario. These models were compared to standard NB regression model estimated using the same data. The results of this study show that the dataset seemed to be generated from two distinct sub-populations, each having different regression coefficients and degrees of over-dispersion. Although over-dispersion in crash data can be dealt with in a variety of ways, the mixture model can help provide the nature of the over-dispersion in the data. It is therefore recommended that transportation safety analysts use this type of model before the traditional NB model, especially when the data are suspected to belong to different groups.}, +author = {Park, Byung-Jung and Lord, Dominique}, +doi = {10.1016/j.aap.2009.03.007}, +file = {:home/eduardo/Documents/Mendeley Desktop/Park, Lord - 2009 - Application of finite mixture models for vehicle crash data analysis.pdf:pdf;:home/eduardo/Documents/Mendeley Desktop/Park, Lord - 2009 - Application of finite mixture models for vehicle crash data analysis(2).pdf:pdf}, +issn = {1879-2057}, +journal = {Accident; analysis and prevention}, +keywords = {Com-poisson}, +mendeley-groups = {TCC{\_}UFPR{\_}2015}, +mendeley-tags = {Com-poisson}, +number = {4}, +pages = {683--691}, +pmid = {19540956}, +title = {{Application of finite mixture models for vehicle crash data analysis.}}, +volume = {41}, +year = {2009} +} +@book{Paula2013, +abstract = {A {\'{a}}rea de modelagem estat{\'{i}}stica de regress{\~{a}}o recebeu um grande impulso desde a cria{\c{c}}{\~{a}}o dos modelos lineares generalizados (MLGs) no in{\'{i}}cio da d{\'{e}}- cada de 70. O crescente interesse pela {\'{a}}rea motivou a realiza{\c{c}}{\~{a}}o de v{\'{a}}rios encontros informais no in{\'{i}}cio dos anos 80, a maioria deles na Inglaterra, at{\'{e}} que em 1986 foi realizado na cidade de Innsbruck na {\'{A}}ustria o “1st Internati- onalWorkshop on Statistical Modellingâ€(1st IWSM). Esse encontro tem sido realizado anualmente sendo que o {\'{u}}ltimo (25th IWSM) aconteceu em julho de 2010 na Universidade de Glasgow, Esc{\'{o}}cia. O 26th IWSM ser{\'{a}} realizado em julho de 2011 em Val{\^{e}}ncia, Espanha. No Brasil a {\'{a}}rea come{\c{c}}ou efetiva- mente a se desenvolver a partir de meados da d{\'{e}}cada de 80 e em particular ap{\'{o}}s a 1a Escola de Modelos de Regress{\~{a}}o (1EMR) realizada na Universi- dade de S{\~{a}}o Paulo em 1989. As demais escolas ocorreram desde ent{\~{a}}o a cada dois anos sendo que a {\'{u}}ltima (11EMR) foi realizada em mar{\c{c}}o de 2009 na cidade de Recife, PE. A 12EMR ser{\'{a}} realizada em mar{\c{c}}o de 2011 na cidade de Fortaleza, CE.}, +author = {Paula, Gilberto Alvarenga}, +file = {:home/eduardo/Documents/Mendeley Desktop/Paula - 2013 - Modelos de regress{\~{a}}o com apoio computacional.pdf:pdf}, +keywords = {GLM,Regress{\~{a}}o}, +mendeley-groups = {TCC{\_}UFPR{\_}2015}, +mendeley-tags = {GLM,Regress{\~{a}}o}, +publisher = {IME-USP S{\~{a}}o Paulo}, +title = {{Modelos de regress{\~{a}}o com apoio computacional}}, +url = {https://www.ime.usp.br/{~}giapaula/textoregressao.htm}, +year = {2013} +} +@inproceedings{RibeiroJr2012, +author = {{Ribeiro Jr}, Paulo Justiniano and Bonat, Wagner Hugo and Krainski, Elias Teixeira and Zeviani, Walmes Marques}, +booktitle = {20{\textordmasculine} Simp{\'{o}}sio Nacional de Probabilidade e Estat{\'{i}}stica}, +file = {:home/eduardo/Documents/Mendeley Desktop/Ribeiro Jr et al. - 2012 - M{\'{e}}todos computacionais para infer{\^{e}}ncia com aplica{\c{c}}{\~{o}}es em R.pdf:pdf}, +keywords = {Infer{\^{e}}ncia,M{\'{e}}todos Computacionais,Verossimilhan{\c{c}}a}, +mendeley-groups = {TCC{\_}UFPR{\_}2015}, +mendeley-tags = {Infer{\^{e}}ncia,M{\'{e}}todos Computacionais,Verossimilhan{\c{c}}a}, +pages = {282}, +title = {{M{\'{e}}todos computacionais para infer{\^{e}}ncia com aplica{\c{c}}{\~{o}}es em R}}, +url = {http://leg.ufpr.br/doku.php/cursos:mcie}, +year = {2012} +} +@phdthesis{Ribeiro2012, +author = {Ribeiro, Ang{\'{e}}lica Maria Tortola}, +file = {:home/eduardo/Documents/Mendeley Desktop/4336.pdf:pdf}, +mendeley-groups = {TCC{\_}UFPR{\_}2015}, +school = {Universidade Federal de S{\~{a}}o Carlos}, +title = {{Distribui{\c{c}}{\~{a}}o COM-Poisson na an{\'{a}}lise de dados de experimentos de quimiopreven{\c{c}}{\~{a}}o do c{\^{a}}ncer em animais}}, +year = {2012} +} @article{Ridout1998, abstract = {We consider the problem of modelling count data with excess zeros and review some possible models. Aspects of model tting and inference are considered. An example from horticultural research is used for illustration.}, author = {Ridout, Martin and Demetrio, Clarice G.B and Hinde, John}, @@ -145,22 +215,83 @@ url = {http://dx.doi.org/10.1016/j.csda.2016.01.007 http://linkinghub.elsevier.c volume = {99}, year = {2016} } -@phdthesis{Borges2012, -author = {Borges, Patrick}, -file = {:home/eduardo/Documents/Mendeley Desktop/4552.pdf:pdf}, +@article{Sellers2010, +abstract = {Poisson regression is a popular tool for modeling count data and is applied in a vast array of applications from the social to the physical sciences and beyond. Real data, however, are often over- or under-dispersed and, thus, not conducive to Poisson regression. We propose a regression model based on the Conway--Maxwell-Poisson (COM-Poisson) distribution to address this problem. The COM-Poisson regression generalizes the well-known Poisson and logistic regression models, and is suitable for fitting count data with a wide range of dispersion levels. With a GLM approach that takes advantage of exponential family properties, we discuss model estimation, inference, diagnostics, and interpretation, and present a test for determining the need for a COM-Poisson regression over a standard Poisson regression. We compare the COM-Poisson to several alternatives and illustrate its advantages and usefulness using three data sets with varying dispersion.}, +annote = {Refer{\^{e}}ncia para COMPoissonReg package}, +archivePrefix = {arXiv}, +arxivId = {1011.2077}, +author = {Sellers, Kimberly F. and Shmueli, Galit}, +doi = {10.1214/09-AOAS306}, +eprint = {1011.2077}, +file = {:home/eduardo/Documents/Mendeley Desktop/Sellers, Shmueli - 2010 - A flexible regression model for count data.pdf:pdf;:home/eduardo/Documents/Mendeley Desktop/Sellers, Shmueli - 2010 - A flexible regression model for count data(2).pdf:pdf}, +issn = {19326157}, +journal = {Annals of Applied Statistics}, +keywords = {Com-poisson,Conway-Maxwell-Poisson (COM-Poisson) distribution,Dispersion,Generalized Poisson,Generalized linear models (GLM)}, mendeley-groups = {TCC{\_}UFPR{\_}2015}, -school = {Universidade Federal de S{\~{a}}o Carlos}, -title = {{Novos modelos de sobreviv{\^{e}}ncia com fra{\c{c}}{\~{a}}o de cura baseados no processo da carcinog{\^{e}}nese}}, +mendeley-tags = {Com-poisson}, +number = {2}, +pages = {943--961}, +title = {{A flexible regression model for count data}}, +volume = {4}, +year = {2010} +} +@article{Serafim2012, +abstract = {Os solos tropicais, normalmente pobres em pot{\'{a}}ssio (K), quando cultivados com soja Glycine max L.) demandam aduba{\c{c}}{\~{a}}o pot{\'{a}}ssica para obten{\c{c}}{\~{a}}o de produtividades satisfat{\'{o}}rias. Objetivou-se com este trabalho avaliar o efeito de doses de K e n{\'{i}}veis de umidade do solo nos componentes de produ{\c{c}}{\~{a}}o da soja. O experimento foi realizado em casa de vegeta{\c{c}}{\~{a}}o e os tratamentos foram dispostos em um delineamento em blocos casualizados em esquema fatorial (5 x 3), com cinco repeti{\c{c}}{\~{o}}es. Um vaso com 5 dm 3 de solo com duas plantas comp{\^{o}}s a parcela experimental. O primeiro fator correspondeu {\`{a}}s doses de K (0; 30; 60; 120 e 180 mg dm -3 e o segundo fator as faixas de umidade do solo (35 a 40; 47,5 a 52,5; e 60 a 65{\%} do volume total de poros). Foram avaliados: rendimento de gr{\~{a}}os, peso de cem gr{\~{a}}os, n{\'{u}}mero total de gr{\~{a}}os por vaso, teor de K no gr{\~{a}}o, n{\'{u}}mero de vagens vi{\'{a}}veis. Houve resposta da soja {\`{a}} aduba{\c{c}}{\~{a}}o pot{\'{a}}ssica, com aumento do rendimento de gr{\~{a}}os, massa de cem gr{\~{a}}os, teor de K no gr{\~{a}}o e n{\'{u}}mero de vagens vi{\'{a}}veis. O total de gr{\~{a}}os por vaso atingiu valor m{\'{a}}ximo na combina{\c{c}}{\~{a}}o dos limites superiores de cada fator de estudo. O K reduziu os efeitos do d{\'{e}}fice h{\'{i}}drico na cultura da soja.}, +author = {Serafim, Milson Evaldo and Ono, F{\'{a}}bio Benedito and Zeviani, Walmes Marques and Novelino, Jos{\'{e}} Oscar and Silva, Joil Vilhalva}, +doi = {10.1590/S1806-66902012000200003}, +file = {:home/eduardo/Documents/Mendeley Desktop/a03v43n2.pdf:pdf}, +issn = {1806-6690}, +journal = {Revista Ci{\^{e}}ncia Agron{\^{o}}mica}, +keywords = {Glycine max,Potassium,Soil-humidity}, +mendeley-groups = {TCC{\_}UFPR{\_}2015}, +month = {jun}, +number = {2}, +pages = {222--227}, +title = {{Umidade do solo e doses de pot{\'{a}}ssio na cultura da soja}}, +url = {http://www.scielo.br/scielo.php?script=sci{\_}arttext{\&}pid=S1806-66902012000200003{\&}lng=pt{\&}nrm=iso{\&}tlng=en}, +volume = {43}, year = {2012} } -@phdthesis{Ribeiro2012, -author = {Ribeiro, Ang{\'{e}}lica Maria Tortola}, -file = {:home/eduardo/Documents/Mendeley Desktop/4336.pdf:pdf}, +@article{Shmueli2005, +abstract = {A useful discrete distribution (the Conway2013Maxwell2013Poisson distribution) is revived and its statistical and probabilistic properties are introduced and explored. This distribution is a two-parameter extension of the Poisson distribution that generalizes some well-known discrete distributions (Poisson, Bernoulli and geometric). It also leads to the generalization of distributions derived from these discrete distributions (i.e. the binomial and negative binomial distributions). We describe three methods for estimating the parameters of the Conway2013Maxwell2013Poisson distribution. The first is a fast simple weighted least squares method, which leads to estimates that are sufficiently accurate for practical purposes. The second method, using maximum likelihood, can be used to refine the initial estimates. This method requires iterations and is more computationally intensive. The third estimation method is Bayesian. Using the conjugate prior, the posterior density of the parameters of the Conway2013Maxwell2013Poisson distribution is easily computed. It is a flexible distribution that can account for overdispersion or underdispersion that is commonly encountered in count data. We also explore two sets of real world data demonstrating the flexibility and elegance of the Conway2013Maxwell2013Poisson distribution in fitting count data which do not seem to follow the Poisson distribution.}, +annote = {Refer{\^{e}}ncia para compoisson package}, +author = {Shmueli, Galit and Minka, Thomas P. and Kadane, Joseph B. and Borle, Sharad and Boatwright, Peter}, +doi = {10.1111/j.1467-9876.2005.00474.x}, +file = {:home/eduardo/Documents/Mendeley Desktop/Shmueli et al. - 2005 - A useful distribution for fitting discrete data Revival of the Conway-Maxwell-Poisson distribution.pdf:pdf}, +isbn = {1467-9876}, +issn = {00359254}, +journal = {Journal of the Royal Statistical Society. Series C: Applied Statistics}, +keywords = {Com-poisson,Conjugate family,Conway-Maxwell-Poisson distribution,Estimation,Exponential family,Overdispersion,Underdispersion}, mendeley-groups = {TCC{\_}UFPR{\_}2015}, -school = {Universidade Federal de S{\~{a}}o Carlos}, -title = {{Distribui{\c{c}}{\~{a}}o COM-Poisson na an{\'{a}}lise de dados de experimentos de quimiopreven{\c{c}}{\~{a}}o do c{\^{a}}ncer em animais}}, +mendeley-tags = {Com-poisson}, +number = {1}, +pages = {127--142}, +title = {{A useful distribution for fitting discrete data: Revival of the Conway-Maxwell-Poisson distribution}}, +volume = {54}, +year = {2005} +} +@article{Silva2012, +author = {Silva, A. M. and Degrande, P. E. and Suekane, R. and Fernandes, M. G. and Zeviani, W. M.}, +file = {:home/eduardo/Documents/Mendeley Desktop/v35n1a16.pdf:pdf}, +issn = {0871-018X}, +journal = {Revista de Ci{\^{e}}ncias Agr{\'{a}}rias}, +keywords = {bolls,cotton,crop growth stage,crop yield,defoliation,leaf area,phenology,productivity,yield losses}, +mendeley-groups = {TCC{\_}UFPR{\_}2015}, +number = {1}, +pages = {163--172}, +title = {{Impacto de diferentes n{\'{i}}veis de desfolha artificial nos est{\'{a}}dios fenol{\'{o}}gicos do algodoeiro}}, +url = {http://www.cabdirect.org/abstracts/20123299470.html;jsessionid=CF06663390A3A4463413D3018ECAACD6}, +volume = {35}, year = {2012} } +@phdthesis{Suekane2011, +author = {Suekane, Renato}, +file = {:home/eduardo/Documents/Mendeley Desktop/Disserta{\c{c}}{\~{a}}o Renato Suekane.pdf:pdf}, +mendeley-groups = {TCC{\_}UFPR{\_}2015}, +school = {Universidade Federal da Grande Dourados}, +title = {{DISTRIBUI{\c{C}}{\~{A}}O ESPACIAL E DANO DE MOSCA-BRANCA Bemisia tabaci (GENNADIUS, 1889) BI{\'{O}}TIPO B NA SOJA}}, +year = {2011} +} @article{Wedderburn1974, author = {Wedderburn, R. W. M.}, doi = {10.2307/2334725}, @@ -208,21 +339,6 @@ url = {http://www.tandfonline.com/doi/abs/10.1080/07350015.1995.10524620}, volume = {13}, year = {1995} } -@book{Hilbe2014, -abstract = {This entry-level text offers clear and concise guidelines on how to select, construct, interpret and evaluate count data. Written for researchers with little or no background in advanced statistics, the book presents treatments of all major models using numerous tables, insets, and detailed modeling suggestions. It begins by demonstrating the fundamentals of linear regression and works up to an analysis of the Poisson and negative binomial models, and to the problem of overdispersion. Examples in Stata, R, and SAS code enable readers to adapt models for their own purposes, making the text an ideal resource for researchers working in public health, ecology, econometrics, transportation, and other related fields.}, -author = {Hilbe, Joseph M.}, -booktitle = {Statistical Science}, -doi = {10.1017/CBO9781139236065}, -file = {:home/eduardo/Documents/Mendeley Desktop/Hilbe - 2014 - Modeling Count Data.pdf:pdf}, -isbn = {ISBN 978-1-107-02833-3}, -issn = {1467-9280}, -mendeley-groups = {TCC{\_}UFPR{\_}2015}, -pages = {300}, -pmid = {25052830}, -title = {{Modeling Count Data}}, -volume = {25}, -year = {2014} -} @book{Winkelmann2008, address = {Berlin, Heidelberg}, author = {Winkelmann, Rainer}, @@ -255,54 +371,6 @@ url = {http://www.ncbi.nlm.nih.gov/pubmed/21518631}, volume = {27}, year = {2007} } -@article{Nelder1972, -author = {Nelder, John Ashworth and Wedderburn, Robert William Maclagan}, -file = {:home/eduardo/Documents/Mendeley Desktop/Nelder, Wedderburn - 1972 - Generalized Linear Models.pdf:pdf}, -journal = {Journal of the Royal Statistical Society. Series A (General)}, -mendeley-groups = {TCC{\_}UFPR{\_}2015}, -pages = {370--384}, -title = {{Generalized Linear Models}}, -volume = {135}, -year = {1972} -} -@article{Conway1962, -author = {Conway, Richard W and Maxwell, William L}, -journal = {Journal of Industrial Engineering}, -mendeley-groups = {TCC{\_}UFPR{\_}2015}, -pages = {132----136}, -title = {{A queuing model with state dependent service rates}}, -volume = {12}, -year = {1962} -} -@inproceedings{RibeiroJr2012, -author = {{Ribeiro Jr}, Paulo Justiniano and Bonat, Wagner Hugo and Krainski, Elias Teixeira and Zeviani, Walmes Marques}, -booktitle = {20{\textordmasculine} Simp{\'{o}}sio Nacional de Probabilidade e Estat{\'{i}}stica}, -file = {:home/eduardo/Documents/Mendeley Desktop/Ribeiro Jr et al. - 2012 - M{\'{e}}todos computacionais para infer{\^{e}}ncia com aplica{\c{c}}{\~{o}}es em R.pdf:pdf}, -keywords = {Infer{\^{e}}ncia,M{\'{e}}todos Computacionais,Verossimilhan{\c{c}}a}, -mendeley-groups = {TCC{\_}UFPR{\_}2015}, -mendeley-tags = {Infer{\^{e}}ncia,M{\'{e}}todos Computacionais,Verossimilhan{\c{c}}a}, -pages = {282}, -title = {{M{\'{e}}todos computacionais para infer{\^{e}}ncia com aplica{\c{c}}{\~{o}}es em R}}, -url = {http://leg.ufpr.br/doku.php/cursos:mcie}, -year = {2012} -} -@article{Park2009, -abstract = {Developing sound or reliable statistical models for analyzing motor vehicle crashes is very important in highway safety studies. However, a significant difficulty associated with the model development is related to the fact that crash data often exhibit over-dispersion. Sources of dispersion can be varied and are usually unknown to the transportation analysts. These sources could potentially affect the development of negative binomial (NB) regression models, which are often the model of choice in highway safety. To help in this endeavor, this paper documents an alternative formulation that could be used for capturing heterogeneity in crash count models through the use of finite mixture regression models. The finite mixtures of Poisson or NB regression models are especially useful where count data were drawn from heterogeneous populations. These models can help determine sub-populations or groups in the data among others. To evaluate these models, Poisson and NB mixture models were estimated using data collected in Toronto, Ontario. These models were compared to standard NB regression model estimated using the same data. The results of this study show that the dataset seemed to be generated from two distinct sub-populations, each having different regression coefficients and degrees of over-dispersion. Although over-dispersion in crash data can be dealt with in a variety of ways, the mixture model can help provide the nature of the over-dispersion in the data. It is therefore recommended that transportation safety analysts use this type of model before the traditional NB model, especially when the data are suspected to belong to different groups.}, -author = {Park, Byung-Jung and Lord, Dominique}, -doi = {10.1016/j.aap.2009.03.007}, -file = {:home/eduardo/Documents/Mendeley Desktop/Park, Lord - 2009 - Application of finite mixture models for vehicle crash data analysis.pdf:pdf;:home/eduardo/Documents/Mendeley Desktop/Park, Lord - 2009 - Application of finite mixture models for vehicle crash data analysis(2).pdf:pdf}, -issn = {1879-2057}, -journal = {Accident; analysis and prevention}, -keywords = {Com-poisson}, -mendeley-groups = {TCC{\_}UFPR{\_}2015}, -mendeley-tags = {Com-poisson}, -number = {4}, -pages = {683--691}, -pmid = {19540956}, -title = {{Application of finite mixture models for vehicle crash data analysis.}}, -volume = {41}, -year = {2009} -} @article{Zeviani2014, abstract = {Event counts are response variables with non-negative integer values representing the number of times that an event occurs within a fixed domain such as a time interval, a geographical area or a cell of a contingency table. Analysis of counts by Gaussian regression models ignores the discreteness, asymmetry and heteroscedasticity and is inefficient, providing unrealistic standard errors or possibly negative predictions of the expected number of events. The Poisson regression is the standard model for count data with underlying assumptions on the generating process which may be implausible in many applications. Statisticians have long recognized the limitation of imposing equidispersion under the Poisson regression model. A typical situation is when the conditional variance exceeds the conditional mean, in which case models allowing for overdispersion are routinely used. Less reported is the case of underdispersion with fewer modeling alternatives and assessments available in the literature. One of such alternatives, the Gamma-count model, is adopted here in the analysis of an agronomic experiment designed to investigate the effect of levels of defoliation on different phenological states upon the number of cotton bolls. Data set and code for analysis are available as online supplements. Results show improvements over the Poisson model and the semi-parametric quasi-Poisson model in capturing the observed variability in the data. Estimating rather than assuming the underlying variance process leads to important insights into the process. Event counts are response variables with non-negative integer values representing the number of times that an event occurs within a fixed domain such as a time interval, a geographical area or a cell of a contingency table. Analysis of counts by Gaussian regression models ignores the discreteness, asymmetry and heteroscedasticity and is inefficient, providing unrealistic standard errors or possibly negative predictions of the expected number of events. The Poisson regression is the standard model for count data with underlying assumptions on the generating process which may be implausible in many applications. Statisticians have long recognized the limitation of imposing equidispersion under the Poisson regression model. A typical situation is when the conditional variance exceeds the conditional mean, in which case models allowing for overdispersion are routinely used. Less reported is the case of underdispersion with fewer modeling alternatives and assessments available in the literature. One of such alternatives, the Gamma-count model, is adopted here in the analysis of an agronomic experiment designed to investigate the effect of levels of defoliation on different phenological states upon the number of cotton bolls. Data set and code for analysis are available as online supplements. Results show improvements over the Poisson model and the semi-parametric quasi-Poisson model in capturing the observed variability in the data. Estimating rather than assuming the underlying variance process leads to important insights into the process.}, author = {Zeviani, Walmes Marques and {Ribeiro Jr}, Paulo Justiniano and Bonat, Wagner Hugo and Shimakura, Silvia Emiko and Muniz, Joel Augusto}, @@ -317,71 +385,18 @@ title = {{The Gamma-count distribution in the analysis of experimental underdisp url = {http://dx.doi.org/10.1080/02664763.2014.922168}, year = {2014} } -@article{Lord2010, -abstract = {The objective of this article is to evaluate the performance of the COM-Poisson GLM for analyzing crash data exhibiting underdispersion (when conditional on the mean). The COM-Poisson distribution, originally developed in 1962, has recently been reintroduced by statisticians for analyzing count data subjected to either over- or underdispersion. Over the last year, the COM-Poisson GLM has been evaluated in the context of crash data analysis and it has been shown that the model performs as well as the Poisson-gamma model for crash data exhibiting overdispersion. To accomplish the objective of this study, several COM-Poisson models were estimated using crash data collected at 162 railway-highway crossings in South Korea between 1998 and 2002. This data set has been shown to exhibit underdispersion when models linking crash data to various explanatory variables are estimated. The modeling results were compared to those produced from the Poisson and gamma probability models documented in a previous published study. The results of this research show that the COM-Poisson GLM can handle crash data when the modeling output shows signs of underdispersion. Finally, they also show that the model proposed in this study provides better statistical performance than the gamma probability and the traditional Poisson models, at least for this data set.}, -author = {Lord, Dominique and Geedipally, Srinivas Reddy and Guikema, Seth D.}, -doi = {10.1111/j.1539-6924.2010.01417.x}, -file = {:home/eduardo/Documents/Mendeley Desktop/Lord, Geedipally, Guikema - 2010 - Extension of the application of conway-maxwell-poisson models Analyzing traffic crash data exhibiting.pdf:pdf}, -isbn = {1539-6924 (Electronic) 0272-4332 (Linking)}, -issn = {02724332}, -journal = {Risk Analysis}, -keywords = {Com-poisson,Conway-Maxwell-Poisson,gamma models,negative binomial models,regression models,underdispersion}, +@misc{Martelli2008, +address = {Uberl{\^{a}}ndia- MG}, +author = {Martelli, T. and Matoso, A. O. and Queir{\'{o}}z, M. V. B. M. and Potrich, D. C. and da Silva, A. M. and Degrande, P. E.}, mendeley-groups = {TCC{\_}UFPR{\_}2015}, -mendeley-tags = {Com-poisson}, -number = {8}, -pages = {1268--1276}, -pmid = {20412518}, -title = {{Extension of the application of conway-maxwell-poisson models: Analyzing traffic crash data exhibiting underdispersion}}, -volume = {30}, -year = {2010} -} -@book{Paula2013, -abstract = {A {\'{a}}rea de modelagem estat{\'{i}}stica de regress{\~{a}}o recebeu um grande impulso desde a cria{\c{c}}{\~{a}}o dos modelos lineares generalizados (MLGs) no in{\'{i}}cio da d{\'{e}}- cada de 70. O crescente interesse pela {\'{a}}rea motivou a realiza{\c{c}}{\~{a}}o de v{\'{a}}rios encontros informais no in{\'{i}}cio dos anos 80, a maioria deles na Inglaterra, at{\'{e}} que em 1986 foi realizado na cidade de Innsbruck na {\'{A}}ustria o “1st Internati- onalWorkshop on Statistical Modellingâ€(1st IWSM). Esse encontro tem sido realizado anualmente sendo que o {\'{u}}ltimo (25th IWSM) aconteceu em julho de 2010 na Universidade de Glasgow, Esc{\'{o}}cia. O 26th IWSM ser{\'{a}} realizado em julho de 2011 em Val{\^{e}}ncia, Espanha. No Brasil a {\'{a}}rea come{\c{c}}ou efetiva- mente a se desenvolver a partir de meados da d{\'{e}}cada de 80 e em particular ap{\'{o}}s a 1a Escola de Modelos de Regress{\~{a}}o (1EMR) realizada na Universi- dade de S{\~{a}}o Paulo em 1989. As demais escolas ocorreram desde ent{\~{a}}o a cada dois anos sendo que a {\'{u}}ltima (11EMR) foi realizada em mar{\c{c}}o de 2009 na cidade de Recife, PE. A 12EMR ser{\'{a}} realizada em mar{\c{c}}o de 2011 na cidade de Fortaleza, CE.}, -author = {Paula, Gilberto Alvarenga}, -file = {:home/eduardo/Documents/Mendeley Desktop/Paula - 2013 - Modelos de regress{\~{a}}o com apoio computacional.pdf:pdf}, -keywords = {GLM,Regress{\~{a}}o}, -mendeley-groups = {TCC{\_}UFPR{\_}2015}, -mendeley-tags = {GLM,Regress{\~{a}}o}, -publisher = {IME-USP S{\~{a}}o Paulo}, -title = {{Modelos de regress{\~{a}}o com apoio computacional}}, -url = {https://www.ime.usp.br/{~}giapaula/textoregressao.htm}, -year = {2013} -} -@article{Shmueli2005, -abstract = {A useful discrete distribution (the Conway2013Maxwell2013Poisson distribution) is revived and its statistical and probabilistic properties are introduced and explored. This distribution is a two-parameter extension of the Poisson distribution that generalizes some well-known discrete distributions (Poisson, Bernoulli and geometric). It also leads to the generalization of distributions derived from these discrete distributions (i.e. the binomial and negative binomial distributions). We describe three methods for estimating the parameters of the Conway2013Maxwell2013Poisson distribution. The first is a fast simple weighted least squares method, which leads to estimates that are sufficiently accurate for practical purposes. The second method, using maximum likelihood, can be used to refine the initial estimates. This method requires iterations and is more computationally intensive. The third estimation method is Bayesian. Using the conjugate prior, the posterior density of the parameters of the Conway2013Maxwell2013Poisson distribution is easily computed. It is a flexible distribution that can account for overdispersion or underdispersion that is commonly encountered in count data. We also explore two sets of real world data demonstrating the flexibility and elegance of the Conway2013Maxwell2013Poisson distribution in fitting count data which do not seem to follow the Poisson distribution.}, -annote = {Refer{\^{e}}ncia para compoisson package}, -author = {Shmueli, Galit and Minka, Thomas P. and Kadane, Joseph B. and Borle, Sharad and Boatwright, Peter}, -doi = {10.1111/j.1467-9876.2005.00474.x}, -file = {:home/eduardo/Documents/Mendeley Desktop/Shmueli et al. - 2005 - A useful distribution for fitting discrete data Revival of the Conway-Maxwell-Poisson distribution.pdf:pdf}, -isbn = {1467-9876}, -issn = {00359254}, -journal = {Journal of the Royal Statistical Society. Series C: Applied Statistics}, -keywords = {Com-poisson,Conjugate family,Conway-Maxwell-Poisson distribution,Estimation,Exponential family,Overdispersion,Underdispersion}, -mendeley-groups = {TCC{\_}UFPR{\_}2015}, -mendeley-tags = {Com-poisson}, -number = {1}, -pages = {127--142}, -title = {{A useful distribution for fitting discrete data: Revival of the Conway-Maxwell-Poisson distribution}}, -volume = {54}, -year = {2005} +publisher = {XXII Congresso Brasileiro de Entomologia}, +title = {{Influ{\^{e}}ncia do ataque de mosca-branca Bemisia tabaci Biotipo B, nos {\'{i}}ndices de produtividade do algodoeiro}}, +year = {2008} } -@article{Sellers2010, -abstract = {Poisson regression is a popular tool for modeling count data and is applied in a vast array of applications from the social to the physical sciences and beyond. Real data, however, are often over- or under-dispersed and, thus, not conducive to Poisson regression. We propose a regression model based on the Conway--Maxwell-Poisson (COM-Poisson) distribution to address this problem. The COM-Poisson regression generalizes the well-known Poisson and logistic regression models, and is suitable for fitting count data with a wide range of dispersion levels. With a GLM approach that takes advantage of exponential family properties, we discuss model estimation, inference, diagnostics, and interpretation, and present a test for determining the need for a COM-Poisson regression over a standard Poisson regression. We compare the COM-Poisson to several alternatives and illustrate its advantages and usefulness using three data sets with varying dispersion.}, -annote = {Refer{\^{e}}ncia para COMPoissonReg package}, -archivePrefix = {arXiv}, -arxivId = {1011.2077}, -author = {Sellers, Kimberly F. and Shmueli, Galit}, -doi = {10.1214/09-AOAS306}, -eprint = {1011.2077}, -file = {:home/eduardo/Documents/Mendeley Desktop/Sellers, Shmueli - 2010 - A flexible regression model for count data.pdf:pdf;:home/eduardo/Documents/Mendeley Desktop/Sellers, Shmueli - 2010 - A flexible regression model for count data(2).pdf:pdf}, -issn = {19326157}, -journal = {Annals of Applied Statistics}, -keywords = {Com-poisson,Conway-Maxwell-Poisson (COM-Poisson) distribution,Dispersion,Generalized Poisson,Generalized linear models (GLM)}, +@misc{UCLA, +author = {UCLA, Statistical Consulting Group}, mendeley-groups = {TCC{\_}UFPR{\_}2015}, -mendeley-tags = {Com-poisson}, -number = {2}, -pages = {943--961}, -title = {{A flexible regression model for count data}}, -volume = {4}, -year = {2010} +title = {{Data Analysis Examples}}, +year = {2015}, +url = {http://www.ats.ucla.edu/stat/dae/} }