http://wiki.nosdigitais.teia.org.br/api.php?action=feedcontributions&feedformat=atom&user=V1zPontão Nós Digitais - Contribuições do usuário [pt-br]2026-04-24T04:06:08ZContribuições do usuárioMediaWiki 1.39.0http://wiki.nosdigitais.teia.org.br/index.php?title=GSoC&diff=41657GSoC2026-03-25T16:55:33Z<p>V1z: /* As ORGs que recomendo para 2026 = */</p>
<hr />
<div>[[Imagem:Gsoc-2026.jpg|right|500px]]<br />
Esta página reúne dicas e idéias para o Google Summer of Code (GSoC), <br />
programa internacional promovido pela Google que conecta estudantes e desenvolvedores iniciantes a projetos de software livre em organizações de todo o mundo.<br />
<br />
A iniciativa tem como objetivo incentivar a participação em comunidades de código aberto, proporcionando experiência prática em desenvolvimento de software com a orientação de mentores experientes. Os participantes selecionados atuam em projetos reais durante um período de aproximadamente 12 semanas, podendo se estender conforme o escopo da proposta.<br />
<br />
As infomações são para qualquer ano, mas foram atualizadas para 2026.<br />
O foco é na participação individual (contribuutor), sendo que atualmente não entramos como ORG.<br />
<br />
'''Inscrições abertas para o Google Summer of Code 2026 vão até 31 de março'''<br />
<br />
Além da experiência técnica, o programa oferece bolsas aos participantes que concluírem seus projetos com sucesso. Os valores variam de acordo com o país de residência do estudante e o tamanho do projeto, '''podendo chegar a cerca de US$ 3.000''' no Brasiil e a US$ 6.000 em alguns países.<br />
<br />
Para a edição de 2026, há oportunidades em diversas áreas, com destaque para temas como inteligência artificial, segurança e aprendizado de máquina, acompanhando tendências atuais da tecnologia.<br />
<br />
No IPRJ/Uerj, o professor Ricardo Fabbri (rfabbri@iprj.uerj.br) se coloca à disposição para orientar estudantes interessados, oferecendo suporte sobre o processo de candidatura e estratégias para maximizar as chances de aprovação no programa.<br />
<br />
Alunos do IPRJ já conseguiram essas bolsas em anos anteriores! <br />
<br />
Participe!! <br />
<br />
<br />
<br />
<br />
== Como aplicar ==<br />
<br />
<br />
Seguir passo a passo a secao: Apply and get started! Do seguinte documento:<br />
https://opensource.googleblog.com/2026/03/open-source-open-doors-apply-now-for-google-summer-of-code.html<br />
<br />
<br />
== Dicas == <br />
<br />
O caminho é trabalhoso.<br />
<br />
O principal é se envolver em comunidades de software aberto (softwares<br />
das ORGs contempladas), e mostrar que você não é apenas uma ferramenta<br />
de IA. Você precisa primeiro se tornar usuário do software, e escolher<br />
baseado em alguns indicadores:<br />
<br />
* A ORG tem muitas pull requests estagnadas, ou processa as pull<br />
requests e responde prontamente?<br />
* Trabalhe em algum bug:<br />
**Identifique a Issue que seja de seu interesse real (que voce<br />
se identifique)<br />
**Procure reproduzir o bug<br />
* Assine a lista de discussao do software de seu interesse, leia e<br />
tente responder<br />
* Saiba fazer alteracoes simples no codigo, como colocar seu nome na<br />
janela de About, recompilar e rodar<br />
& Saiba fazer busca em codigo, sugiro este tutorial de ferramentas de<br />
linha de comando:<br />
http://wiki.nosdigitais.teia.org.br/Learning_the_Unix_Programming_Environment<br />
* Se fizer algum projeto na área gráfica, listado em "Media", eu<br />
consigo ajudar mais.<br />
<br />
== As ORGs que recomendo para 2026 ==<br />
<br />
Há diversas áreas disponíveis, https://summerofcode.withgoogle.com/programs/2026/organizations<br />
No entanto, recomendo que seja um aplicativo de médio porte, não grande demais, para uma primeira bolsa.<br />
<br />
Os CADs sao um ponto de entrada mais realista,<br />
funcionam como um degrau para projetos maiores no futuro como Blender.<br />
<br />
BRL-CAD<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/brl-cad<br />
<br />
FreeCAD - bom para começar, mais facil que blender<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/freecad<br />
<br />
CGAL - posso ensinar a matemática necessaria.<br />
<br />
GiMP - todas as ideias parecem faceis ou ao menos factiveis<br />
https://developer.gimp.org/core/internship/ideas/<br />
<br />
<br />
Secundarios:--------------------------------------------------------------<br />
<br />
Invesalius - Software de imagens medicas BRASILEIRO<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/invesaliusv<br />
<br />
SU2 - Computational Fluid Dynamics and Optimization - me parece que<br />
as tarefas dele nao sao tao dificeis<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/stichting-su2<br />
<br />
VideoLAN - muitos projetos de UI. Alguns interessantes, comunidade parrece boa,<br />
mas pode ser trabalhoso.<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/videolan<br />
<br />
GeomScale<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/geomscale<br />
<br />
Octave - Implement missing ODE capabilities to support Chebfun<br />
https://wiki.octave.org/wiki/index.php?title=Summer_of_Code_-_Getting_Started#Suggested_projects<br />
<br />
== See Also ==<br />
<br />
Pages for previous years where LabMacambira applied as a mentor: [[GSoC|2012]], [[SummerOfCode2012 | GSoC 2013]].</div>V1zhttp://wiki.nosdigitais.teia.org.br/index.php?title=GSoC&diff=41656GSoC2026-03-25T16:52:25Z<p>V1z: </p>
<hr />
<div>[[Imagem:Gsoc-2026.jpg|right|500px]]<br />
Esta página reúne dicas e idéias para o Google Summer of Code (GSoC), <br />
programa internacional promovido pela Google que conecta estudantes e desenvolvedores iniciantes a projetos de software livre em organizações de todo o mundo.<br />
<br />
A iniciativa tem como objetivo incentivar a participação em comunidades de código aberto, proporcionando experiência prática em desenvolvimento de software com a orientação de mentores experientes. Os participantes selecionados atuam em projetos reais durante um período de aproximadamente 12 semanas, podendo se estender conforme o escopo da proposta.<br />
<br />
As infomações são para qualquer ano, mas foram atualizadas para 2026.<br />
O foco é na participação individual (contribuutor), sendo que atualmente não entramos como ORG.<br />
<br />
'''Inscrições abertas para o Google Summer of Code 2026 vão até 31 de março'''<br />
<br />
Além da experiência técnica, o programa oferece bolsas aos participantes que concluírem seus projetos com sucesso. Os valores variam de acordo com o país de residência do estudante e o tamanho do projeto, '''podendo chegar a cerca de US$ 3.000''' no Brasiil e a US$ 6.000 em alguns países.<br />
<br />
Para a edição de 2026, há oportunidades em diversas áreas, com destaque para temas como inteligência artificial, segurança e aprendizado de máquina, acompanhando tendências atuais da tecnologia.<br />
<br />
No IPRJ/Uerj, o professor Ricardo Fabbri (rfabbri@iprj.uerj.br) se coloca à disposição para orientar estudantes interessados, oferecendo suporte sobre o processo de candidatura e estratégias para maximizar as chances de aprovação no programa.<br />
<br />
Alunos do IPRJ já conseguiram essas bolsas em anos anteriores! <br />
<br />
Participe!! <br />
<br />
<br />
<br />
<br />
== Como aplicar ==<br />
<br />
<br />
Seguir passo a passo a secao: Apply and get started! Do seguinte documento:<br />
https://opensource.googleblog.com/2026/03/open-source-open-doors-apply-now-for-google-summer-of-code.html<br />
<br />
<br />
== Dicas == <br />
<br />
O caminho é trabalhoso.<br />
<br />
O principal é se envolver em comunidades de software aberto (softwares<br />
das ORGs contempladas), e mostrar que você não é apenas uma ferramenta<br />
de IA. Você precisa primeiro se tornar usuário do software, e escolher<br />
baseado em alguns indicadores:<br />
<br />
* A ORG tem muitas pull requests estagnadas, ou processa as pull<br />
requests e responde prontamente?<br />
* Trabalhe em algum bug:<br />
**Identifique a Issue que seja de seu interesse real (que voce<br />
se identifique)<br />
**Procure reproduzir o bug<br />
* Assine a lista de discussao do software de seu interesse, leia e<br />
tente responder<br />
* Saiba fazer alteracoes simples no codigo, como colocar seu nome na<br />
janela de About, recompilar e rodar<br />
& Saiba fazer busca em codigo, sugiro este tutorial de ferramentas de<br />
linha de comando:<br />
http://wiki.nosdigitais.teia.org.br/Learning_the_Unix_Programming_Environment<br />
* Se fizer algum projeto na área gráfica, listado em "Media", eu<br />
consigo ajudar mais.<br />
<br />
== As ORGs que recomendo para 2026 ===<br />
<br />
Há diversas áreas disponíveis, https://summerofcode.withgoogle.com/programs/2026/organizations<br />
No entanto, recomendo que seja um aplicativo de médio porte, não grande demais, para uma primeira bolsa.<br />
<br />
Os CADs sao um ponto de entrada mais realista,<br />
funcionam como um degrau para projetos maiores no futuro como Blender.<br />
<br />
BRL-CAD<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/brl-cad<br />
<br />
FreeCAD - bom para começar, mais facil que blender<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/freecad<br />
<br />
CGAL - posso ensinar a matemática necessaria.<br />
<br />
GiMP - todas as ideias parecem faceis ou ao menos factiveis<br />
https://developer.gimp.org/core/internship/ideas/<br />
<br />
<br />
Secundarios:--------------------------------------------------------------<br />
<br />
Invesalius - Software de imagens medicas BRASILEIRO<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/invesaliusv<br />
<br />
SU2 - Computational Fluid Dynamics and Optimization - me parece que<br />
as tarefas dele nao sao tao dificeis<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/stichting-su2<br />
<br />
VideoLAN - muitos projetos de UI. Alguns interessantes, comunidade parrece boa,<br />
mas pode ser trabalhoso.<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/videolan<br />
<br />
GeomScale<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/geomscale<br />
<br />
Octave - Implement missing ODE capabilities to support Chebfun<br />
https://wiki.octave.org/wiki/index.php?title=Summer_of_Code_-_Getting_Started#Suggested_projects<br />
<br />
<br />
== See Also ==<br />
<br />
Pages for previous years where LabMacambira applied as a mentor: [[GSoC|2012]], [[SummerOfCode2012 | GSoC 2013]].</div>V1zhttp://wiki.nosdigitais.teia.org.br/index.php?title=GSoC&diff=41655GSoC2026-03-25T16:51:46Z<p>V1z: </p>
<hr />
<div>[[Imagem:Gsoc-2026.jpg|right|500px]]<br />
Esta página reúne dicas e idéias para o Google Summer of Code (GSoC), <br />
programa internacional promovido pela Google que conecta estudantes e desenvolvedores iniciantes a projetos de software livre em organizações de todo o mundo.<br />
<br />
<br />
A iniciativa tem como objetivo incentivar a participação em comunidades de código aberto, proporcionando experiência prática em desenvolvimento de software com a orientação de mentores experientes. Os participantes selecionados atuam em projetos reais durante um período de aproximadamente 12 semanas, podendo se estender conforme o escopo da proposta.<br />
<br />
As infomações são para qualquer ano, mas foram atualizadas para 2026.<br />
O foco é na participação individual (contribuutor), sendo que atualmente não entramos como ORG.<br />
<br />
**Inscrições abertas para o Google Summer of Code 2026 vão até 31 de março**<br />
<br />
Além da experiência técnica, o programa oferece bolsas aos participantes que concluírem seus projetos com sucesso. Os valores variam de acordo com o país de residência do estudante e o tamanho do projeto, podendo chegar a cerca de US$ 3.000 no Brasiil e a US$ 6.000 em alguns países.<br />
<br />
Para a edição de 2026, há oportunidades em diversas áreas, com destaque para temas como inteligência artificial, segurança e aprendizado de máquina, acompanhando tendências atuais da tecnologia.<br />
<br />
No IPRJ/Uerj, o professor Ricardo Fabbri (rfabbri@iprj.uerj.br) se coloca à disposição para orientar estudantes interessados, oferecendo suporte sobre o processo de candidatura e estratégias para maximizar as chances de aprovação no programa.<br />
<br />
Alunos do IPRJ já conseguiram essas bolsas em anos anteriores! <br />
<br />
Participe!! <br />
<br />
<br />
<br />
<br />
== Como aplicar ==<br />
<br />
<br />
Seguir passo a passo a secao: Apply and get started! Do seguinte documento:<br />
https://opensource.googleblog.com/2026/03/open-source-open-doors-apply-now-for-google-summer-of-code.html<br />
<br />
<br />
== Dicas == <br />
<br />
O caminho é trabalhoso.<br />
<br />
O principal é se envolver em comunidades de software aberto (softwares<br />
das ORGs contempladas), e mostrar que você não é apenas uma ferramenta<br />
de IA. Você precisa primeiro se tornar usuário do software, e escolher<br />
baseado em alguns indicadores:<br />
<br />
* A ORG tem muitas pull requests estagnadas, ou processa as pull<br />
requests e responde prontamente?<br />
* Trabalhe em algum bug:<br />
**Identifique a Issue que seja de seu interesse real (que voce<br />
se identifique)<br />
**Procure reproduzir o bug<br />
* Assine a lista de discussao do software de seu interesse, leia e<br />
tente responder<br />
* Saiba fazer alteracoes simples no codigo, como colocar seu nome na<br />
janela de About, recompilar e rodar<br />
& Saiba fazer busca em codigo, sugiro este tutorial de ferramentas de<br />
linha de comando:<br />
http://wiki.nosdigitais.teia.org.br/Learning_the_Unix_Programming_Environment<br />
* Se fizer algum projeto na área gráfica, listado em "Media", eu<br />
consigo ajudar mais.<br />
<br />
== As ORGs que recomendo para 2026 ===<br />
<br />
Há diversas áreas disponíveis, https://summerofcode.withgoogle.com/programs/2026/organizations<br />
No entanto, recomendo que seja um aplicativo de médio porte, não grande demais, para uma primeira bolsa.<br />
<br />
Os CADs sao um ponto de entrada mais realista,<br />
funcionam como um degrau para projetos maiores no futuro como Blender.<br />
<br />
BRL-CAD<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/brl-cad<br />
<br />
FreeCAD - bom para começar, mais facil que blender<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/freecad<br />
<br />
CGAL - posso ensinar a matemática necessaria.<br />
<br />
GiMP - todas as ideias parecem faceis ou ao menos factiveis<br />
https://developer.gimp.org/core/internship/ideas/<br />
<br />
<br />
Secundarios:--------------------------------------------------------------<br />
<br />
Invesalius - Software de imagens medicas BRASILEIRO<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/invesaliusv<br />
<br />
SU2 - Computational Fluid Dynamics and Optimization - me parece que<br />
as tarefas dele nao sao tao dificeis<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/stichting-su2<br />
<br />
VideoLAN - muitos projetos de UI. Alguns interessantes, comunidade parrece boa,<br />
mas pode ser trabalhoso.<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/videolan<br />
<br />
GeomScale<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/geomscale<br />
<br />
Octave - Implement missing ODE capabilities to support Chebfun<br />
https://wiki.octave.org/wiki/index.php?title=Summer_of_Code_-_Getting_Started#Suggested_projects<br />
<br />
<br />
== See Also ==<br />
<br />
Pages for previous years where LabMacambira applied as a mentor: [[GSoC|2012]], [[SummerOfCode2012 | GSoC 2013]].</div>V1zhttp://wiki.nosdigitais.teia.org.br/index.php?title=GSoC&diff=41654GSoC2026-03-25T16:51:28Z<p>V1z: </p>
<hr />
<div>Esta página reúne dicas e idéias para o Google Summer of Code (GSoC), <br />
programa internacional promovido pela Google que conecta estudantes e desenvolvedores iniciantes a projetos de software livre em organizações de todo o mundo.<br />
<br />
<br />
A iniciativa tem como objetivo incentivar a participação em comunidades de código aberto, proporcionando experiência prática em desenvolvimento de software com a orientação de mentores experientes. Os participantes selecionados atuam em projetos reais durante um período de aproximadamente 12 semanas, podendo se estender conforme o escopo da proposta.<br />
<br />
[[Imagem:Gsoc-2026.jpg|right|500px]]<br />
<br />
As infomações são para qualquer ano, mas foram atualizadas para 2026.<br />
O foco é na participação individual (contribuutor), sendo que atualmente não entramos como ORG.<br />
<br />
**Inscrições abertas para o Google Summer of Code 2026 vão até 31 de março**<br />
<br />
Além da experiência técnica, o programa oferece bolsas aos participantes que concluírem seus projetos com sucesso. Os valores variam de acordo com o país de residência do estudante e o tamanho do projeto, podendo chegar a cerca de US$ 3.000 no Brasiil e a US$ 6.000 em alguns países.<br />
<br />
Para a edição de 2026, há oportunidades em diversas áreas, com destaque para temas como inteligência artificial, segurança e aprendizado de máquina, acompanhando tendências atuais da tecnologia.<br />
<br />
No IPRJ/Uerj, o professor Ricardo Fabbri (rfabbri@iprj.uerj.br) se coloca à disposição para orientar estudantes interessados, oferecendo suporte sobre o processo de candidatura e estratégias para maximizar as chances de aprovação no programa.<br />
<br />
Alunos do IPRJ já conseguiram essas bolsas em anos anteriores! <br />
<br />
Participe!! <br />
<br />
<br />
<br />
<br />
== Como aplicar ==<br />
<br />
<br />
Seguir passo a passo a secao: Apply and get started! Do seguinte documento:<br />
https://opensource.googleblog.com/2026/03/open-source-open-doors-apply-now-for-google-summer-of-code.html<br />
<br />
<br />
== Dicas == <br />
<br />
O caminho é trabalhoso.<br />
<br />
O principal é se envolver em comunidades de software aberto (softwares<br />
das ORGs contempladas), e mostrar que você não é apenas uma ferramenta<br />
de IA. Você precisa primeiro se tornar usuário do software, e escolher<br />
baseado em alguns indicadores:<br />
<br />
* A ORG tem muitas pull requests estagnadas, ou processa as pull<br />
requests e responde prontamente?<br />
* Trabalhe em algum bug:<br />
**Identifique a Issue que seja de seu interesse real (que voce<br />
se identifique)<br />
**Procure reproduzir o bug<br />
* Assine a lista de discussao do software de seu interesse, leia e<br />
tente responder<br />
* Saiba fazer alteracoes simples no codigo, como colocar seu nome na<br />
janela de About, recompilar e rodar<br />
& Saiba fazer busca em codigo, sugiro este tutorial de ferramentas de<br />
linha de comando:<br />
http://wiki.nosdigitais.teia.org.br/Learning_the_Unix_Programming_Environment<br />
* Se fizer algum projeto na área gráfica, listado em "Media", eu<br />
consigo ajudar mais.<br />
<br />
== As ORGs que recomendo para 2026 ===<br />
<br />
Há diversas áreas disponíveis, https://summerofcode.withgoogle.com/programs/2026/organizations<br />
No entanto, recomendo que seja um aplicativo de médio porte, não grande demais, para uma primeira bolsa.<br />
<br />
Os CADs sao um ponto de entrada mais realista,<br />
funcionam como um degrau para projetos maiores no futuro como Blender.<br />
<br />
BRL-CAD<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/brl-cad<br />
<br />
FreeCAD - bom para começar, mais facil que blender<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/freecad<br />
<br />
CGAL - posso ensinar a matemática necessaria.<br />
<br />
GiMP - todas as ideias parecem faceis ou ao menos factiveis<br />
https://developer.gimp.org/core/internship/ideas/<br />
<br />
<br />
Secundarios:--------------------------------------------------------------<br />
<br />
Invesalius - Software de imagens medicas BRASILEIRO<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/invesaliusv<br />
<br />
SU2 - Computational Fluid Dynamics and Optimization - me parece que<br />
as tarefas dele nao sao tao dificeis<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/stichting-su2<br />
<br />
VideoLAN - muitos projetos de UI. Alguns interessantes, comunidade parrece boa,<br />
mas pode ser trabalhoso.<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/videolan<br />
<br />
GeomScale<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/geomscale<br />
<br />
Octave - Implement missing ODE capabilities to support Chebfun<br />
https://wiki.octave.org/wiki/index.php?title=Summer_of_Code_-_Getting_Started#Suggested_projects<br />
<br />
<br />
== See Also ==<br />
<br />
Pages for previous years where LabMacambira applied as a mentor: [[GSoC|2012]], [[SummerOfCode2012 | GSoC 2013]].</div>V1zhttp://wiki.nosdigitais.teia.org.br/index.php?title=GSoC&diff=41653GSoC2026-03-25T16:51:17Z<p>V1z: </p>
<hr />
<div>Esta página reúne dicas e idéias para o Google Summer of Code (GSoC), <br />
programa internacional promovido pela Google que conecta estudantes e desenvolvedores iniciantes a projetos de software livre em organizações de todo o mundo.<br />
[[Imagem:Gsoc-2026.jpg|right|500px]]<br />
<br />
A iniciativa tem como objetivo incentivar a participação em comunidades de código aberto, proporcionando experiência prática em desenvolvimento de software com a orientação de mentores experientes. Os participantes selecionados atuam em projetos reais durante um período de aproximadamente 12 semanas, podendo se estender conforme o escopo da proposta.<br />
<br />
As infomações são para qualquer ano, mas foram atualizadas para 2026.<br />
O foco é na participação individual (contribuutor), sendo que atualmente não entramos como ORG.<br />
<br />
**Inscrições abertas para o Google Summer of Code 2026 vão até 31 de março**<br />
<br />
Além da experiência técnica, o programa oferece bolsas aos participantes que concluírem seus projetos com sucesso. Os valores variam de acordo com o país de residência do estudante e o tamanho do projeto, podendo chegar a cerca de US$ 3.000 no Brasiil e a US$ 6.000 em alguns países.<br />
<br />
Para a edição de 2026, há oportunidades em diversas áreas, com destaque para temas como inteligência artificial, segurança e aprendizado de máquina, acompanhando tendências atuais da tecnologia.<br />
<br />
No IPRJ/Uerj, o professor Ricardo Fabbri (rfabbri@iprj.uerj.br) se coloca à disposição para orientar estudantes interessados, oferecendo suporte sobre o processo de candidatura e estratégias para maximizar as chances de aprovação no programa.<br />
<br />
Alunos do IPRJ já conseguiram essas bolsas em anos anteriores! <br />
<br />
Participe!! <br />
<br />
<br />
<br />
<br />
== Como aplicar ==<br />
<br />
<br />
Seguir passo a passo a secao: Apply and get started! Do seguinte documento:<br />
https://opensource.googleblog.com/2026/03/open-source-open-doors-apply-now-for-google-summer-of-code.html<br />
<br />
<br />
== Dicas == <br />
<br />
O caminho é trabalhoso.<br />
<br />
O principal é se envolver em comunidades de software aberto (softwares<br />
das ORGs contempladas), e mostrar que você não é apenas uma ferramenta<br />
de IA. Você precisa primeiro se tornar usuário do software, e escolher<br />
baseado em alguns indicadores:<br />
<br />
* A ORG tem muitas pull requests estagnadas, ou processa as pull<br />
requests e responde prontamente?<br />
* Trabalhe em algum bug:<br />
**Identifique a Issue que seja de seu interesse real (que voce<br />
se identifique)<br />
**Procure reproduzir o bug<br />
* Assine a lista de discussao do software de seu interesse, leia e<br />
tente responder<br />
* Saiba fazer alteracoes simples no codigo, como colocar seu nome na<br />
janela de About, recompilar e rodar<br />
& Saiba fazer busca em codigo, sugiro este tutorial de ferramentas de<br />
linha de comando:<br />
http://wiki.nosdigitais.teia.org.br/Learning_the_Unix_Programming_Environment<br />
* Se fizer algum projeto na área gráfica, listado em "Media", eu<br />
consigo ajudar mais.<br />
<br />
== As ORGs que recomendo para 2026 ===<br />
<br />
Há diversas áreas disponíveis, https://summerofcode.withgoogle.com/programs/2026/organizations<br />
No entanto, recomendo que seja um aplicativo de médio porte, não grande demais, para uma primeira bolsa.<br />
<br />
Os CADs sao um ponto de entrada mais realista,<br />
funcionam como um degrau para projetos maiores no futuro como Blender.<br />
<br />
BRL-CAD<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/brl-cad<br />
<br />
FreeCAD - bom para começar, mais facil que blender<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/freecad<br />
<br />
CGAL - posso ensinar a matemática necessaria.<br />
<br />
GiMP - todas as ideias parecem faceis ou ao menos factiveis<br />
https://developer.gimp.org/core/internship/ideas/<br />
<br />
<br />
Secundarios:--------------------------------------------------------------<br />
<br />
Invesalius - Software de imagens medicas BRASILEIRO<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/invesaliusv<br />
<br />
SU2 - Computational Fluid Dynamics and Optimization - me parece que<br />
as tarefas dele nao sao tao dificeis<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/stichting-su2<br />
<br />
VideoLAN - muitos projetos de UI. Alguns interessantes, comunidade parrece boa,<br />
mas pode ser trabalhoso.<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/videolan<br />
<br />
GeomScale<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/geomscale<br />
<br />
Octave - Implement missing ODE capabilities to support Chebfun<br />
https://wiki.octave.org/wiki/index.php?title=Summer_of_Code_-_Getting_Started#Suggested_projects<br />
<br />
<br />
== See Also ==<br />
<br />
Pages for previous years where LabMacambira applied as a mentor: [[GSoC|2012]], [[SummerOfCode2012 | GSoC 2013]].</div>V1zhttp://wiki.nosdigitais.teia.org.br/index.php?title=GSoC&diff=41652GSoC2026-03-25T16:51:03Z<p>V1z: </p>
<hr />
<div>Esta página reúne dicas e idéias para o Google Summer of Code (GSoC), <br />
programa internacional promovido pela Google que conecta estudantes e desenvolvedores iniciantes a projetos de software livre em organizações de todo o mundo.<br />
<br />
A iniciativa tem como objetivo incentivar a participação em comunidades de código aberto, proporcionando experiência prática em desenvolvimento de software com a orientação de mentores experientes. Os participantes selecionados atuam em projetos reais durante um período de aproximadamente 12 semanas, podendo se estender conforme o escopo da proposta.<br />
<br />
As infomações são para qualquer ano, mas foram atualizadas para 2026.<br />
O foco é na participação individual (contribuutor), sendo que atualmente não entramos como ORG.<br />
<br />
**Inscrições abertas para o Google Summer of Code 2026 vão até 31 de março**<br />
<br />
Além da experiência técnica, o programa oferece bolsas aos participantes que concluírem seus projetos com sucesso. Os valores variam de acordo com o país de residência do estudante e o tamanho do projeto, podendo chegar a cerca de US$ 3.000 no Brasiil e a US$ 6.000 em alguns países.<br />
<br />
Para a edição de 2026, há oportunidades em diversas áreas, com destaque para temas como inteligência artificial, segurança e aprendizado de máquina, acompanhando tendências atuais da tecnologia.<br />
<br />
No IPRJ/Uerj, o professor Ricardo Fabbri (rfabbri@iprj.uerj.br) se coloca à disposição para orientar estudantes interessados, oferecendo suporte sobre o processo de candidatura e estratégias para maximizar as chances de aprovação no programa.<br />
<br />
Alunos do IPRJ já conseguiram essas bolsas em anos anteriores! <br />
<br />
Participe!! <br />
<br />
[[Imagem:Gsoc-2026.jpg|right|500px]]<br />
<br />
<br />
== Como aplicar ==<br />
<br />
<br />
Seguir passo a passo a secao: Apply and get started! Do seguinte documento:<br />
https://opensource.googleblog.com/2026/03/open-source-open-doors-apply-now-for-google-summer-of-code.html<br />
<br />
<br />
== Dicas == <br />
<br />
O caminho é trabalhoso.<br />
<br />
O principal é se envolver em comunidades de software aberto (softwares<br />
das ORGs contempladas), e mostrar que você não é apenas uma ferramenta<br />
de IA. Você precisa primeiro se tornar usuário do software, e escolher<br />
baseado em alguns indicadores:<br />
<br />
* A ORG tem muitas pull requests estagnadas, ou processa as pull<br />
requests e responde prontamente?<br />
* Trabalhe em algum bug:<br />
**Identifique a Issue que seja de seu interesse real (que voce<br />
se identifique)<br />
**Procure reproduzir o bug<br />
* Assine a lista de discussao do software de seu interesse, leia e<br />
tente responder<br />
* Saiba fazer alteracoes simples no codigo, como colocar seu nome na<br />
janela de About, recompilar e rodar<br />
& Saiba fazer busca em codigo, sugiro este tutorial de ferramentas de<br />
linha de comando:<br />
http://wiki.nosdigitais.teia.org.br/Learning_the_Unix_Programming_Environment<br />
* Se fizer algum projeto na área gráfica, listado em "Media", eu<br />
consigo ajudar mais.<br />
<br />
== As ORGs que recomendo para 2026 ===<br />
<br />
Há diversas áreas disponíveis, https://summerofcode.withgoogle.com/programs/2026/organizations<br />
No entanto, recomendo que seja um aplicativo de médio porte, não grande demais, para uma primeira bolsa.<br />
<br />
Os CADs sao um ponto de entrada mais realista,<br />
funcionam como um degrau para projetos maiores no futuro como Blender.<br />
<br />
BRL-CAD<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/brl-cad<br />
<br />
FreeCAD - bom para começar, mais facil que blender<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/freecad<br />
<br />
CGAL - posso ensinar a matemática necessaria.<br />
<br />
GiMP - todas as ideias parecem faceis ou ao menos factiveis<br />
https://developer.gimp.org/core/internship/ideas/<br />
<br />
<br />
Secundarios:--------------------------------------------------------------<br />
<br />
Invesalius - Software de imagens medicas BRASILEIRO<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/invesaliusv<br />
<br />
SU2 - Computational Fluid Dynamics and Optimization - me parece que<br />
as tarefas dele nao sao tao dificeis<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/stichting-su2<br />
<br />
VideoLAN - muitos projetos de UI. Alguns interessantes, comunidade parrece boa,<br />
mas pode ser trabalhoso.<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/videolan<br />
<br />
GeomScale<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/geomscale<br />
<br />
Octave - Implement missing ODE capabilities to support Chebfun<br />
https://wiki.octave.org/wiki/index.php?title=Summer_of_Code_-_Getting_Started#Suggested_projects<br />
<br />
<br />
== See Also ==<br />
<br />
Pages for previous years where LabMacambira applied as a mentor: [[GSoC|2012]], [[SummerOfCode2012 | GSoC 2013]].</div>V1zhttp://wiki.nosdigitais.teia.org.br/index.php?title=Arquivo:Gsoc-2026.jpg&diff=41651Arquivo:Gsoc-2026.jpg2026-03-25T16:50:42Z<p>V1z: GSoC logo google summer of code</p>
<hr />
<div>== Descrição do arquivo ==<br />
[[GSoC]] logo google summer of code</div>V1zhttp://wiki.nosdigitais.teia.org.br/index.php?title=GSoC&diff=41650GSoC2026-03-25T16:49:11Z<p>V1z: </p>
<hr />
<div>Esta página reúne dicas e idéias para o Google Summer of Code (GSoC), <br />
programa internacional promovido pela Google que conecta estudantes e desenvolvedores iniciantes a projetos de software livre em organizações de todo o mundo.<br />
<br />
A iniciativa tem como objetivo incentivar a participação em comunidades de código aberto, proporcionando experiência prática em desenvolvimento de software com a orientação de mentores experientes. Os participantes selecionados atuam em projetos reais durante um período de aproximadamente 12 semanas, podendo se estender conforme o escopo da proposta.<br />
<br />
As infomações são para qualquer ano, mas foram atualizadas para 2026.<br />
O foco é na participação individual (contribuutor), sendo que atualmente não entramos como ORG.<br />
<br />
**Inscrições abertas para o Google Summer of Code 2026 vão até 31 de março**<br />
<br />
Além da experiência técnica, o programa oferece bolsas aos participantes que concluírem seus projetos com sucesso. Os valores variam de acordo com o país de residência do estudante e o tamanho do projeto, podendo chegar a cerca de US$ 3.000 no Brasiil e a US$ 6.000 em alguns países.<br />
<br />
Para a edição de 2026, há oportunidades em diversas áreas, com destaque para temas como inteligência artificial, segurança e aprendizado de máquina, acompanhando tendências atuais da tecnologia.<br />
<br />
No IPRJ/Uerj, o professor Ricardo Fabbri (rfabbri@iprj.uerj.br) se coloca à disposição para orientar estudantes interessados, oferecendo suporte sobre o processo de candidatura e estratégias para maximizar as chances de aprovação no programa.<br />
<br />
Alunos do IPRJ já conseguiram essas bolsas em anos anteriores! <br />
<br />
Participe!! <br />
<br />
[[Imagem:Soc-logo-google-color.jpg|right|500px]]<br />
<br />
<br />
== Como aplicar ==<br />
<br />
<br />
Seguir passo a passo a secao: Apply and get started! Do seguinte documento:<br />
https://opensource.googleblog.com/2026/03/open-source-open-doors-apply-now-for-google-summer-of-code.html<br />
<br />
<br />
== Dicas == <br />
<br />
O caminho é trabalhoso.<br />
<br />
O principal é se envolver em comunidades de software aberto (softwares<br />
das ORGs contempladas), e mostrar que você não é apenas uma ferramenta<br />
de IA. Você precisa primeiro se tornar usuário do software, e escolher<br />
baseado em alguns indicadores:<br />
<br />
* A ORG tem muitas pull requests estagnadas, ou processa as pull<br />
requests e responde prontamente?<br />
* Trabalhe em algum bug:<br />
**Identifique a Issue que seja de seu interesse real (que voce<br />
se identifique)<br />
**Procure reproduzir o bug<br />
* Assine a lista de discussao do software de seu interesse, leia e<br />
tente responder<br />
* Saiba fazer alteracoes simples no codigo, como colocar seu nome na<br />
janela de About, recompilar e rodar<br />
& Saiba fazer busca em codigo, sugiro este tutorial de ferramentas de<br />
linha de comando:<br />
http://wiki.nosdigitais.teia.org.br/Learning_the_Unix_Programming_Environment<br />
* Se fizer algum projeto na área gráfica, listado em "Media", eu<br />
consigo ajudar mais.<br />
<br />
== As ORGs que recomendo para 2026 ===<br />
<br />
Há diversas áreas disponíveis, https://summerofcode.withgoogle.com/programs/2026/organizations<br />
No entanto, recomendo que seja um aplicativo de médio porte, não grande demais, para uma primeira bolsa.<br />
<br />
Os CADs sao um ponto de entrada mais realista,<br />
funcionam como um degrau para projetos maiores no futuro como Blender.<br />
<br />
BRL-CAD<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/brl-cad<br />
<br />
FreeCAD - bom para começar, mais facil que blender<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/freecad<br />
<br />
CGAL - posso ensinar a matemática necessaria.<br />
<br />
GiMP - todas as ideias parecem faceis ou ao menos factiveis<br />
https://developer.gimp.org/core/internship/ideas/<br />
<br />
<br />
Secundarios:--------------------------------------------------------------<br />
<br />
Invesalius - Software de imagens medicas BRASILEIRO<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/invesaliusv<br />
<br />
SU2 - Computational Fluid Dynamics and Optimization - me parece que<br />
as tarefas dele nao sao tao dificeis<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/stichting-su2<br />
<br />
VideoLAN - muitos projetos de UI. Alguns interessantes, comunidade parrece boa,<br />
mas pode ser trabalhoso.<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/videolan<br />
<br />
GeomScale<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/geomscale<br />
<br />
Octave - Implement missing ODE capabilities to support Chebfun<br />
https://wiki.octave.org/wiki/index.php?title=Summer_of_Code_-_Getting_Started#Suggested_projects<br />
<br />
<br />
== See Also ==<br />
<br />
Pages for previous years where LabMacambira applied as a mentor: [[GSoC|2012]], [[SummerOfCode2012 | GSoC 2013]].</div>V1zhttp://wiki.nosdigitais.teia.org.br/index.php?title=GSoC&diff=41649GSoC2026-03-25T16:48:25Z<p>V1z: /* Dicas */</p>
<hr />
<div>Esta página reúne dicas e idéias para o Google Summer of Code (GSoC), <br />
programa internacional promovido pela Google que conecta estudantes e desenvolvedores iniciantes a projetos de software livre em organizações de todo o mundo.<br />
<br />
A iniciativa tem como objetivo incentivar a participação em comunidades de código aberto, proporcionando experiência prática em desenvolvimento de software com a orientação de mentores experientes. Os participantes selecionados atuam em projetos reais durante um período de aproximadamente 12 semanas, podendo se estender conforme o escopo da proposta.<br />
<br />
As infomações são para qualquer ano, mas foram atualizadas para 2026.<br />
O foco é na participação individual (contribuutor), sendo que atualmente não entramos como ORG.<br />
<br />
**Inscrições abertas para o Google Summer of Code 2026 vão até 31 de março**<br />
<br />
Além da experiência técnica, o programa oferece bolsas aos participantes que concluírem seus projetos com sucesso. Os valores variam de acordo com o país de residência do estudante e o tamanho do projeto, podendo chegar a cerca de US$ 3.000 no Brasiil e a US$ 6.000 em alguns países.<br />
<br />
Para a edição de 2026, há oportunidades em diversas áreas, com destaque para temas como inteligência artificial, segurança e aprendizado de máquina, acompanhando tendências atuais da tecnologia.<br />
<br />
No IPRJ/Uerj, o professor Ricardo Fabbri (rfabbri@iprj.uerj.br) se coloca à disposição para orientar estudantes interessados, oferecendo suporte sobre o processo de candidatura e estratégias para maximizar as chances de aprovação no programa.<br />
<br />
Alunos do IPRJ já conseguiram essas bolsas em anos anteriores! <br />
<br />
Participe!! <br />
<br />
<br />
== Como aplicar ==<br />
<br />
<br />
Seguir passo a passo a secao: Apply and get started! Do seguinte documento:<br />
https://opensource.googleblog.com/2026/03/open-source-open-doors-apply-now-for-google-summer-of-code.html<br />
<br />
<br />
== Dicas == <br />
<br />
O caminho é trabalhoso.<br />
<br />
O principal é se envolver em comunidades de software aberto (softwares<br />
das ORGs contempladas), e mostrar que você não é apenas uma ferramenta<br />
de IA. Você precisa primeiro se tornar usuário do software, e escolher<br />
baseado em alguns indicadores:<br />
<br />
* A ORG tem muitas pull requests estagnadas, ou processa as pull<br />
requests e responde prontamente?<br />
* Trabalhe em algum bug:<br />
**Identifique a Issue que seja de seu interesse real (que voce<br />
se identifique)<br />
**Procure reproduzir o bug<br />
* Assine a lista de discussao do software de seu interesse, leia e<br />
tente responder<br />
* Saiba fazer alteracoes simples no codigo, como colocar seu nome na<br />
janela de About, recompilar e rodar<br />
& Saiba fazer busca em codigo, sugiro este tutorial de ferramentas de<br />
linha de comando:<br />
http://wiki.nosdigitais.teia.org.br/Learning_the_Unix_Programming_Environment<br />
* Se fizer algum projeto na área gráfica, listado em "Media", eu<br />
consigo ajudar mais.<br />
<br />
== As ORGs que recomendo para 2026 ===<br />
<br />
Há diversas áreas disponíveis, https://summerofcode.withgoogle.com/programs/2026/organizations<br />
No entanto, recomendo que seja um aplicativo de médio porte, não grande demais, para uma primeira bolsa.<br />
<br />
Os CADs sao um ponto de entrada mais realista,<br />
funcionam como um degrau para projetos maiores no futuro como Blender.<br />
<br />
BRL-CAD<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/brl-cad<br />
<br />
FreeCAD - bom para começar, mais facil que blender<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/freecad<br />
<br />
CGAL - posso ensinar a matemática necessaria.<br />
<br />
GiMP - todas as ideias parecem faceis ou ao menos factiveis<br />
https://developer.gimp.org/core/internship/ideas/<br />
<br />
<br />
Secundarios:--------------------------------------------------------------<br />
<br />
Invesalius - Software de imagens medicas BRASILEIRO<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/invesaliusv<br />
<br />
SU2 - Computational Fluid Dynamics and Optimization - me parece que<br />
as tarefas dele nao sao tao dificeis<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/stichting-su2<br />
<br />
VideoLAN - muitos projetos de UI. Alguns interessantes, comunidade parrece boa,<br />
mas pode ser trabalhoso.<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/videolan<br />
<br />
GeomScale<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/geomscale<br />
<br />
Octave - Implement missing ODE capabilities to support Chebfun<br />
https://wiki.octave.org/wiki/index.php?title=Summer_of_Code_-_Getting_Started#Suggested_projects<br />
<br />
<br />
== See Also ==<br />
<br />
Pages for previous years where LabMacambira applied as a mentor: [[GSoC|2012]], [[SummerOfCode2012 | GSoC 2013]].</div>V1zhttp://wiki.nosdigitais.teia.org.br/index.php?title=GSoC&diff=41648GSoC2026-03-25T16:47:49Z<p>V1z: gsoc dicas</p>
<hr />
<div>Esta página reúne dicas e idéias para o Google Summer of Code (GSoC), <br />
programa internacional promovido pela Google que conecta estudantes e desenvolvedores iniciantes a projetos de software livre em organizações de todo o mundo.<br />
<br />
A iniciativa tem como objetivo incentivar a participação em comunidades de código aberto, proporcionando experiência prática em desenvolvimento de software com a orientação de mentores experientes. Os participantes selecionados atuam em projetos reais durante um período de aproximadamente 12 semanas, podendo se estender conforme o escopo da proposta.<br />
<br />
As infomações são para qualquer ano, mas foram atualizadas para 2026.<br />
O foco é na participação individual (contribuutor), sendo que atualmente não entramos como ORG.<br />
<br />
**Inscrições abertas para o Google Summer of Code 2026 vão até 31 de março**<br />
<br />
Além da experiência técnica, o programa oferece bolsas aos participantes que concluírem seus projetos com sucesso. Os valores variam de acordo com o país de residência do estudante e o tamanho do projeto, podendo chegar a cerca de US$ 3.000 no Brasiil e a US$ 6.000 em alguns países.<br />
<br />
Para a edição de 2026, há oportunidades em diversas áreas, com destaque para temas como inteligência artificial, segurança e aprendizado de máquina, acompanhando tendências atuais da tecnologia.<br />
<br />
No IPRJ/Uerj, o professor Ricardo Fabbri (rfabbri@iprj.uerj.br) se coloca à disposição para orientar estudantes interessados, oferecendo suporte sobre o processo de candidatura e estratégias para maximizar as chances de aprovação no programa.<br />
<br />
Alunos do IPRJ já conseguiram essas bolsas em anos anteriores! <br />
<br />
Participe!! <br />
<br />
<br />
== Como aplicar ==<br />
<br />
<br />
Seguir passo a passo a secao: Apply and get started! Do seguinte documento:<br />
https://opensource.googleblog.com/2026/03/open-source-open-doors-apply-now-for-google-summer-of-code.html<br />
<br />
<br />
== Dicas == <br />
<br />
O caminho é trabalhoso.<br />
<br />
O principal é se envolver em comunidades de software aberto (softwares<br />
das ORGs contempladas), e mostrar que você não é apenas uma ferramenta<br />
de IA. Você precisa primeiro se tornar usuário do software, e escolher<br />
baseado em alguns indicadores:<br />
<br />
- A ORG tem muitas pull requests estagnadas, ou processa as pull<br />
requests e responde prontamente?<br />
- Trabalhe em algum bug:<br />
- Identifique a Issue que seja de seu interesse real (que voce<br />
se identifique)<br />
- Procure reproduzir o bug<br />
- Assine a lista de discussao do software de seu interesse, leia e<br />
tente responder<br />
- Saiba fazer alteracoes simples no codigo, como colocar seu nome na<br />
janela de About, recompilar e rodar<br />
- Saiba fazer busca em codigo, sugiro este tutorial de ferramentas de<br />
linha de comando:<br />
http://wiki.nosdigitais.teia.org.br/Learning_the_Unix_Programming_Environment<br />
<br />
- Se fizer algum projeto na área gráfica, listado em "Media", eu<br />
consigo ajudar mais.<br />
<br />
== As ORGs que recomendo para 2026 ===<br />
<br />
Há diversas áreas disponíveis, https://summerofcode.withgoogle.com/programs/2026/organizations<br />
No entanto, recomendo que seja um aplicativo de médio porte, não grande demais, para uma primeira bolsa.<br />
<br />
Os CADs sao um ponto de entrada mais realista,<br />
funcionam como um degrau para projetos maiores no futuro como Blender.<br />
<br />
BRL-CAD<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/brl-cad<br />
<br />
FreeCAD - bom para começar, mais facil que blender<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/freecad<br />
<br />
CGAL - posso ensinar a matemática necessaria.<br />
<br />
GiMP - todas as ideias parecem faceis ou ao menos factiveis<br />
https://developer.gimp.org/core/internship/ideas/<br />
<br />
<br />
Secundarios:--------------------------------------------------------------<br />
<br />
Invesalius - Software de imagens medicas BRASILEIRO<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/invesaliusv<br />
<br />
SU2 - Computational Fluid Dynamics and Optimization - me parece que<br />
as tarefas dele nao sao tao dificeis<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/stichting-su2<br />
<br />
VideoLAN - muitos projetos de UI. Alguns interessantes, comunidade parrece boa,<br />
mas pode ser trabalhoso.<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/videolan<br />
<br />
GeomScale<br />
https://summerofcode.withgoogle.com/programs/2026/organizations/geomscale<br />
<br />
Octave - Implement missing ODE capabilities to support Chebfun<br />
https://wiki.octave.org/wiki/index.php?title=Summer_of_Code_-_Getting_Started#Suggested_projects<br />
<br />
<br />
== See Also ==<br />
<br />
Pages for previous years where LabMacambira applied as a mentor: [[GSoC|2012]], [[SummerOfCode2012 | GSoC 2013]].</div>V1zhttp://wiki.nosdigitais.teia.org.br/index.php?title=Algoritmos_e_Estruturas_de_Dados&diff=41647Algoritmos e Estruturas de Dados2025-08-28T12:30:51Z<p>V1z: </p>
<hr />
<div>Ver: https://github.com/rfabbri/alg-fabbri-IPRJ-UERJ<br />
<br />
* Lista 1 sobre ponteiros: [[Arquivo:L1-alg-fabbri-2025.pdf]]</div>V1zhttp://wiki.nosdigitais.teia.org.br/index.php?title=Arquivo:L1-alg-fabbri-2025.pdf&diff=41646Arquivo:L1-alg-fabbri-2025.pdf2025-08-28T12:27:49Z<p>V1z: Lista 1 sobre ponteiros</p>
<hr />
<div>== Descrição do arquivo ==<br />
Lista 1 sobre ponteiros</div>V1zhttp://wiki.nosdigitais.teia.org.br/index.php?title=Algoritmos_e_Estruturas_de_Dados&diff=41645Algoritmos e Estruturas de Dados2025-08-28T11:45:56Z<p>V1z: link github</p>
<hr />
<div>Ver: https://github.com/rfabbri/alg-fabbri-IPRJ-UERJ</div>V1zhttp://wiki.nosdigitais.teia.org.br/index.php?title=ALG&diff=41644ALG2025-08-28T11:43:34Z<p>V1z: Redirecionando para Algoritmos e Estruturas de Dados</p>
<hr />
<div>#REDIRECT[[Algoritmos e Estruturas de Dados]]</div>V1zhttp://wiki.nosdigitais.teia.org.br/index.php?title=OpenMVG&diff=41642OpenMVG2024-11-06T02:09:12Z<p>V1z: /* Build Summary for Mac (24Oct19) */</p>
<hr />
<div>OpenMVG is a 3D reconstruction software focusing on automated techniques. This is used in AR and related technologies such as ARKit and Microsoft Hololens, and match-moving in video editing for inserting virtual content.<br />
It is also known as photogrammetry, structure from motion (SfM), 3D Computer Vision, and uses multiple view geometry heavily.<br />
In this wiki you will find community notes on OpenMVG, to complement the official docs.<br />
<br />
==Building / Compiling==<br />
* Follow `BUILD.md` closely. For the curious, see [https://github.com/openMVG/openMVG/pull/1579] where I describe some pitfalls.<br />
* We are using the develop branch for hacking. It compiles well on mac and linux (mar 2022).<br />
<br />
=== Build Summary for Linux (24Oct19) ===<br />
<br />
* Install the required dependencies (see BUILD.md). Please edit this wiki page if you had to install more things.<br />
* Checkout OpenMVG, and make it lowecase<br />
git clone --recursive https://github.com/openMVG/openMVG.git <br />
* Create a binary folder. I prefer the following setup: to have an openMVG-bin folder parallel to openmvg, outside the source<br />
mkdir openMVG-bin<br />
cd openMVG-bin<br />
* Configure and build <br />
cmake -DCMAKE_BUILD_TYPE=RELEASE ../openMVG/src/<br />
cmake --build . --target install<br />
* You can reduce the build and configure with a single line code<br />
mkdir openMVG-bin && cd openMVG-bin && cmake -DCMAKE_BUILD_TYPE=RELEASE ../openMVG/src/ && cmake --build . --target install<br />
==== Build for development with GCC and interactively ====<br />
CC=gcc-5 CXX=g++-5 ccmake../openMVG/src/<br />
==== Some help with in newer versions of openMVG cmake warnings (10Mar2023)==== <br />
<br />
* Install libqt5svg5-dev<br />
sudo apt-get install libqt5svg5-dev<br />
* Install Qt5 tools (Check if your distro has it available)<br />
sudo apt-get install qtbase5-dev qtchooser qt5-qmake qtbase5-dev-tools<br />
<br />
* Mac OS<br />
brew install qt5 # may help, havent double-checked<br />
<br />
=== Build Summary for Mac (05Nov24) ===<br />
<br />
2024: apple default clang is not compiling shared very easily. I am using gcc 14 and build_shared on Ventura without any issues.<br />
<br />
==== Mac OS + GCC ====<br />
GNU is convenient for certain optimizations, extensions and for closely dev with your Linux team mates and cluster nodes.<br />
<br />
CC=gcc CXX=g++ ccmake ../openMVG/src<br />
<br />
With macports you can select to what GCC version the 'gcc' link will point to.<br />
<br />
With homebrew, you can use something like gcc-5 to pick the GCC version:<br />
<br />
If e.g. gcc 5 is desired:<br />
brew gcc@5<br />
CC=gcc-5 CXX=g++-5 ccmake ../openMVG/src<br />
<br />
* I carried out many tests with GCC 4-8, and GCC 5 is better for the optimizations I use (--fast-math for trifocal solver).<br />
* For speed, can try '--fast-math' optimization, gcc-5 is very good at that.<br />
* I use BUILD_SHARED_LIBS on. Faster linking. Faster development cycle<br />
<br />
=== Testing ===<br />
* Enable both BUILD_TESTING _and_ OpenMVG_BUILD_TEST<br />
* ctest or make test should work<br />
=== Other Tips ===<br />
* Look into [https://github.com/openMVG/openMVG/blob/master/.travis.yml .travis.yml], specially <tt>before_script:</tt> and <tt>script:</tt> sections for the build commands that are actually working. Look into the <tt>packages:</tt> sections for packages that might have to be installed in your system.<br />
<br />
=== OpenMVG as a library ===<br />
* Careful: If you want to use OpenMVG as a library, you must define your prefix, and not only <pre>make</pre> but '''also''' <pre>make install</pre><br />
** What I do in this case is cd openMVG-bin, then 'ccmake -DCMAKE_INSTALL_PREFIX:STRING=$PWD/install ../openMVG/src"<br />
<br />
<br />
Same as Linux currently works.<br />
<br />
== See Also ==<br />
* [[COLMAP]]: shares similarities with OpenMVG's code, but improved by some of the most famous SfM researchers (Marc Pollefeys' student)<br />
* [[Ubuntu - Configuring For Programming]]<br />
<br />
[[Category:Lab Macambira]]<br />
<br />
[[Category:Video]]</div>V1zhttp://wiki.nosdigitais.teia.org.br/index.php?title=OpenMVG&diff=41641OpenMVG2024-11-06T01:05:18Z<p>V1z: /* Some help with in newer versions of openMVG cmake warnings (10Mar2023) */</p>
<hr />
<div>OpenMVG is a 3D reconstruction software focusing on automated techniques. This is used in AR and related technologies such as ARKit and Microsoft Hololens, and match-moving in video editing for inserting virtual content.<br />
It is also known as photogrammetry, structure from motion (SfM), 3D Computer Vision, and uses multiple view geometry heavily.<br />
In this wiki you will find community notes on OpenMVG, to complement the official docs.<br />
<br />
==Building / Compiling==<br />
* Follow `BUILD.md` closely. For the curious, see [https://github.com/openMVG/openMVG/pull/1579] where I describe some pitfalls.<br />
* We are using the develop branch for hacking. It compiles well on mac and linux (mar 2022).<br />
<br />
=== Build Summary for Linux (24Oct19) ===<br />
<br />
* Install the required dependencies (see BUILD.md). Please edit this wiki page if you had to install more things.<br />
* Checkout OpenMVG, and make it lowecase<br />
git clone --recursive https://github.com/openMVG/openMVG.git <br />
* Create a binary folder. I prefer the following setup: to have an openMVG-bin folder parallel to openmvg, outside the source<br />
mkdir openMVG-bin<br />
cd openMVG-bin<br />
* Configure and build <br />
cmake -DCMAKE_BUILD_TYPE=RELEASE ../openMVG/src/<br />
cmake --build . --target install<br />
* You can reduce the build and configure with a single line code<br />
mkdir openMVG-bin && cd openMVG-bin && cmake -DCMAKE_BUILD_TYPE=RELEASE ../openMVG/src/ && cmake --build . --target install<br />
==== Build for development with GCC and interactively ====<br />
CC=gcc-5 CXX=g++-5 ccmake../openMVG/src/<br />
==== Some help with in newer versions of openMVG cmake warnings (10Mar2023)==== <br />
<br />
* Install libqt5svg5-dev<br />
sudo apt-get install libqt5svg5-dev<br />
* Install Qt5 tools (Check if your distro has it available)<br />
sudo apt-get install qtbase5-dev qtchooser qt5-qmake qtbase5-dev-tools<br />
<br />
* Mac OS<br />
brew install qt5 # may help, havent double-checked<br />
<br />
=== Build Summary for Mac (24Oct19) ===<br />
<br />
==== Mac OS + GCC ====<br />
GNU is convenient for certain optimizations, extensions and for closely dev with your Linux team mates and cluster nodes.<br />
<br />
CC=gcc CXX=g++ ccmake ../openMVG/src<br />
<br />
With macports you can select to what GCC version the 'gcc' link will point to.<br />
<br />
With homebrew, you can use something like gcc-5 to pick the GCC version:<br />
<br />
If e.g. gcc 5 is desired:<br />
brew gcc@5<br />
CC=gcc-5 CXX=g++-5 ccmake ../openMVG/src<br />
<br />
* I carried out many tests with GCC 4-8, and GCC 5 is better for the optimizations I use (--fast-math for trifocal solver).<br />
* For speed, can try '--fast-math' optimization, gcc-5 is very good at that.<br />
* I use BUILD_SHARED_LIBS on. Faster linking. Faster development cycle<br />
<br />
=== Testing ===<br />
* Enable both BUILD_TESTING _and_ OpenMVG_BUILD_TEST<br />
* ctest or make test should work<br />
=== Other Tips ===<br />
* Look into [https://github.com/openMVG/openMVG/blob/master/.travis.yml .travis.yml], specially <tt>before_script:</tt> and <tt>script:</tt> sections for the build commands that are actually working. Look into the <tt>packages:</tt> sections for packages that might have to be installed in your system.<br />
<br />
=== OpenMVG as a library ===<br />
* Careful: If you want to use OpenMVG as a library, you must define your prefix, and not only <pre>make</pre> but '''also''' <pre>make install</pre><br />
** What I do in this case is cd openMVG-bin, then 'ccmake -DCMAKE_INSTALL_PREFIX:STRING=$PWD/install ../openMVG/src"<br />
<br />
<br />
Same as Linux currently works.<br />
<br />
== See Also ==<br />
* [[COLMAP]]: shares similarities with OpenMVG's code, but improved by some of the most famous SfM researchers (Marc Pollefeys' student)<br />
* [[Ubuntu - Configuring For Programming]]<br />
<br />
[[Category:Lab Macambira]]<br />
<br />
[[Category:Video]]</div>V1zhttp://wiki.nosdigitais.teia.org.br/index.php?title=Stochastic_Processes&diff=41640Stochastic Processes2024-08-08T01:51:14Z<p>V1z: moved prev periods</p>
<hr />
<div>This is the main page of an undergraduate-level course in stochastic processes targeted at engineering students (mainly computer engineering and its interface with mechanical engineering), being taught in 2024 (2024.2 period) at the Polytechnic Institute [http://pt.wikipedia.org/wiki/IPRJ IPRJ]/UERJ.<br />
<br />
<br />
[[Image:Mocap_transfer.png|right|250px|thumb|Recent application of [https://en.wikipedia.org/wiki/Gaussian_process Gaussian stochastic processes] for 3D motion capture transfer [http://openaccess.thecvf.com/content_cvpr_2017/papers/Boukhayma_Surface_Motion_Capture_CVPR_2017_paper.pdf (CVPR 2017)] ]]<br />
<br /><br />
<div><ul> <br />
<li style="display: inline-block;"> [[File:Sampling-motion-planning.png|thumb|none|x180px|Application to path planning for autonomos cars [https://natanaso.github.io/ece276b/ref/ECE276B_1_MC.pdf (see this)] ]] </li><br />
<li style="display: inline-block;"> [[File:Sampling-motion-planning2.png|thumb|none|x180px|Application to robot path planning with obstacles [https://natanaso.github.io/ece276b/ref/ECE276B_1_MC.pdf (see this)] ]] </li><br />
</ul></div><br />
<br />
== General Info ==<br />
* Instructor: prof. [http://rfabbri.github.io Ricardo Fabbri], Ph.D. Brown University<br />
* Chat: IRC #labmacambira for random chat<br />
<br />
=== Pre-requisites ===<br />
* Undergraduate-level mathematics and probability (will review as needed)<br />
* Desirable: Intermediate programming experience with any numerics scripting language such as Scilab, Python, R or Matlab. Knowing at least one of them will help you learn any new language needed in the course.<br />
<br />
=== Software ===<br />
The R programming language and data exploration environment will be used for learning, with others used occasionally. Students can also choose to do their homework in Python, Scilab, Matlab or similar languages. The R language has received growing attention, specially in the past couple of years, but it is simple enough so that the student can adapt the code to his preferred language. '''Students are expected to learn any of these languages on their own as needed, by doing tutorials and asking questions'''<br />
* [https://www.rstudio.com/products/rstudio/download/preview/ R studio]: recommended IDE for R.<br />
* [http://rich-iannone.github.io/DiagrammeR Diagrammer]: beautiful tool to draw and interact with graphs in R.<br />
<br />
== Approximate Content ==<br />
This year's course will focus on a '''modern''' approach bridging theory and practice.<br />
As engineers and scientists, you should not learn theory here without also considering broader applications. Recent applications in artificial intelligence, machine learning, robotics, autonomous driving, material science and other topics will be considered. These applications are often too hard to tackle at the level of this course, but having contact with them will help motivate the abstract theory. We will try to focus on '''key concepts''' and more realistic applications than most courses (that come from the 1900's), that will prompt us to elaborate theory.<br />
<br />
== Main Resources ==<br />
=== Textbooks ===<br />
Check out the moodle student shelf.<br />
<br />
==== Main book ==== <br />
[https://books.google.com.br/books/about/Introduction_to_Stochastic_Processes_wit.html?id=CQ2ACgAAQBAJ&redir_esc=y&hl=en ''Introduction to Stochastic Processes with R''], Robert Dobrow, 2016 (5 stars on Amazon) [[Image:Book-R.jpg|130px]]<br />
<br />
==== Additional books used in the course ====<br />
Learning stochastic processes will require aditional books, including more traditional ones:<br />
* ''Markov Chains: gibbs fields, monte carlo simulation and queues'', Pierre Bremaud<br />
* ''An Introduction to Stochastic Modeling'', Taylor & Karlin<br />
* ''Pattern Theory: The Stochastic Analysis of Real-World Signals'', David Mumford and Agnes Desolneux - the first chapters already cover many types of stochastic processes in text, signal and image AI [[Image:Mumford-book.jpg]]<br />
* My own machine learning and computational modeling book draft, co-written with prof. Francisco Duarte Moura Neto and focused on diffusion processes on graphs like PageRank. There is a probability chapter which is the basis for this course. <br />
<br />
==== Other books to look at ====<br />
Basic probability and statistics<br />
* I recommend you review from the above books. They all include a review. But you might have to see:<br />
* ''Elementary Statistics'', Mario Triola (passed down to me by a great scientist and statistician)<br />
<br />
Interesting books<br />
* ''R for data science'', O'Reilly (#1 data science bestseller on Amazon) [[Image:R-oreilly.png|350px]]<br />
<br />
Machine Learning<br />
* ''Pattern Theory: From Representation to Inference'', Ulf Grenader<br />
<br />
=== Lectures ===<br />
Lectures roughly follow the sequence of our main book, with some additional material as needed. All necessary background will be covered as needed. Advanced material will be covered partly.<br />
<br />
==== Public Youtube Playlist (Portuguese) ====<br />
Prof. Fabbri's lectures are publically available online at:<br />
https://www.youtube.com/playlist?list=PL1tkMA9lsTiVw9PzRcxpUBN4aArh948sK<br />
<br />
Partial listing: <br />
<br />
* Aula 1 parte 1 Introdução ao Curso https://youtu.be/qTZkZ5y_MJc<br />
* Aula 1 parte 2 O que são Processos Estocásticos? https://youtu.be/hDVdjPTVJtw<br />
* Aula 1 parte 3 O que significa "estocástico"? https://youtu.be/xUSvDqRXAL4<br />
* Aula 1 parte 4 Formalismo e revisão de probabilidades https://youtu.be/pawQt7TtIf0<br />
* Aula 1 parte 5 Exemplos Iniciais https://youtu.be/L5zH-uSDejc<br />
* Aula 1 parte 6 Exemplos 2, Difusões https://youtu.be/tYD0ezDfYxM<br />
* Aula 2 parte 1 Revisão de Probabilidade parte 2 <br />
* Aula 2 parte 2 Revisão de Distribuições - Revisão de Probabilidade parte 3 https://youtu.be/admtZDT2iok<br />
* Aula 3 parte 1 Pagerank https://youtu.be/45wx3yZh7SI<br />
* Aula 3 parte 2 Grafos - Revisão https://youtu.be/cE834FfnnuY<br />
* Aula 4 parte 1 Cadeias de Markov e exemplo em Metástase do Câncer https://youtu.be/N0R83bBUSf8<br />
** Paper: Spatiotemporal progression of metastatic breast cancer: a Markov chain model highlighting the role of early metastatic sites., Newton, P., Mason, J., Venkatappa, N. et al., Nature npj Breast Cancer 1, 15018 (2015). https://doi.org/10.1038/npjbcancer.2015.18<br />
** Paper: A Stochastic Markov Chain Model to Describe Lung Cancer Growth and Metastasis<br />
Newton PK, Mason J, Bethel K, Bazhenova LA, Nieva J, et al. (2012) A Stochastic Markov Chain Model to Describe Lung Cancer Growth and Metastasis. PLOS ONE 7(4): e34637. https://doi.org/10.1371/journal.pone.0034637<br />
* Remaining lectures ongoing at: https://www.youtube.com/playlist?list=PL1tkMA9lsTiVw9PzRcxpUBN4aArh948sK<br />
<br />
==== Lecture Notes ====<br />
<br />
* Fabbri's lecture notes on long term markov chains (based on Dobrow's Chapter 3) [https://drive.google.com/file/d/1FVCbiH32Up4_NHzBLhuFd6tn0GN2FmX0/view?usp=sharing pdf]<br />
<br />
==== Tentative listing ====<br />
* Intro, overview of main processes and quick review<br />
* Markov Chains<br />
* Markov Chain Monte Carlo: MCMC<br />
* Poisson Process<br />
* Queue theory<br />
* Brownian Motion<br />
* Stochastic Calculus<br />
<br />
== Homework ==<br />
* All homework can be done in any language. Most are either in the R programming language or in Scilab/Matlab and Python.<br />
* If you do the homework in two different languages, you get double the homework grade (bonus of 100%)<br />
* Late homework will be accepted but penalized at the professor's will according to how late it is<br />
* '''All electronic material must be sent to the professors' email, with the string "[iprj-pe]" as part of the subject of the email. You will receive an automatic confirmation.'''<br />
<br />
=== Assignment 0 ===<br />
* Exercise 1.1 of the main book<br />
* Suggested due date: Before thursday of the 2nd week.<br />
<br />
=== Assignment 1 ===<br />
* Exercise 1 Ch1 of the Pattern Theory book by Mumford & Desolneux,<br />
''Simulating Discrete Random Variables'' (pp 51, 52, 53)<br />
* No need to read this book for this exercise. You will review discrete random variables in the context of Markov chains for natural language processing; this is basic for most AI bots nowadays. If you're curious about the applications, you can read the book chapter just for fun.<br />
* Suggested due date: Before Thursday of the 3rd week.<br />
<br />
=== Assignment 2: Exercise list for chapter 1 ===<br />
7 Exercises: 1.3, 1.5, 1.6, 1.7, 1.9, 1.10, 1.19<br />
* Suggested due date: at least 1 week before P1 (suggested)<br />
<br />
=== Assignment 3: Exercise list for chapter 2 ===<br />
11 Exercises: 2.1, 2.4, 2.6, 2.8, 2.9, 2.10, 2.12, 2.14, 2.15, 2.18<br />
Computer: 2.26<br />
* Due date: before P1 (suggested)<br />
<br />
=== Assignment 4: Exercise list for chapter 3 ===<br />
Exercises: 3.2, 3.5a-c, 3.10a-d, 3.16i-iv, 3.25a-b, 3.37, 3.58<br />
* Due date: before P1 (suggested)<br />
<br />
=== Assignment 5: Exercise list for chapter 5 (MCMC) ===<br />
4 Exercises: 5.1, 5.2, 5.5, 5.6<br />
* Due date: before P2 (suggested)<br />
<br />
=== Assignment 6: Exercise list for chapter 6 ===<br />
4 Exercises: 6.3, 6.4, 6.7, 6.8<br />
* Due date: before P2 (suggested)<br />
<br />
== Exams ==<br />
* '''P1:''' ter19set23<br />
* '''P2:''' ter17out23<br />
* '''Final-Sub:''' ter19dez2<br />
<br />
== Evaluation criteria ==<br />
<pre><br />
P = (P1 + P2)/2<br />
<br />
if P >= 5 --> passa direto<br />
<br />
Trabalhos serão dados após a P1 de acordo com a demanda da turma, sendo a pontuação inclusa na P2.<br />
<br />
Final F opcional<br />
<br />
M = (F + P)/2 para os que fizerem final<br />
<br />
if M >= 5 --> passa<br />
else reprova<br />
</pre><br />
<br />
== Awesome Links == <br />
* Course on robotic path planning with applications of stochastic processes: https://natanaso.github.io/ece276b/schedule.html<br />
* Paper: Markovian robots: minimal navigation strategies for active particles, Arxiv 2017<br />
* Paper: Stochastic processes in vision: from Langevin to Beltrami https://ieeexplore.ieee.org/document/937531/<br />
* Cool applications: https://math.stackexchange.com/questions/1543211/which-research-groups-use-stochastic-processes-and-or-stochastic-differential-eq<br />
* Paper: Building Blocks for Computer Vision with Stochastic Partial Differential Equations https://link.springer.com/article/10.1007/s11263-008-0145-5<br />
* Paper: Variational Bayesian Multiple Instance Learning with Gaussian Processes, CVPR 2017<br />
* Paper: Correlational Gaussian Processes for Cross-domain Visual Recognition, CVPR 2017<br />
* COPPE Sistemas curso CPS767 - 2021/1 - Algoritmos de Monte Carlo e Cadeias de Markov https://www.cos.ufrj.br/~daniel/mcmc/ playlist: https://www.youtube.com/watch?v=sDUaMoMkmGc&list=PLP0bYj2MTFcs8yyA-Y4GYNahJWiZk2iOu<br />
* Course pages for previous years: '''[[PE2020 (canceled)|2020/1a (Canceled due to COVID-19)]], [[PE2019|2019]], [[PE2018|2018]], [[PE2012|2012]]'''<br />
<br />
=== Neural Nets and Stochastic Processes ===<br />
<br />
* Generative Models for Stochastic Processes Using Convolutional Neural Networks, arxiv, pesquisadores brasileiros (USP)<br />
* Bayesian SegNet: Model Uncertainty in Deep Convolutional Encoder-Decoder Architectures for Scene Understanding, Cipolla et. al arxiv 2016<br />
<br />
== Keywords ==<br />
random fields, stochastic modeling, data science, queue theory, machine learning, poisson process, markov chains, Gaussian processes, Bernoulli processes, soft computing, random process, Brownian motion, robot path planning, artificial intelligence, simulation, sampling, pattern formation, signal processing, text processing, image processing, dimentionality reduction, diffusion, Markov Chain Monte Carlo MCMC, tracking, branching process, stochastic calculus, SDEs<br />
<br />
== See Also ==<br />
Previous periods: 2023 (see wiki history) [[Stochastic_Processes_2022.2|2022.2]], [[Stochastic_Processes_2021_condensed|2021 condensed]], [[Stochastic_Processes_2021.2_2022|2021.2 (2022)]].<br />
<br />
<br />
[[Category:Lab Macambira]] [[Category:IPRJ]]</div>V1zhttp://wiki.nosdigitais.teia.org.br/index.php?title=Stochastic_Processes&diff=41639Stochastic Processes2024-08-08T01:50:21Z<p>V1z: 2024.2, criterio de avaliacao simplificado</p>
<hr />
<div>This is the main page of an undergraduate-level course in stochastic processes targeted at engineering students (mainly computer engineering and its interface with mechanical engineering), being taught in 2024 (2024.2 period) at the Polytechnic Institute [http://pt.wikipedia.org/wiki/IPRJ IPRJ]/UERJ.<br />
<br />
Previous periods: 2023 (see wiki history) [[Stochastic_Processes_2022.2|2022.2]], [[Stochastic_Processes_2021_condensed|2021 condensed]], [[Stochastic_Processes_2021.2_2022|2021.2 (2022)]].<br />
<br />
[[Image:Mocap_transfer.png|right|250px|thumb|Recent application of [https://en.wikipedia.org/wiki/Gaussian_process Gaussian stochastic processes] for 3D motion capture transfer [http://openaccess.thecvf.com/content_cvpr_2017/papers/Boukhayma_Surface_Motion_Capture_CVPR_2017_paper.pdf (CVPR 2017)] ]]<br />
<br /><br />
<div><ul> <br />
<li style="display: inline-block;"> [[File:Sampling-motion-planning.png|thumb|none|x180px|Application to path planning for autonomos cars [https://natanaso.github.io/ece276b/ref/ECE276B_1_MC.pdf (see this)] ]] </li><br />
<li style="display: inline-block;"> [[File:Sampling-motion-planning2.png|thumb|none|x180px|Application to robot path planning with obstacles [https://natanaso.github.io/ece276b/ref/ECE276B_1_MC.pdf (see this)] ]] </li><br />
</ul></div><br />
<br />
== General Info ==<br />
* Instructor: prof. [http://rfabbri.github.io Ricardo Fabbri], Ph.D. Brown University<br />
* Chat: IRC #labmacambira for random chat<br />
<br />
=== Pre-requisites ===<br />
* Undergraduate-level mathematics and probability (will review as needed)<br />
* Desirable: Intermediate programming experience with any numerics scripting language such as Scilab, Python, R or Matlab. Knowing at least one of them will help you learn any new language needed in the course.<br />
<br />
=== Software ===<br />
The R programming language and data exploration environment will be used for learning, with others used occasionally. Students can also choose to do their homework in Python, Scilab, Matlab or similar languages. The R language has received growing attention, specially in the past couple of years, but it is simple enough so that the student can adapt the code to his preferred language. '''Students are expected to learn any of these languages on their own as needed, by doing tutorials and asking questions'''<br />
* [https://www.rstudio.com/products/rstudio/download/preview/ R studio]: recommended IDE for R.<br />
* [http://rich-iannone.github.io/DiagrammeR Diagrammer]: beautiful tool to draw and interact with graphs in R.<br />
<br />
== Approximate Content ==<br />
This year's course will focus on a '''modern''' approach bridging theory and practice.<br />
As engineers and scientists, you should not learn theory here without also considering broader applications. Recent applications in artificial intelligence, machine learning, robotics, autonomous driving, material science and other topics will be considered. These applications are often too hard to tackle at the level of this course, but having contact with them will help motivate the abstract theory. We will try to focus on '''key concepts''' and more realistic applications than most courses (that come from the 1900's), that will prompt us to elaborate theory.<br />
<br />
== Main Resources ==<br />
=== Textbooks ===<br />
Check out the moodle student shelf.<br />
<br />
==== Main book ==== <br />
[https://books.google.com.br/books/about/Introduction_to_Stochastic_Processes_wit.html?id=CQ2ACgAAQBAJ&redir_esc=y&hl=en ''Introduction to Stochastic Processes with R''], Robert Dobrow, 2016 (5 stars on Amazon) [[Image:Book-R.jpg|130px]]<br />
<br />
==== Additional books used in the course ====<br />
Learning stochastic processes will require aditional books, including more traditional ones:<br />
* ''Markov Chains: gibbs fields, monte carlo simulation and queues'', Pierre Bremaud<br />
* ''An Introduction to Stochastic Modeling'', Taylor & Karlin<br />
* ''Pattern Theory: The Stochastic Analysis of Real-World Signals'', David Mumford and Agnes Desolneux - the first chapters already cover many types of stochastic processes in text, signal and image AI [[Image:Mumford-book.jpg]]<br />
* My own machine learning and computational modeling book draft, co-written with prof. Francisco Duarte Moura Neto and focused on diffusion processes on graphs like PageRank. There is a probability chapter which is the basis for this course. <br />
<br />
==== Other books to look at ====<br />
Basic probability and statistics<br />
* I recommend you review from the above books. They all include a review. But you might have to see:<br />
* ''Elementary Statistics'', Mario Triola (passed down to me by a great scientist and statistician)<br />
<br />
Interesting books<br />
* ''R for data science'', O'Reilly (#1 data science bestseller on Amazon) [[Image:R-oreilly.png|350px]]<br />
<br />
Machine Learning<br />
* ''Pattern Theory: From Representation to Inference'', Ulf Grenader<br />
<br />
=== Lectures ===<br />
Lectures roughly follow the sequence of our main book, with some additional material as needed. All necessary background will be covered as needed. Advanced material will be covered partly.<br />
<br />
==== Public Youtube Playlist (Portuguese) ====<br />
Prof. Fabbri's lectures are publically available online at:<br />
https://www.youtube.com/playlist?list=PL1tkMA9lsTiVw9PzRcxpUBN4aArh948sK<br />
<br />
Partial listing: <br />
<br />
* Aula 1 parte 1 Introdução ao Curso https://youtu.be/qTZkZ5y_MJc<br />
* Aula 1 parte 2 O que são Processos Estocásticos? https://youtu.be/hDVdjPTVJtw<br />
* Aula 1 parte 3 O que significa "estocástico"? https://youtu.be/xUSvDqRXAL4<br />
* Aula 1 parte 4 Formalismo e revisão de probabilidades https://youtu.be/pawQt7TtIf0<br />
* Aula 1 parte 5 Exemplos Iniciais https://youtu.be/L5zH-uSDejc<br />
* Aula 1 parte 6 Exemplos 2, Difusões https://youtu.be/tYD0ezDfYxM<br />
* Aula 2 parte 1 Revisão de Probabilidade parte 2 <br />
* Aula 2 parte 2 Revisão de Distribuições - Revisão de Probabilidade parte 3 https://youtu.be/admtZDT2iok<br />
* Aula 3 parte 1 Pagerank https://youtu.be/45wx3yZh7SI<br />
* Aula 3 parte 2 Grafos - Revisão https://youtu.be/cE834FfnnuY<br />
* Aula 4 parte 1 Cadeias de Markov e exemplo em Metástase do Câncer https://youtu.be/N0R83bBUSf8<br />
** Paper: Spatiotemporal progression of metastatic breast cancer: a Markov chain model highlighting the role of early metastatic sites., Newton, P., Mason, J., Venkatappa, N. et al., Nature npj Breast Cancer 1, 15018 (2015). https://doi.org/10.1038/npjbcancer.2015.18<br />
** Paper: A Stochastic Markov Chain Model to Describe Lung Cancer Growth and Metastasis<br />
Newton PK, Mason J, Bethel K, Bazhenova LA, Nieva J, et al. (2012) A Stochastic Markov Chain Model to Describe Lung Cancer Growth and Metastasis. PLOS ONE 7(4): e34637. https://doi.org/10.1371/journal.pone.0034637<br />
* Remaining lectures ongoing at: https://www.youtube.com/playlist?list=PL1tkMA9lsTiVw9PzRcxpUBN4aArh948sK<br />
<br />
==== Lecture Notes ====<br />
<br />
* Fabbri's lecture notes on long term markov chains (based on Dobrow's Chapter 3) [https://drive.google.com/file/d/1FVCbiH32Up4_NHzBLhuFd6tn0GN2FmX0/view?usp=sharing pdf]<br />
<br />
==== Tentative listing ====<br />
* Intro, overview of main processes and quick review<br />
* Markov Chains<br />
* Markov Chain Monte Carlo: MCMC<br />
* Poisson Process<br />
* Queue theory<br />
* Brownian Motion<br />
* Stochastic Calculus<br />
<br />
== Homework ==<br />
* All homework can be done in any language. Most are either in the R programming language or in Scilab/Matlab and Python.<br />
* If you do the homework in two different languages, you get double the homework grade (bonus of 100%)<br />
* Late homework will be accepted but penalized at the professor's will according to how late it is<br />
* '''All electronic material must be sent to the professors' email, with the string "[iprj-pe]" as part of the subject of the email. You will receive an automatic confirmation.'''<br />
<br />
=== Assignment 0 ===<br />
* Exercise 1.1 of the main book<br />
* Suggested due date: Before thursday of the 2nd week.<br />
<br />
=== Assignment 1 ===<br />
* Exercise 1 Ch1 of the Pattern Theory book by Mumford & Desolneux,<br />
''Simulating Discrete Random Variables'' (pp 51, 52, 53)<br />
* No need to read this book for this exercise. You will review discrete random variables in the context of Markov chains for natural language processing; this is basic for most AI bots nowadays. If you're curious about the applications, you can read the book chapter just for fun.<br />
* Suggested due date: Before Thursday of the 3rd week.<br />
<br />
=== Assignment 2: Exercise list for chapter 1 ===<br />
7 Exercises: 1.3, 1.5, 1.6, 1.7, 1.9, 1.10, 1.19<br />
* Suggested due date: at least 1 week before P1 (suggested)<br />
<br />
=== Assignment 3: Exercise list for chapter 2 ===<br />
11 Exercises: 2.1, 2.4, 2.6, 2.8, 2.9, 2.10, 2.12, 2.14, 2.15, 2.18<br />
Computer: 2.26<br />
* Due date: before P1 (suggested)<br />
<br />
=== Assignment 4: Exercise list for chapter 3 ===<br />
Exercises: 3.2, 3.5a-c, 3.10a-d, 3.16i-iv, 3.25a-b, 3.37, 3.58<br />
* Due date: before P1 (suggested)<br />
<br />
=== Assignment 5: Exercise list for chapter 5 (MCMC) ===<br />
4 Exercises: 5.1, 5.2, 5.5, 5.6<br />
* Due date: before P2 (suggested)<br />
<br />
=== Assignment 6: Exercise list for chapter 6 ===<br />
4 Exercises: 6.3, 6.4, 6.7, 6.8<br />
* Due date: before P2 (suggested)<br />
<br />
== Exams ==<br />
* '''P1:''' ter19set23<br />
* '''P2:''' ter17out23<br />
* '''Final-Sub:''' ter19dez2<br />
<br />
== Evaluation criteria ==<br />
<pre><br />
P = (P1 + P2)/2<br />
<br />
if P >= 5 --> passa direto<br />
<br />
Trabalhos serão dados após a P1 de acordo com a demanda da turma, sendo a pontuação inclusa na P2.<br />
<br />
Final F opcional<br />
<br />
M = (F + P)/2 para os que fizerem final<br />
<br />
if M >= 5 --> passa<br />
else reprova<br />
</pre><br />
<br />
== Awesome Links == <br />
* Course on robotic path planning with applications of stochastic processes: https://natanaso.github.io/ece276b/schedule.html<br />
* Paper: Markovian robots: minimal navigation strategies for active particles, Arxiv 2017<br />
* Paper: Stochastic processes in vision: from Langevin to Beltrami https://ieeexplore.ieee.org/document/937531/<br />
* Cool applications: https://math.stackexchange.com/questions/1543211/which-research-groups-use-stochastic-processes-and-or-stochastic-differential-eq<br />
* Paper: Building Blocks for Computer Vision with Stochastic Partial Differential Equations https://link.springer.com/article/10.1007/s11263-008-0145-5<br />
* Paper: Variational Bayesian Multiple Instance Learning with Gaussian Processes, CVPR 2017<br />
* Paper: Correlational Gaussian Processes for Cross-domain Visual Recognition, CVPR 2017<br />
* COPPE Sistemas curso CPS767 - 2021/1 - Algoritmos de Monte Carlo e Cadeias de Markov https://www.cos.ufrj.br/~daniel/mcmc/ playlist: https://www.youtube.com/watch?v=sDUaMoMkmGc&list=PLP0bYj2MTFcs8yyA-Y4GYNahJWiZk2iOu<br />
* Course pages for previous years: '''[[PE2020 (canceled)|2020/1a (Canceled due to COVID-19)]], [[PE2019|2019]], [[PE2018|2018]], [[PE2012|2012]]'''<br />
<br />
=== Neural Nets and Stochastic Processes ===<br />
<br />
* Generative Models for Stochastic Processes Using Convolutional Neural Networks, arxiv, pesquisadores brasileiros (USP)<br />
* Bayesian SegNet: Model Uncertainty in Deep Convolutional Encoder-Decoder Architectures for Scene Understanding, Cipolla et. al arxiv 2016<br />
<br />
== Keywords ==<br />
random fields, stochastic modeling, data science, queue theory, machine learning, poisson process, markov chains, Gaussian processes, Bernoulli processes, soft computing, random process, Brownian motion, robot path planning, artificial intelligence, simulation, sampling, pattern formation, signal processing, text processing, image processing, dimentionality reduction, diffusion, Markov Chain Monte Carlo MCMC, tracking, branching process, stochastic calculus, SDEs<br />
<br />
[[Category:Lab Macambira]] [[Category:IPRJ]]</div>V1zhttp://wiki.nosdigitais.teia.org.br/index.php?title=AA&diff=41637AA2024-04-02T03:52:52Z<p>V1z: /* Website */ remove span</p>
<hr />
<div>[[AA_(English)|[English version - click here]]]<br />
<br />
[[AA]] is [http://wiki.nosdigitais.teia.org.br/index.php?title=AA Algorithmic Autoregulation]. [[AA]] is Agglomerative Animation. [[AA]] is Audivisual Activism. [[AA]] is Audiovisual Algorithms. [[AA]] is Art in Action. [[AA]] is *the* [http://wiki.nosdigitais.teia.org.br/index.php?title=AA Ambiguous Acronym]. [[AA]] é o [http://vimeo.com/39135943 Algorítmo do Ágora]<br />
<br />
[[Imagem:Logo-icon.png|right]][[Imagem:Aa-server-screenshot-v0.1-200x.png|right]]<br />
<br />
o0o0o0 [http://tux.gseis.ucla.edu/WSL2013_papers/distributed_software_methodology_fabbri_et_al.pdf Artigo sobre o AA] 0o0o0oo<br />
<br />
[http://www.google-melange.com/gsoc/proposal/review/google/gsoc2012/fabbri/1 [Google Summer of Code 2012 Plans - click here]]<br />
<br />
<br />
= O quê? = <br />
<br />
O AA é um sistema de cooperação em que cada participante<br />
envia mensagens periódicas enquanto executa suas tarefas. Estas mensagens são<br />
públicas e são validadas pelos próprios parceiros de forma randômica se conveniente.<br />
O AA está em uso, já viabilizou pagamentos e facilita o aprofundamento de ações e expansões.<br />
A metodologia AA é útil para coordenar times distribuídos e descentralizados, como experimentados<br />
no [[GSoC]] de 2012 e nos 6 meses de criação do labMacambira.sf.net.<br />
<br />
Leia uma descrição na forma de um [http://labmacambira.git.sourceforge.net/git/gitweb.cgi?p=labmacambira/aa;a=blob;f=aa-what-is-aa;h=963ef7d0af79ee8f1431d247801520310ad06ade;hb=HEAD log do IRC sobre o que é o AA].<br />
<br />
'''AA é Autogestão Algorítmica'''<br />
<br />
[[Imagem:A-geral.gif]]<br />
<br />
<br />
== O AA documenta processos criativos ==<br />
<blockquote><br />
<p><br />
"Nothing is more important than to see the sources of invention which are, in my<br />
opinion, more interesting than the inventions themselves"<br />
</p><br />
<p><br />
— Gottfried Wilhelm Leibnitz<br />
</p><br />
</blockquote><br />
<br />
== O AA aumenta a produtividade ==<br />
<blockquote><br />
<p><br />
"Central to our feelings of awareness is the sensation of the progression of<br />
time... (aa logging increases this sensation and thus awarenes, an awareness<br />
which equals more productivity, of the creative type, at least) As we<br />
consciously perceive time to pass (through AA sessions),<br />
the most immediate part of that vast and seemingly undetermined future<br />
continuously becomes realized as actuality (AA logs), and thus makes its entry into the<br />
fixed (highly indexable and searchable) past." <br />
</p><br />
<p><br />
— Roger Penrose, The Emperor's New Mind (adaptation)<br />
</p><br />
</blockquote><br />
<br />
= Onde? =<br />
<br />
== Cliente ==<br />
<br />
Repositorio Principal: <br />
git clone ssh://USERNAME@labmacambira.git.sourceforge.net/gitroot/labmacambira/aa<br />
<br />
ou read-only:<br />
<br />
git clone git://labmacambira.git.sourceforge.net/gitroot/labmacambira/aa<br />
<br />
* Ver [[Manual_do_Novato#Start_Hacking]]<br />
<br />
Rabisco inicial: http://github.com/automata/aa<br />
<br />
Outro repositório master: http://github.com/mquasar/aa<br />
<br />
<br />
== Versão WEB ==<br />
<br />
* Repo atual: https://git.gitorious.org/macambira_aa/<br />
* Paainel: versao web turbinada http://labmacambira.git.sourceforge.net/git/gitweb.cgi?p=labmacambira/paainel;a=summary<br />
* Feeds em tempo real da equipe do lab Macambira:<br />
** Veja ou pAAineal: http://hera.ethymos.com.br:1080/paainel/casca/<br />
** ou a versao PHP http://www.pulapirata.com/skills/aa<br />
<br />
Passos para poder fazer push também:<br />
<br />
Executar o comando: ssh-keygen -t dsa<br />
Ps.: Não consegui fazer funcionar sem senha, então basta usar AA123<br />
<br />
Depois abra o arquivo id_dsa.pub dentro da pasta ~/.ssh/<br />
<br />
Ai é só copiar esse texto (chamado chave ssh) que tem lá dentro e me enviar(Lucas) pra liberar acesso ao projeto no Gitorious<br />
(ps.: caso você use o root + seu usuário normal alternadamente para o git, faça o processo com os dois usuários e envie as 2 chaves)<br />
<br />
Depois só dar o git clone, git push, git pull, ... No endereço GIT.<br />
git@gitorious.org:macambira_aa/macambira_aa.git<br />
<br />
== Rotina de Uso ==<br />
Videos gerados em sessoes de hackeamento pelo uso do AA: http://vimeo.com/channels/labmacambira<br />
<br />
Ver [[Manual do Novato]]<br />
<br />
= Desenvolvimento =<br />
<br />
As descricoes das versoes podem ser encontradas na pagina do freshmeat: http://freshmeat.net/projects/algorithmic-autoregulation<br />
<br />
Planos feitos durante o desenvolvimento de cada versao antiga:<br />
[[AA 0.0.1]], [[AA 0.0.2]], [[AA 0.0.3]]<br />
<br />
= Interfaces =<br />
<br />
== PyGTK / [[Application_Indicators]] ==<br />
<br />
Versão básica implementada. Está no mesmo repositório do AA.<br />
<br />
[http://labmacambira.git.sourceforge.net/git/gitweb.cgi?p=labmacambira/aa;a=blob_plain;f=README_AAPP;hb=HEAD README_AAPP]<br />
<br />
== IRC ==<br />
<br />
Modificar um IRC BOT (https://github.com/sbp/phenny) para exibir últimas atualizações e gerir outras atividades do lab.<br />
<br />
Começando aqui... http://github.com/automata/phenny<br />
<br />
Um guia rápido para como criar módulos para o phenny: https://github.com/myano/jenni/wiki/How-to-create-a-phenny-module<br />
<br />
Em modules/logger.py tem um módulo para logar o #labmacambira que pode servir de exemplo...<br />
<br />
== Twitter ==<br />
<br />
Estamos pensando em fazer uma interface twitter para o cliente. Talvez o identi.ca seja mais programavel.<br />
<br />
<br />
= Tags Propostas =<br />
Esta lista é adotada como padrão:<br />
<br />
+s substitui a mensagem anterior.<br />
+p parando a dedicação ou mudando drasticamente de foco.<br />
+w feitas coisas em wikis.<br />
+e coisas em epads envolvidas<br />
+f coisas no face envolvidas<br />
+m emails<br />
+v video/screencast<br />
<br />
~StringQualquer tag pessoal para o assunto ou aspecto escolhido por si próprio. [p.ex. ~z sono, ~p pesquisa, ~c codando forte, etc.)<br />
<br />
== Situação Atual ==<br />
<br />
* Tags estão sendo propostas e em uso contínuo por vários usuários via IRC.<br />
<br />
=== Problemas principais ===<br />
<br />
* Necessidade de implantação de sistema de controle automático de erros e faltas<br />
<br />
** Correção do montador de sessões para não tratar a unix timestamp como padrão (timeslots perdidos em 1969)<br />
<br />
* Melhora interface (interface nova usando ExtJS4 em http://www.nightsc.com.br/aa2)<br />
<br />
* Criar sistema de RSS ou XML para facilitar o uso em aplicações externas<br />
<br />
* Criar módulo de controle de logins (tanto no cliente Python como na versão WEB)<br />
<br />
* Tratar erros<br />
<br />
* Melhorar sistema de validações por e-mail<br />
<br />
== Ver Também ==<br />
Grupo de trabalho: [[GT-AA]]<br />
<br />
[[Imagem:Logo-icon.png|right]]<br />
[[Category:Lab Macambira]]</div>V1zhttp://wiki.nosdigitais.teia.org.br/index.php?title=Algebra_Linear&diff=41636Algebra Linear2023-08-22T20:19:24Z<p>V1z: /* Tarefas complementares */ revisao de teoria dos conjuntos</p>
<hr />
<div>Esta é a pagina principal de um curso de Álgebra Linear sendo ministrado em 2023/2 no [http://pt.wikipedia.org/wiki/IPRJ IPRJ]/[http://pt.wikipedia.org/wiki/IPRJ UERJ]. Trata-se de uma disciplina a nível de pós-graduação, útil como embasamento matemático para modelagem computacional, machine learning, métodos numéricos, e áreas afins.<br />
<br />
== Informacoes Gerais ==<br />
* Instrutor: prof. [http://rfabbri.github.io Ricardo Fabbri], Ph.D.<br />
* Periodo: 2023, segundo semestre, voltado ao Mestrado e Doutorado em Modelagem Computacional - Capes 6<br />
* Horario: Tercas e Quartas, 9:40-11:30am, sala 212<br />
<br />
=== Pre-requisitos ===<br />
* Teorico: Nenhum. Familiaridade com álgebra linear básica, geometria analítica e lógica matemática formal pode ser útil.<br />
<br />
== Avisos ==<br />
* Por email<br />
<br />
== Tarefas complementares ==<br />
=== Tarefa extra 0 (para a primeira aula da segunda semana) ===<br />
Estas tarefas têm como objetivo complementar o curso com motivações práticas<br />
* Ler Aula 1 Apostila da disciplina (apostila prof. Fabbri listada nas referencias)<br />
* Assistir videos introdutorios do curso relacionado ALN+ARN 2022 da graduação: <br />
# Motivacao dos cursos de Algebra Linear Numerica e Analise no Rn para computacao Prof Fabbri https://youtu.be/Tm5F2t3NriI<br />
# Continuacao do prof Francisco https://youtu.be/1o-pUSbkQK (video privado - adicione a letra g ao final da URL)<br />
=== Tarefa extra 0.1 (para a segunda aula da terceira semana) ===<br />
Revisao de teoria dos conjuntos: https://youtu.be/pawQt7TtIf0?t=777 (assistir 12:57min ate 17min).<br />
Compreender que o vazio esta contido em qualquer conjunto A, mas nao necessariamente pertence a A.<br />
<br />
=== Tarefa extra 2 (para a primeira aula da terceira semana) ===<br />
* Assistir ao vídeo da Notação Mestra de Variedades Diferenciáveis https://youtu.be/h22063QMIDo o qual permitirá compreensão do contexto não-linear onde a álgebra linear é aplicada.<br />
<br />
== Recursos Principais ==<br />
[[Arquivo:Ala2-olver-signature.png|200px|thumb|PDF do livro complementar, Applied Lienear Algebra, assinado pelos autores para prof. Fabbri|link=http://www-users.math.umn.edu/~olver/ala.html]]<br />
<br />
=== Bibliografia ===<br />
==== Livros Principais ====<br />
* [https://www.amazon.com/Linear-Algebra-2nd-Kenneth-Hoffman/dp/0135367972 Linear Algebra, Hoffman & Kunze, 2a. ed.]<br />
* [https://www.amazon.com/Linear-Algebra-Graduate-Texts-Mathematics-dp-1468494481/dp/1468494481 Linear Algebra, Greub, 4a ed.]<br />
<br />
==== Livros e apostilas complementares ====<br />
* [https://github.com/rfabbri/aln-book/raw/master/fabbri-lecture-notes-aln.pdf Apostila de Álgebra Linear Numérica de prof. Fabbri]<br />
* Excelente livro recente cobrindo partes deste curso, bem como para aplicacoes: Applied Linear Algebra, Peter J. Olver and Chehrzad Shakiban<br />
* Linear Algebra through Exterior Products - codigo fonte Tex disponivel https://github.com/winitzki/linear-algebra-book (ver pasta version-1.3-print para os pdfs): Trata-se de um livro que resume bem a proposta deste curso.<br />
<br />
=== Provas ===<br />
*P1: 27set23 <br />
*P2: 22nov23<br />
<br />
== Criterio de Avaliacao ==<br />
M = (P1 + P2)/2 <br />
<br />
== See also ==<br />
[[ALN|Curso de Algebra Linear Numerica de graduacao do IPRJ ]]<br />
<br />
[[Category:IPRJ]]<br />
[[Category:Lab Macambira]]</div>V1zhttp://wiki.nosdigitais.teia.org.br/index.php?title=Algebra_Linear&diff=41635Algebra Linear2023-08-17T15:24:16Z<p>V1z: /* Livros e apostilas complementares */</p>
<hr />
<div>Esta é a pagina principal de um curso de Álgebra Linear sendo ministrado em 2023/2 no [http://pt.wikipedia.org/wiki/IPRJ IPRJ]/[http://pt.wikipedia.org/wiki/IPRJ UERJ]. Trata-se de uma disciplina a nível de pós-graduação, útil como embasamento matemático para modelagem computacional, machine learning, métodos numéricos, e áreas afins.<br />
<br />
== Informacoes Gerais ==<br />
* Instrutor: prof. [http://rfabbri.github.io Ricardo Fabbri], Ph.D.<br />
* Periodo: 2023, segundo semestre, voltado ao Mestrado e Doutorado em Modelagem Computacional - Capes 6<br />
* Horario: Tercas e Quartas, 9:40-11:30am, sala 212<br />
<br />
=== Pre-requisitos ===<br />
* Teorico: Nenhum. Familiaridade com álgebra linear básica, geometria analítica e lógica matemática formal pode ser útil.<br />
<br />
== Avisos ==<br />
* Por email<br />
<br />
== Tarefas complementares ==<br />
=== Tarefa extra 0 (para a primeira aula da segunda semana) ===<br />
Estas tarefas têm como objetivo complementar o curso com motivações práticas<br />
* Ler Aula 1 Apostila da disciplina (apostila prof. Fabbri listada nas referencias)<br />
* Assistir videos introdutorios do curso relacionado ALN+ARN 2022 da graduação: <br />
# Motivacao dos cursos de Algebra Linear Numerica e Analise no Rn para computacao Prof Fabbri https://youtu.be/Tm5F2t3NriI<br />
# Continuacao do prof Francisco https://youtu.be/1o-pUSbkQK (video privado - adicione a letra g ao final da URL)<br />
=== Tarefa extra 1 (para a primeira aula da terceira semana) ===<br />
* Assistir ao vídeo da Notação Mestra de Variedades Diferenciáveis https://youtu.be/h22063QMIDo o qual permitirá compreensão do contexto não-linear onde a álgebra linear é aplicada.<br />
<br />
== Recursos Principais ==<br />
[[Arquivo:Ala2-olver-signature.png|200px|thumb|PDF do livro complementar, Applied Lienear Algebra, assinado pelos autores para prof. Fabbri|link=http://www-users.math.umn.edu/~olver/ala.html]]<br />
<br />
=== Bibliografia ===<br />
==== Livros Principais ====<br />
* [https://www.amazon.com/Linear-Algebra-2nd-Kenneth-Hoffman/dp/0135367972 Linear Algebra, Hoffman & Kunze, 2a. ed.]<br />
* [https://www.amazon.com/Linear-Algebra-Graduate-Texts-Mathematics-dp-1468494481/dp/1468494481 Linear Algebra, Greub, 4a ed.]<br />
<br />
==== Livros e apostilas complementares ====<br />
* [https://github.com/rfabbri/aln-book/raw/master/fabbri-lecture-notes-aln.pdf Apostila de Álgebra Linear Numérica de prof. Fabbri]<br />
* Excelente livro recente cobrindo partes deste curso, bem como para aplicacoes: Applied Linear Algebra, Peter J. Olver and Chehrzad Shakiban<br />
* Linear Algebra through Exterior Products - codigo fonte Tex disponivel https://github.com/winitzki/linear-algebra-book (ver pasta version-1.3-print para os pdfs): Trata-se de um livro que resume bem a proposta deste curso.<br />
<br />
=== Provas ===<br />
*P1: 27set23 <br />
*P2: 22nov23<br />
<br />
== Criterio de Avaliacao ==<br />
M = (P1 + P2)/2 <br />
<br />
== See also ==<br />
[[ALN|Curso de Algebra Linear Numerica de graduacao do IPRJ ]]<br />
<br />
[[Category:IPRJ]]<br />
[[Category:Lab Macambira]]</div>V1zhttp://wiki.nosdigitais.teia.org.br/index.php?title=Algebra_Linear&diff=41634Algebra Linear2023-08-17T15:18:22Z<p>V1z: /* Livros e apostilas complementares */</p>
<hr />
<div>Esta é a pagina principal de um curso de Álgebra Linear sendo ministrado em 2023/2 no [http://pt.wikipedia.org/wiki/IPRJ IPRJ]/[http://pt.wikipedia.org/wiki/IPRJ UERJ]. Trata-se de uma disciplina a nível de pós-graduação, útil como embasamento matemático para modelagem computacional, machine learning, métodos numéricos, e áreas afins.<br />
<br />
== Informacoes Gerais ==<br />
* Instrutor: prof. [http://rfabbri.github.io Ricardo Fabbri], Ph.D.<br />
* Periodo: 2023, segundo semestre, voltado ao Mestrado e Doutorado em Modelagem Computacional - Capes 6<br />
* Horario: Tercas e Quartas, 9:40-11:30am, sala 212<br />
<br />
=== Pre-requisitos ===<br />
* Teorico: Nenhum. Familiaridade com álgebra linear básica, geometria analítica e lógica matemática formal pode ser útil.<br />
<br />
== Avisos ==<br />
* Por email<br />
<br />
== Tarefas complementares ==<br />
=== Tarefa extra 0 (para a primeira aula da segunda semana) ===<br />
Estas tarefas têm como objetivo complementar o curso com motivações práticas<br />
* Ler Aula 1 Apostila da disciplina (apostila prof. Fabbri listada nas referencias)<br />
* Assistir videos introdutorios do curso relacionado ALN+ARN 2022 da graduação: <br />
# Motivacao dos cursos de Algebra Linear Numerica e Analise no Rn para computacao Prof Fabbri https://youtu.be/Tm5F2t3NriI<br />
# Continuacao do prof Francisco https://youtu.be/1o-pUSbkQK (video privado - adicione a letra g ao final da URL)<br />
=== Tarefa extra 1 (para a primeira aula da terceira semana) ===<br />
* Assistir ao vídeo da Notação Mestra de Variedades Diferenciáveis https://youtu.be/h22063QMIDo o qual permitirá compreensão do contexto não-linear onde a álgebra linear é aplicada.<br />
<br />
== Recursos Principais ==<br />
[[Arquivo:Ala2-olver-signature.png|200px|thumb|PDF do livro complementar, Applied Lienear Algebra, assinado pelos autores para prof. Fabbri|link=http://www-users.math.umn.edu/~olver/ala.html]]<br />
<br />
=== Bibliografia ===<br />
==== Livros Principais ====<br />
* [https://www.amazon.com/Linear-Algebra-2nd-Kenneth-Hoffman/dp/0135367972 Linear Algebra, Hoffman & Kunze, 2a. ed.]<br />
* [https://www.amazon.com/Linear-Algebra-Graduate-Texts-Mathematics-dp-1468494481/dp/1468494481 Linear Algebra, Greub, 4a ed.]<br />
<br />
==== Livros e apostilas complementares ====<br />
* [https://github.com/rfabbri/aln-book/raw/master/fabbri-lecture-notes-aln.pdf Apostila de Álgebra Linear Numérica de prof. Fabbri]<br />
* Excelente livro recente cobrindo partes deste curso, bem como para aplicacoes: Applied Linear Algebra, Peter J. Olver and Chehrzad Shakiban<br />
* Linear Algebra through Exterior Products - codigo fonte Tex disponivel https://github.com/winitzki/linear-algebra-book : Trata-se de um livro que resume bem a proposta deste curso.<br />
<br />
=== Provas ===<br />
*P1: 27set23 <br />
*P2: 22nov23<br />
<br />
== Criterio de Avaliacao ==<br />
M = (P1 + P2)/2 <br />
<br />
== See also ==<br />
[[ALN|Curso de Algebra Linear Numerica de graduacao do IPRJ ]]<br />
<br />
[[Category:IPRJ]]<br />
[[Category:Lab Macambira]]</div>V1zhttp://wiki.nosdigitais.teia.org.br/index.php?title=Algebra_Linear&diff=41633Algebra Linear2023-08-17T14:42:37Z<p>V1z: /* Recursos Principais */</p>
<hr />
<div>Esta é a pagina principal de um curso de Álgebra Linear sendo ministrado em 2023/2 no [http://pt.wikipedia.org/wiki/IPRJ IPRJ]/[http://pt.wikipedia.org/wiki/IPRJ UERJ]. Trata-se de uma disciplina a nível de pós-graduação, útil como embasamento matemático para modelagem computacional, machine learning, métodos numéricos, e áreas afins.<br />
<br />
== Informacoes Gerais ==<br />
* Instrutor: prof. [http://rfabbri.github.io Ricardo Fabbri], Ph.D.<br />
* Periodo: 2023, segundo semestre, voltado ao Mestrado e Doutorado em Modelagem Computacional - Capes 6<br />
* Horario: Tercas e Quartas, 9:40-11:30am, sala 212<br />
<br />
=== Pre-requisitos ===<br />
* Teorico: Nenhum. Familiaridade com álgebra linear básica, geometria analítica e lógica matemática formal pode ser útil.<br />
<br />
== Avisos ==<br />
* Por email<br />
<br />
== Tarefas complementares ==<br />
=== Tarefa extra 0 (para a primeira aula da segunda semana) ===<br />
Estas tarefas têm como objetivo complementar o curso com motivações práticas<br />
* Ler Aula 1 Apostila da disciplina (apostila prof. Fabbri listada nas referencias)<br />
* Assistir videos introdutorios do curso relacionado ALN+ARN 2022 da graduação: <br />
# Motivacao dos cursos de Algebra Linear Numerica e Analise no Rn para computacao Prof Fabbri https://youtu.be/Tm5F2t3NriI<br />
# Continuacao do prof Francisco https://youtu.be/1o-pUSbkQK (video privado - adicione a letra g ao final da URL)<br />
=== Tarefa extra 1 (para a primeira aula da terceira semana) ===<br />
* Assistir ao vídeo da Notação Mestra de Variedades Diferenciáveis https://youtu.be/h22063QMIDo o qual permitirá compreensão do contexto não-linear onde a álgebra linear é aplicada.<br />
<br />
== Recursos Principais ==<br />
[[Arquivo:Ala2-olver-signature.png|200px|thumb|PDF do livro complementar, Applied Lienear Algebra, assinado pelos autores para prof. Fabbri|link=http://www-users.math.umn.edu/~olver/ala.html]]<br />
<br />
=== Bibliografia ===<br />
==== Livros Principais ====<br />
* [https://www.amazon.com/Linear-Algebra-2nd-Kenneth-Hoffman/dp/0135367972 Linear Algebra, Hoffman & Kunze, 2a. ed.]<br />
* [https://www.amazon.com/Linear-Algebra-Graduate-Texts-Mathematics-dp-1468494481/dp/1468494481 Linear Algebra, Greub, 4a ed.]<br />
<br />
==== Livros e apostilas complementares ====<br />
* [https://github.com/rfabbri/aln-book/raw/master/fabbri-lecture-notes-aln.pdf Apostila de Álgebra Linear Numérica de prof. Fabbri]<br />
* Excelente livro recente cobrindo partes deste curso, bem como para aplicacoes: Applied Linear Algebra, Peter J. Olver and Chehrzad Shakiban<br />
<br />
=== Provas ===<br />
*P1: 27set23 <br />
*P2: 22nov23<br />
<br />
== Criterio de Avaliacao ==<br />
M = (P1 + P2)/2 <br />
<br />
== See also ==<br />
[[ALN|Curso de Algebra Linear Numerica de graduacao do IPRJ ]]<br />
<br />
[[Category:IPRJ]]<br />
[[Category:Lab Macambira]]</div>V1zhttp://wiki.nosdigitais.teia.org.br/index.php?title=Algebra_Linear&diff=41632Algebra Linear2023-08-17T14:42:19Z<p>V1z: /* Bibliografia */</p>
<hr />
<div>Esta é a pagina principal de um curso de Álgebra Linear sendo ministrado em 2023/2 no [http://pt.wikipedia.org/wiki/IPRJ IPRJ]/[http://pt.wikipedia.org/wiki/IPRJ UERJ]. Trata-se de uma disciplina a nível de pós-graduação, útil como embasamento matemático para modelagem computacional, machine learning, métodos numéricos, e áreas afins.<br />
<br />
== Informacoes Gerais ==<br />
* Instrutor: prof. [http://rfabbri.github.io Ricardo Fabbri], Ph.D.<br />
* Periodo: 2023, segundo semestre, voltado ao Mestrado e Doutorado em Modelagem Computacional - Capes 6<br />
* Horario: Tercas e Quartas, 9:40-11:30am, sala 212<br />
<br />
=== Pre-requisitos ===<br />
* Teorico: Nenhum. Familiaridade com álgebra linear básica, geometria analítica e lógica matemática formal pode ser útil.<br />
<br />
== Avisos ==<br />
* Por email<br />
<br />
== Tarefas complementares ==<br />
=== Tarefa extra 0 (para a primeira aula da segunda semana) ===<br />
Estas tarefas têm como objetivo complementar o curso com motivações práticas<br />
* Ler Aula 1 Apostila da disciplina (apostila prof. Fabbri listada nas referencias)<br />
* Assistir videos introdutorios do curso relacionado ALN+ARN 2022 da graduação: <br />
# Motivacao dos cursos de Algebra Linear Numerica e Analise no Rn para computacao Prof Fabbri https://youtu.be/Tm5F2t3NriI<br />
# Continuacao do prof Francisco https://youtu.be/1o-pUSbkQK (video privado - adicione a letra g ao final da URL)<br />
=== Tarefa extra 1 (para a primeira aula da terceira semana) ===<br />
* Assistir ao vídeo da Notação Mestra de Variedades Diferenciáveis https://youtu.be/h22063QMIDo o qual permitirá compreensão do contexto não-linear onde a álgebra linear é aplicada.<br />
<br />
== Recursos Principais ==<br />
<br />
=== Bibliografia ===<br />
==== Livros Principais ====<br />
* [https://www.amazon.com/Linear-Algebra-2nd-Kenneth-Hoffman/dp/0135367972 Linear Algebra, Hoffman & Kunze, 2a. ed.]<br />
* [https://www.amazon.com/Linear-Algebra-Graduate-Texts-Mathematics-dp-1468494481/dp/1468494481 Linear Algebra, Greub, 4a ed.]<br />
<br />
[[Arquivo:Ala2-olver-signature.png|200px|thumb|PDF do livro complementar, Applied Lienear Algebra, assinado pelos autores para prof. Fabbri|link=http://www-users.math.umn.edu/~olver/ala.html]]<br />
==== Livros e apostilas complementares ====<br />
* [https://github.com/rfabbri/aln-book/raw/master/fabbri-lecture-notes-aln.pdf Apostila de Álgebra Linear Numérica de prof. Fabbri]<br />
* Excelente livro recente cobrindo partes deste curso, bem como para aplicacoes: Applied Linear Algebra, Peter J. Olver and Chehrzad Shakiban<br />
<br />
=== Provas ===<br />
*P1: 27set23 <br />
*P2: 22nov23<br />
<br />
== Criterio de Avaliacao ==<br />
M = (P1 + P2)/2 <br />
<br />
== See also ==<br />
[[ALN|Curso de Algebra Linear Numerica de graduacao do IPRJ ]]<br />
<br />
[[Category:IPRJ]]<br />
[[Category:Lab Macambira]]</div>V1zhttp://wiki.nosdigitais.teia.org.br/index.php?title=Algebra_Linear&diff=41631Algebra Linear2023-08-17T14:40:39Z<p>V1z: recursos complementares</p>
<hr />
<div>Esta é a pagina principal de um curso de Álgebra Linear sendo ministrado em 2023/2 no [http://pt.wikipedia.org/wiki/IPRJ IPRJ]/[http://pt.wikipedia.org/wiki/IPRJ UERJ]. Trata-se de uma disciplina a nível de pós-graduação, útil como embasamento matemático para modelagem computacional, machine learning, métodos numéricos, e áreas afins.<br />
<br />
== Informacoes Gerais ==<br />
* Instrutor: prof. [http://rfabbri.github.io Ricardo Fabbri], Ph.D.<br />
* Periodo: 2023, segundo semestre, voltado ao Mestrado e Doutorado em Modelagem Computacional - Capes 6<br />
* Horario: Tercas e Quartas, 9:40-11:30am, sala 212<br />
<br />
=== Pre-requisitos ===<br />
* Teorico: Nenhum. Familiaridade com álgebra linear básica, geometria analítica e lógica matemática formal pode ser útil.<br />
<br />
== Avisos ==<br />
* Por email<br />
<br />
== Tarefas complementares ==<br />
=== Tarefa extra 0 (para a primeira aula da segunda semana) ===<br />
Estas tarefas têm como objetivo complementar o curso com motivações práticas<br />
* Ler Aula 1 Apostila da disciplina (apostila prof. Fabbri listada nas referencias)<br />
* Assistir videos introdutorios do curso relacionado ALN+ARN 2022 da graduação: <br />
# Motivacao dos cursos de Algebra Linear Numerica e Analise no Rn para computacao Prof Fabbri https://youtu.be/Tm5F2t3NriI<br />
# Continuacao do prof Francisco https://youtu.be/1o-pUSbkQK (video privado - adicione a letra g ao final da URL)<br />
=== Tarefa extra 1 (para a primeira aula da terceira semana) ===<br />
* Assistir ao vídeo da Notação Mestra de Variedades Diferenciáveis https://youtu.be/h22063QMIDo o qual permitirá compreensão do contexto não-linear onde a álgebra linear é aplicada.<br />
<br />
== Recursos Principais ==<br />
<br />
=== Bibliografia ===<br />
==== Livros Principais ====<br />
* [https://www.amazon.com/Linear-Algebra-2nd-Kenneth-Hoffman/dp/0135367972 Linear Algebra, Hoffman & Kunze, 2a. ed.]<br />
* [https://www.amazon.com/Linear-Algebra-Graduate-Texts-Mathematics-dp-1468494481/dp/1468494481 Linear Algebra, Greub, 4a ed.]<br />
<br />
==== Livros e apostilas complementares ====<br />
* [https://github.com/rfabbri/aln-book/raw/master/fabbri-lecture-notes-aln.pdf Apostila de Álgebra Linear Numérica de prof. Fabbri]<br />
* Excelente livro recente cobrindo partes deste curso, bem como para aplicacoes: Applied Linear Algebra, Peter J. Olver and Chehrzad Shakiban<br />
[[Arquivo:Ala2-olver-signature.png|200px|thumb|PDF assinado pelos autores para prof. Fabbri|link=http://www-users.math.umn.edu/~olver/ala.html]]<br />
<br />
=== Provas ===<br />
*P1: 27set23 <br />
*P2: 22nov23<br />
<br />
== Criterio de Avaliacao ==<br />
M = (P1 + P2)/2 <br />
<br />
== See also ==<br />
[[ALN|Curso de Algebra Linear Numerica de graduacao do IPRJ ]]<br />
<br />
[[Category:IPRJ]]<br />
[[Category:Lab Macambira]]</div>V1zhttp://wiki.nosdigitais.teia.org.br/index.php?title=Algebra_Linear&diff=41630Algebra Linear2023-08-17T14:31:17Z<p>V1z: videos complementares</p>
<hr />
<div>Esta é a pagina principal de um curso de Álgebra Linear sendo ministrado em 2023/2 no [http://pt.wikipedia.org/wiki/IPRJ IPRJ]/[http://pt.wikipedia.org/wiki/IPRJ UERJ]. Trata-se de uma disciplina a nível de pós-graduação, útil como embasamento matemático para modelagem computacional, machine learning, métodos numéricos, e áreas afins.<br />
<br />
== Informacoes Gerais ==<br />
* Instrutor: prof. [http://rfabbri.github.io Ricardo Fabbri], Ph.D.<br />
* Periodo: 2023, segundo semestre, voltado ao Mestrado e Doutorado em Modelagem Computacional - Capes 6<br />
* Horario: Tercas e Quartas, 9:40-11:30am, sala 212<br />
<br />
=== Pre-requisitos ===<br />
* Teorico: Nenhum. Familiaridade com álgebra linear básica, geometria analítica e lógica matemática formal pode ser útil.<br />
<br />
== Avisos ==<br />
* Por email<br />
<br />
== Recursos Principais ==<br />
=== Tarefas extras ===<br />
==== Tarefa extra 0 (para a primeira aula da segunda semana) ====<br />
Estas tarefas têm como objetivo complementar o curso com motivações práticas<br />
* Ler Aula 1 Apostila da disciplina (apostila prof. Fabbri listada nas referencias)<br />
* Assistir videos introdutorios do curso relacionado ALN+ARN 2022 da graduação: <br />
# Motivacao dos cursos de Algebra Linear Numerica e Analise no Rn para computacao Prof Fabbri https://youtu.be/Tm5F2t3NriI<br />
# Continuacao do prof Francisco https://youtu.be/1o-pUSbkQK (video privado - adicione a letra g ao final da URL)<br />
=== Tarefa extra 1 (para a primeira aula da terceira semana) ===<br />
* Assistir ao vídeo da Notação Mestra de Variedades Diferenciáveis https://youtu.be/h22063QMIDo o qual permitirá compreensão do contexto não-linear onde a álgebra linear é aplicada.<br />
<br />
=== Bibliografia ===<br />
==== Livros Principais ====<br />
* [https://www.amazon.com/Linear-Algebra-2nd-Kenneth-Hoffman/dp/0135367972 Linear Algebra, Hoffman & Kunze, 2a. ed.]<br />
* [https://www.amazon.com/Linear-Algebra-Graduate-Texts-Mathematics-dp-1468494481/dp/1468494481 Linear Algebra, Greub, 4a ed.]<br />
<br />
==== Outros Livros ====<br />
<br />
=== Provas ===<br />
*P1: 27set23 <br />
*P2: 22nov23<br />
<br />
== Criterio de Avaliacao ==<br />
M = (P1 + P2)/2 <br />
<br />
== See also ==<br />
[[ALN|Curso de Algebra Linear Numerica de graduacao do IPRJ ]]<br />
<br />
[[Category:IPRJ]]<br />
[[Category:Lab Macambira]]</div>V1zhttp://wiki.nosdigitais.teia.org.br/index.php?title=Stochastic_Processes&diff=41629Stochastic Processes2023-08-16T19:46:08Z<p>V1z: /* Evaluation criteria */</p>
<hr />
<div>This is the main page of an undergraduate-level course in stochastic processes targeted at engineering students (mainly computer engineering and its interface with mechanical engineering), being taught in 2022 (2022.2 period) at the Polytechnic Institute [http://pt.wikipedia.org/wiki/IPRJ IPRJ]/UERJ.<br />
<br />
Previous periods: [[Stochastic_Processes_2022.2|2022.2]], [[Stochastic_Processes_2021_condensed|2021 condensed]], [[Stochastic_Processes_2021.2_2022|2021.2 (2022)]].<br />
<br />
[[Image:Mocap_transfer.png|right|250px|thumb|Recent application of [https://en.wikipedia.org/wiki/Gaussian_process Gaussian stochastic processes] for 3D motion capture transfer [http://openaccess.thecvf.com/content_cvpr_2017/papers/Boukhayma_Surface_Motion_Capture_CVPR_2017_paper.pdf (CVPR 2017)] ]]<br />
<br /><br />
<div><ul> <br />
<li style="display: inline-block;"> [[File:Sampling-motion-planning.png|thumb|none|x180px|Application to path planning for autonomos cars [https://natanaso.github.io/ece276b/ref/ECE276B_1_MC.pdf (see this)] ]] </li><br />
<li style="display: inline-block;"> [[File:Sampling-motion-planning2.png|thumb|none|x180px|Application to robot path planning with obstacles [https://natanaso.github.io/ece276b/ref/ECE276B_1_MC.pdf (see this)] ]] </li><br />
</ul></div><br />
<br />
== General Info ==<br />
* Instructor: prof. [http://rfabbri.github.io Ricardo Fabbri], Ph.D. Brown University<br />
* Meeting times (in-person): tuesdays T2,T3 and wednesdays T6,N1.<br />
* Chat: IRC #labmacambira for random chat<br />
<br />
=== Pre-requisites ===<br />
* Undergraduate-level mathematics and probability (will review as needed)<br />
* Desirable: Intermediate programming experience with any numerics scripting language such as Scilab, Python, R or Matlab. Knowing at least one of them will help you learn any new language needed in the course.<br />
<br />
=== Software ===<br />
The R programming language and data exploration environment will be used for learning, with others used occasionally. Students can also choose to do their homework in Python, Scilab, Matlab or similar languages. The R language has received growing attention, specially in the past couple of years, but it is simple enough so that the student can adapt the code to his preferred language. '''Students are expected to learn any of these languages on their own as needed, by doing tutorials and asking questions'''<br />
* [https://www.rstudio.com/products/rstudio/download/preview/ R studio]: recommended IDE for R.<br />
* [http://rich-iannone.github.io/DiagrammeR Diagrammer]: beautiful tool to draw and interact with graphs in R.<br />
<br />
== Approximate Content ==<br />
This year's course will focus on a '''modern''' approach bridging theory and practice.<br />
As engineers and scientists, you should not learn theory here without also considering broader applications. Recent applications in artificial intelligence, machine learning, robotics, autonomous driving, material science and other topics will be considered. These applications are often too hard to tackle at the level of this course, but having contact with them will help motivate the abstract theory. We will try to focus on '''key concepts''' and more realistic applications than most courses (that come from the 1900's), that will prompt us to elaborate theory.<br />
<br />
== Main Resources ==<br />
=== Textbooks ===<br />
Check out the moodle student shelf.<br />
<br />
==== Main book ==== <br />
[https://books.google.com.br/books/about/Introduction_to_Stochastic_Processes_wit.html?id=CQ2ACgAAQBAJ&redir_esc=y&hl=en ''Introduction to Stochastic Processes with R''], Robert Dobrow, 2016 (5 stars on Amazon) [[Image:Book-R.jpg|130px]]<br />
<br />
==== Additional books used in the course ====<br />
Learning stochastic processes will require aditional books, including more traditional ones:<br />
* ''Markov Chains: gibbs fields, monte carlo simulation and queues'', Pierre Bremaud<br />
* ''An Introduction to Stochastic Modeling'', Taylor & Karlin<br />
* ''Pattern Theory: The Stochastic Analysis of Real-World Signals'', David Mumford and Agnes Desolneux - the first chapters already cover many types of stochastic processes in text, signal and image AI [[Image:Mumford-book.jpg]]<br />
* My own machine learning and computational modeling book draft, co-written with prof. Francisco Duarte Moura Neto and focused on diffusion processes on graphs like PageRank. There is a probability chapter which is the basis for this course. <br />
<br />
==== Other books to look at ====<br />
Basic probability and statistics<br />
* I recommend you review from the above books. They all include a review. But you might have to see:<br />
* ''Elementary Statistics'', Mario Triola (passed down to me by a great scientist and statistician)<br />
<br />
Interesting books<br />
* ''R for data science'', O'Reilly (#1 data science bestseller on Amazon) [[Image:R-oreilly.png|350px]]<br />
<br />
Machine Learning<br />
* ''Pattern Theory: From Representation to Inference'', Ulf Grenader<br />
<br />
=== Lectures ===<br />
Lectures roughly follow the sequence of our main book, with some additional material as needed. All necessary background will be covered as needed. Advanced material will be covered partly.<br />
<br />
==== Public Youtube Playlist (Portuguese) ====<br />
Prof. Fabbri's lectures are publically available online at:<br />
https://www.youtube.com/playlist?list=PL1tkMA9lsTiVw9PzRcxpUBN4aArh948sK<br />
<br />
Partial listing: <br />
<br />
* Aula 1 parte 1 Introdução ao Curso https://youtu.be/qTZkZ5y_MJc<br />
* Aula 1 parte 2 O que são Processos Estocásticos? https://youtu.be/hDVdjPTVJtw<br />
* Aula 1 parte 3 O que significa "estocástico"? https://youtu.be/xUSvDqRXAL4<br />
* Aula 1 parte 4 Formalismo e revisão de probabilidades https://youtu.be/pawQt7TtIf0<br />
* Aula 1 parte 5 Exemplos Iniciais https://youtu.be/L5zH-uSDejc<br />
* Aula 1 parte 6 Exemplos 2, Difusões https://youtu.be/tYD0ezDfYxM<br />
* Aula 2 parte 1 Revisão de Probabilidade parte 2 <br />
* Aula 2 parte 2 Revisão de Distribuições - Revisão de Probabilidade parte 3 https://youtu.be/admtZDT2iok<br />
* Aula 3 parte 1 Pagerank https://youtu.be/45wx3yZh7SI<br />
* Aula 3 parte 2 Grafos - Revisão https://youtu.be/cE834FfnnuY<br />
* Aula 4 parte 1 Cadeias de Markov e exemplo em Metástase do Câncer https://youtu.be/N0R83bBUSf8<br />
** Paper: Spatiotemporal progression of metastatic breast cancer: a Markov chain model highlighting the role of early metastatic sites., Newton, P., Mason, J., Venkatappa, N. et al., Nature npj Breast Cancer 1, 15018 (2015). https://doi.org/10.1038/npjbcancer.2015.18<br />
** Paper: A Stochastic Markov Chain Model to Describe Lung Cancer Growth and Metastasis<br />
Newton PK, Mason J, Bethel K, Bazhenova LA, Nieva J, et al. (2012) A Stochastic Markov Chain Model to Describe Lung Cancer Growth and Metastasis. PLOS ONE 7(4): e34637. https://doi.org/10.1371/journal.pone.0034637<br />
* Remaining lectures ongoing at: https://www.youtube.com/playlist?list=PL1tkMA9lsTiVw9PzRcxpUBN4aArh948sK<br />
<br />
==== Lecture Notes ====<br />
<br />
* Fabbri's lecture notes on long term markov chains (based on Dobrow's Chapter 3) [https://drive.google.com/file/d/1FVCbiH32Up4_NHzBLhuFd6tn0GN2FmX0/view?usp=sharing pdf]<br />
<br />
==== Tentative listing ====<br />
* Intro, overview of main processes and quick review<br />
* Markov Chains<br />
* Markov Chain Monte Carlo: MCMC<br />
* Poisson Process<br />
* Queue theory<br />
* Brownian Motion<br />
* Stochastic Calculus<br />
<br />
== Homework ==<br />
* All homework can be done in any language. Most are either in the R programming language or in Scilab/Matlab and Python.<br />
* If you do the homework in two different languages, you get double the homework grade (bonus of 100%)<br />
* Late homework will be accepted but penalized at the professor's will according to how late it is<br />
* '''All electronic material must be sent to the professors' email, with the string "[iprj-pe]" as part of the subject of the email. You will receive an automatic confirmation.'''<br />
<br />
=== Assignment 0 ===<br />
* Exercise 1.1 of the main book<br />
* Suggested due date: Before thursday of the 2nd week.<br />
<br />
=== Assignment 1 ===<br />
* Exercise 1 Ch1 of the Pattern Theory book by Mumford & Desolneux,<br />
''Simulating Discrete Random Variables'' (pp 51, 52, 53)<br />
* No need to read this book for this exercise. You will review discrete random variables in the context of Markov chains for natural language processing; this is basic for most AI bots nowadays. If you're curious about the applications, you can read the book chapter just for fun.<br />
* Suggested due date: Before Thursday of the 3rd week.<br />
<br />
=== Assignment 2: Exercise list for chapter 1 ===<br />
7 Exercises: 1.3, 1.5, 1.6, 1.7, 1.9, 1.10, 1.19<br />
* Suggested due date: at least 1 week before P1 (suggested)<br />
<br />
=== Assignment 3: Exercise list for chapter 2 ===<br />
11 Exercises: 2.1, 2.4, 2.6, 2.8, 2.9, 2.10, 2.12, 2.14, 2.15, 2.18<br />
Computer: 2.26<br />
* Due date: before P1 (suggested)<br />
<br />
=== Assignment 4: Exercise list for chapter 3 ===<br />
Exercises: 3.2, 3.5a-c, 3.10a-d, 3.16i-iv, 3.25a-b, 3.37, 3.58<br />
* Due date: before P1 (suggested)<br />
<br />
=== Assignment 5: Exercise list for chapter 5 (MCMC) ===<br />
4 Exercises: 5.1, 5.2, 5.5, 5.6<br />
* Due date: before P2 (suggested)<br />
<br />
=== Assignment 6: Exercise list for chapter 6 ===<br />
4 Exercises: 6.3, 6.4, 6.7, 6.8<br />
* Due date: before P2 (suggested)<br />
<br />
== Exams ==<br />
* '''P1:''' ter19set23<br />
* '''P2:''' ter17out23<br />
* '''Final-Sub:''' ter19dez2<br />
<br />
== Evaluation criteria ==<br />
<pre><br />
P = (P1 + P2)/2<br />
N = 0.9P + 0.1T<br />
Onde T = nota de todos tabalhos e tarefas.<br />
<br />
if N >= 7 --> passa direto, final opcional<br />
if 4 <= N < 7 --> final obrigatoria<br />
if N < 4 --> reprova direto<br />
<br />
M = (F + N)/2 para os que fizerem final<br />
<br />
if M >= 5 --> passa<br />
else reprova<br />
</pre><br />
<br />
== Awesome Links == <br />
* Course on robotic path planning with applications of stochastic processes: https://natanaso.github.io/ece276b/schedule.html<br />
* Paper: Markovian robots: minimal navigation strategies for active particles, Arxiv 2017<br />
* Paper: Stochastic processes in vision: from Langevin to Beltrami https://ieeexplore.ieee.org/document/937531/<br />
* Cool applications: https://math.stackexchange.com/questions/1543211/which-research-groups-use-stochastic-processes-and-or-stochastic-differential-eq<br />
* Paper: Building Blocks for Computer Vision with Stochastic Partial Differential Equations https://link.springer.com/article/10.1007/s11263-008-0145-5<br />
* Paper: Variational Bayesian Multiple Instance Learning with Gaussian Processes, CVPR 2017<br />
* Paper: Correlational Gaussian Processes for Cross-domain Visual Recognition, CVPR 2017<br />
* COPPE Sistemas curso CPS767 - 2021/1 - Algoritmos de Monte Carlo e Cadeias de Markov https://www.cos.ufrj.br/~daniel/mcmc/ playlist: https://www.youtube.com/watch?v=sDUaMoMkmGc&list=PLP0bYj2MTFcs8yyA-Y4GYNahJWiZk2iOu<br />
* Course pages for previous years: '''[[PE2020 (canceled)|2020/1a (Canceled due to COVID-19)]], [[PE2019|2019]], [[PE2018|2018]], [[PE2012|2012]]'''<br />
<br />
=== Neural Nets and Stochastic Processes ===<br />
<br />
* Generative Models for Stochastic Processes Using Convolutional Neural Networks, arxiv, pesquisadores brasileiros (USP)<br />
* Bayesian SegNet: Model Uncertainty in Deep Convolutional Encoder-Decoder Architectures for Scene Understanding, Cipolla et. al arxiv 2016<br />
<br />
== Keywords ==<br />
random fields, stochastic modeling, data science, queue theory, machine learning, poisson process, markov chains, Gaussian processes, Bernoulli processes, soft computing, random process, Brownian motion, robot path planning, artificial intelligence, simulation, sampling, pattern formation, signal processing, text processing, image processing, dimentionality reduction, diffusion, Markov Chain Monte Carlo MCMC, tracking, branching process, stochastic calculus, SDEs<br />
<br />
[[Category:Lab Macambira]] [[Category:IPRJ]]</div>V1zhttp://wiki.nosdigitais.teia.org.br/index.php?title=Stochastic_Processes&diff=41628Stochastic Processes2023-08-16T19:45:19Z<p>V1z: /* Evaluation criteria */</p>
<hr />
<div>This is the main page of an undergraduate-level course in stochastic processes targeted at engineering students (mainly computer engineering and its interface with mechanical engineering), being taught in 2022 (2022.2 period) at the Polytechnic Institute [http://pt.wikipedia.org/wiki/IPRJ IPRJ]/UERJ.<br />
<br />
Previous periods: [[Stochastic_Processes_2022.2|2022.2]], [[Stochastic_Processes_2021_condensed|2021 condensed]], [[Stochastic_Processes_2021.2_2022|2021.2 (2022)]].<br />
<br />
[[Image:Mocap_transfer.png|right|250px|thumb|Recent application of [https://en.wikipedia.org/wiki/Gaussian_process Gaussian stochastic processes] for 3D motion capture transfer [http://openaccess.thecvf.com/content_cvpr_2017/papers/Boukhayma_Surface_Motion_Capture_CVPR_2017_paper.pdf (CVPR 2017)] ]]<br />
<br /><br />
<div><ul> <br />
<li style="display: inline-block;"> [[File:Sampling-motion-planning.png|thumb|none|x180px|Application to path planning for autonomos cars [https://natanaso.github.io/ece276b/ref/ECE276B_1_MC.pdf (see this)] ]] </li><br />
<li style="display: inline-block;"> [[File:Sampling-motion-planning2.png|thumb|none|x180px|Application to robot path planning with obstacles [https://natanaso.github.io/ece276b/ref/ECE276B_1_MC.pdf (see this)] ]] </li><br />
</ul></div><br />
<br />
== General Info ==<br />
* Instructor: prof. [http://rfabbri.github.io Ricardo Fabbri], Ph.D. Brown University<br />
* Meeting times (in-person): tuesdays T2,T3 and wednesdays T6,N1.<br />
* Chat: IRC #labmacambira for random chat<br />
<br />
=== Pre-requisites ===<br />
* Undergraduate-level mathematics and probability (will review as needed)<br />
* Desirable: Intermediate programming experience with any numerics scripting language such as Scilab, Python, R or Matlab. Knowing at least one of them will help you learn any new language needed in the course.<br />
<br />
=== Software ===<br />
The R programming language and data exploration environment will be used for learning, with others used occasionally. Students can also choose to do their homework in Python, Scilab, Matlab or similar languages. The R language has received growing attention, specially in the past couple of years, but it is simple enough so that the student can adapt the code to his preferred language. '''Students are expected to learn any of these languages on their own as needed, by doing tutorials and asking questions'''<br />
* [https://www.rstudio.com/products/rstudio/download/preview/ R studio]: recommended IDE for R.<br />
* [http://rich-iannone.github.io/DiagrammeR Diagrammer]: beautiful tool to draw and interact with graphs in R.<br />
<br />
== Approximate Content ==<br />
This year's course will focus on a '''modern''' approach bridging theory and practice.<br />
As engineers and scientists, you should not learn theory here without also considering broader applications. Recent applications in artificial intelligence, machine learning, robotics, autonomous driving, material science and other topics will be considered. These applications are often too hard to tackle at the level of this course, but having contact with them will help motivate the abstract theory. We will try to focus on '''key concepts''' and more realistic applications than most courses (that come from the 1900's), that will prompt us to elaborate theory.<br />
<br />
== Main Resources ==<br />
=== Textbooks ===<br />
Check out the moodle student shelf.<br />
<br />
==== Main book ==== <br />
[https://books.google.com.br/books/about/Introduction_to_Stochastic_Processes_wit.html?id=CQ2ACgAAQBAJ&redir_esc=y&hl=en ''Introduction to Stochastic Processes with R''], Robert Dobrow, 2016 (5 stars on Amazon) [[Image:Book-R.jpg|130px]]<br />
<br />
==== Additional books used in the course ====<br />
Learning stochastic processes will require aditional books, including more traditional ones:<br />
* ''Markov Chains: gibbs fields, monte carlo simulation and queues'', Pierre Bremaud<br />
* ''An Introduction to Stochastic Modeling'', Taylor & Karlin<br />
* ''Pattern Theory: The Stochastic Analysis of Real-World Signals'', David Mumford and Agnes Desolneux - the first chapters already cover many types of stochastic processes in text, signal and image AI [[Image:Mumford-book.jpg]]<br />
* My own machine learning and computational modeling book draft, co-written with prof. Francisco Duarte Moura Neto and focused on diffusion processes on graphs like PageRank. There is a probability chapter which is the basis for this course. <br />
<br />
==== Other books to look at ====<br />
Basic probability and statistics<br />
* I recommend you review from the above books. They all include a review. But you might have to see:<br />
* ''Elementary Statistics'', Mario Triola (passed down to me by a great scientist and statistician)<br />
<br />
Interesting books<br />
* ''R for data science'', O'Reilly (#1 data science bestseller on Amazon) [[Image:R-oreilly.png|350px]]<br />
<br />
Machine Learning<br />
* ''Pattern Theory: From Representation to Inference'', Ulf Grenader<br />
<br />
=== Lectures ===<br />
Lectures roughly follow the sequence of our main book, with some additional material as needed. All necessary background will be covered as needed. Advanced material will be covered partly.<br />
<br />
==== Public Youtube Playlist (Portuguese) ====<br />
Prof. Fabbri's lectures are publically available online at:<br />
https://www.youtube.com/playlist?list=PL1tkMA9lsTiVw9PzRcxpUBN4aArh948sK<br />
<br />
Partial listing: <br />
<br />
* Aula 1 parte 1 Introdução ao Curso https://youtu.be/qTZkZ5y_MJc<br />
* Aula 1 parte 2 O que são Processos Estocásticos? https://youtu.be/hDVdjPTVJtw<br />
* Aula 1 parte 3 O que significa "estocástico"? https://youtu.be/xUSvDqRXAL4<br />
* Aula 1 parte 4 Formalismo e revisão de probabilidades https://youtu.be/pawQt7TtIf0<br />
* Aula 1 parte 5 Exemplos Iniciais https://youtu.be/L5zH-uSDejc<br />
* Aula 1 parte 6 Exemplos 2, Difusões https://youtu.be/tYD0ezDfYxM<br />
* Aula 2 parte 1 Revisão de Probabilidade parte 2 <br />
* Aula 2 parte 2 Revisão de Distribuições - Revisão de Probabilidade parte 3 https://youtu.be/admtZDT2iok<br />
* Aula 3 parte 1 Pagerank https://youtu.be/45wx3yZh7SI<br />
* Aula 3 parte 2 Grafos - Revisão https://youtu.be/cE834FfnnuY<br />
* Aula 4 parte 1 Cadeias de Markov e exemplo em Metástase do Câncer https://youtu.be/N0R83bBUSf8<br />
** Paper: Spatiotemporal progression of metastatic breast cancer: a Markov chain model highlighting the role of early metastatic sites., Newton, P., Mason, J., Venkatappa, N. et al., Nature npj Breast Cancer 1, 15018 (2015). https://doi.org/10.1038/npjbcancer.2015.18<br />
** Paper: A Stochastic Markov Chain Model to Describe Lung Cancer Growth and Metastasis<br />
Newton PK, Mason J, Bethel K, Bazhenova LA, Nieva J, et al. (2012) A Stochastic Markov Chain Model to Describe Lung Cancer Growth and Metastasis. PLOS ONE 7(4): e34637. https://doi.org/10.1371/journal.pone.0034637<br />
* Remaining lectures ongoing at: https://www.youtube.com/playlist?list=PL1tkMA9lsTiVw9PzRcxpUBN4aArh948sK<br />
<br />
==== Lecture Notes ====<br />
<br />
* Fabbri's lecture notes on long term markov chains (based on Dobrow's Chapter 3) [https://drive.google.com/file/d/1FVCbiH32Up4_NHzBLhuFd6tn0GN2FmX0/view?usp=sharing pdf]<br />
<br />
==== Tentative listing ====<br />
* Intro, overview of main processes and quick review<br />
* Markov Chains<br />
* Markov Chain Monte Carlo: MCMC<br />
* Poisson Process<br />
* Queue theory<br />
* Brownian Motion<br />
* Stochastic Calculus<br />
<br />
== Homework ==<br />
* All homework can be done in any language. Most are either in the R programming language or in Scilab/Matlab and Python.<br />
* If you do the homework in two different languages, you get double the homework grade (bonus of 100%)<br />
* Late homework will be accepted but penalized at the professor's will according to how late it is<br />
* '''All electronic material must be sent to the professors' email, with the string "[iprj-pe]" as part of the subject of the email. You will receive an automatic confirmation.'''<br />
<br />
=== Assignment 0 ===<br />
* Exercise 1.1 of the main book<br />
* Suggested due date: Before thursday of the 2nd week.<br />
<br />
=== Assignment 1 ===<br />
* Exercise 1 Ch1 of the Pattern Theory book by Mumford & Desolneux,<br />
''Simulating Discrete Random Variables'' (pp 51, 52, 53)<br />
* No need to read this book for this exercise. You will review discrete random variables in the context of Markov chains for natural language processing; this is basic for most AI bots nowadays. If you're curious about the applications, you can read the book chapter just for fun.<br />
* Suggested due date: Before Thursday of the 3rd week.<br />
<br />
=== Assignment 2: Exercise list for chapter 1 ===<br />
7 Exercises: 1.3, 1.5, 1.6, 1.7, 1.9, 1.10, 1.19<br />
* Suggested due date: at least 1 week before P1 (suggested)<br />
<br />
=== Assignment 3: Exercise list for chapter 2 ===<br />
11 Exercises: 2.1, 2.4, 2.6, 2.8, 2.9, 2.10, 2.12, 2.14, 2.15, 2.18<br />
Computer: 2.26<br />
* Due date: before P1 (suggested)<br />
<br />
=== Assignment 4: Exercise list for chapter 3 ===<br />
Exercises: 3.2, 3.5a-c, 3.10a-d, 3.16i-iv, 3.25a-b, 3.37, 3.58<br />
* Due date: before P1 (suggested)<br />
<br />
=== Assignment 5: Exercise list for chapter 5 (MCMC) ===<br />
4 Exercises: 5.1, 5.2, 5.5, 5.6<br />
* Due date: before P2 (suggested)<br />
<br />
=== Assignment 6: Exercise list for chapter 6 ===<br />
4 Exercises: 6.3, 6.4, 6.7, 6.8<br />
* Due date: before P2 (suggested)<br />
<br />
== Exams ==<br />
* '''P1:''' ter19set23<br />
* '''P2:''' ter17out23<br />
* '''Final-Sub:''' ter19dez2<br />
<br />
== Evaluation criteria ==<br />
<pre><br />
P = (P1 + P2)/2<br />
N = 0.8P + 0.2T<br />
Onde T = nota de todos tabalhos e tarefas.<br />
<br />
if N >= 7 --> passa direto, final opcional<br />
if 4 <= N < 7 --> final obrigatoria<br />
if N < 4 --> reprova direto<br />
<br />
M = (F + N)/2 para os que fizerem final<br />
<br />
if M >= 5 --> passa<br />
else reprova<br />
</pre><br />
<br />
== Awesome Links == <br />
* Course on robotic path planning with applications of stochastic processes: https://natanaso.github.io/ece276b/schedule.html<br />
* Paper: Markovian robots: minimal navigation strategies for active particles, Arxiv 2017<br />
* Paper: Stochastic processes in vision: from Langevin to Beltrami https://ieeexplore.ieee.org/document/937531/<br />
* Cool applications: https://math.stackexchange.com/questions/1543211/which-research-groups-use-stochastic-processes-and-or-stochastic-differential-eq<br />
* Paper: Building Blocks for Computer Vision with Stochastic Partial Differential Equations https://link.springer.com/article/10.1007/s11263-008-0145-5<br />
* Paper: Variational Bayesian Multiple Instance Learning with Gaussian Processes, CVPR 2017<br />
* Paper: Correlational Gaussian Processes for Cross-domain Visual Recognition, CVPR 2017<br />
* COPPE Sistemas curso CPS767 - 2021/1 - Algoritmos de Monte Carlo e Cadeias de Markov https://www.cos.ufrj.br/~daniel/mcmc/ playlist: https://www.youtube.com/watch?v=sDUaMoMkmGc&list=PLP0bYj2MTFcs8yyA-Y4GYNahJWiZk2iOu<br />
* Course pages for previous years: '''[[PE2020 (canceled)|2020/1a (Canceled due to COVID-19)]], [[PE2019|2019]], [[PE2018|2018]], [[PE2012|2012]]'''<br />
<br />
=== Neural Nets and Stochastic Processes ===<br />
<br />
* Generative Models for Stochastic Processes Using Convolutional Neural Networks, arxiv, pesquisadores brasileiros (USP)<br />
* Bayesian SegNet: Model Uncertainty in Deep Convolutional Encoder-Decoder Architectures for Scene Understanding, Cipolla et. al arxiv 2016<br />
<br />
== Keywords ==<br />
random fields, stochastic modeling, data science, queue theory, machine learning, poisson process, markov chains, Gaussian processes, Bernoulli processes, soft computing, random process, Brownian motion, robot path planning, artificial intelligence, simulation, sampling, pattern formation, signal processing, text processing, image processing, dimentionality reduction, diffusion, Markov Chain Monte Carlo MCMC, tracking, branching process, stochastic calculus, SDEs<br />
<br />
[[Category:Lab Macambira]] [[Category:IPRJ]]</div>V1zhttp://wiki.nosdigitais.teia.org.br/index.php?title=Stochastic_Processes&diff=41627Stochastic Processes2023-08-16T19:06:39Z<p>V1z: /* Exams */</p>
<hr />
<div>This is the main page of an undergraduate-level course in stochastic processes targeted at engineering students (mainly computer engineering and its interface with mechanical engineering), being taught in 2022 (2022.2 period) at the Polytechnic Institute [http://pt.wikipedia.org/wiki/IPRJ IPRJ]/UERJ.<br />
<br />
Previous periods: [[Stochastic_Processes_2022.2|2022.2]], [[Stochastic_Processes_2021_condensed|2021 condensed]], [[Stochastic_Processes_2021.2_2022|2021.2 (2022)]].<br />
<br />
[[Image:Mocap_transfer.png|right|250px|thumb|Recent application of [https://en.wikipedia.org/wiki/Gaussian_process Gaussian stochastic processes] for 3D motion capture transfer [http://openaccess.thecvf.com/content_cvpr_2017/papers/Boukhayma_Surface_Motion_Capture_CVPR_2017_paper.pdf (CVPR 2017)] ]]<br />
<br /><br />
<div><ul> <br />
<li style="display: inline-block;"> [[File:Sampling-motion-planning.png|thumb|none|x180px|Application to path planning for autonomos cars [https://natanaso.github.io/ece276b/ref/ECE276B_1_MC.pdf (see this)] ]] </li><br />
<li style="display: inline-block;"> [[File:Sampling-motion-planning2.png|thumb|none|x180px|Application to robot path planning with obstacles [https://natanaso.github.io/ece276b/ref/ECE276B_1_MC.pdf (see this)] ]] </li><br />
</ul></div><br />
<br />
== General Info ==<br />
* Instructor: prof. [http://rfabbri.github.io Ricardo Fabbri], Ph.D. Brown University<br />
* Meeting times (in-person): tuesdays T2,T3 and wednesdays T6,N1.<br />
* Chat: IRC #labmacambira for random chat<br />
<br />
=== Pre-requisites ===<br />
* Undergraduate-level mathematics and probability (will review as needed)<br />
* Desirable: Intermediate programming experience with any numerics scripting language such as Scilab, Python, R or Matlab. Knowing at least one of them will help you learn any new language needed in the course.<br />
<br />
=== Software ===<br />
The R programming language and data exploration environment will be used for learning, with others used occasionally. Students can also choose to do their homework in Python, Scilab, Matlab or similar languages. The R language has received growing attention, specially in the past couple of years, but it is simple enough so that the student can adapt the code to his preferred language. '''Students are expected to learn any of these languages on their own as needed, by doing tutorials and asking questions'''<br />
* [https://www.rstudio.com/products/rstudio/download/preview/ R studio]: recommended IDE for R.<br />
* [http://rich-iannone.github.io/DiagrammeR Diagrammer]: beautiful tool to draw and interact with graphs in R.<br />
<br />
== Approximate Content ==<br />
This year's course will focus on a '''modern''' approach bridging theory and practice.<br />
As engineers and scientists, you should not learn theory here without also considering broader applications. Recent applications in artificial intelligence, machine learning, robotics, autonomous driving, material science and other topics will be considered. These applications are often too hard to tackle at the level of this course, but having contact with them will help motivate the abstract theory. We will try to focus on '''key concepts''' and more realistic applications than most courses (that come from the 1900's), that will prompt us to elaborate theory.<br />
<br />
== Main Resources ==<br />
=== Textbooks ===<br />
Check out the moodle student shelf.<br />
<br />
==== Main book ==== <br />
[https://books.google.com.br/books/about/Introduction_to_Stochastic_Processes_wit.html?id=CQ2ACgAAQBAJ&redir_esc=y&hl=en ''Introduction to Stochastic Processes with R''], Robert Dobrow, 2016 (5 stars on Amazon) [[Image:Book-R.jpg|130px]]<br />
<br />
==== Additional books used in the course ====<br />
Learning stochastic processes will require aditional books, including more traditional ones:<br />
* ''Markov Chains: gibbs fields, monte carlo simulation and queues'', Pierre Bremaud<br />
* ''An Introduction to Stochastic Modeling'', Taylor & Karlin<br />
* ''Pattern Theory: The Stochastic Analysis of Real-World Signals'', David Mumford and Agnes Desolneux - the first chapters already cover many types of stochastic processes in text, signal and image AI [[Image:Mumford-book.jpg]]<br />
* My own machine learning and computational modeling book draft, co-written with prof. Francisco Duarte Moura Neto and focused on diffusion processes on graphs like PageRank. There is a probability chapter which is the basis for this course. <br />
<br />
==== Other books to look at ====<br />
Basic probability and statistics<br />
* I recommend you review from the above books. They all include a review. But you might have to see:<br />
* ''Elementary Statistics'', Mario Triola (passed down to me by a great scientist and statistician)<br />
<br />
Interesting books<br />
* ''R for data science'', O'Reilly (#1 data science bestseller on Amazon) [[Image:R-oreilly.png|350px]]<br />
<br />
Machine Learning<br />
* ''Pattern Theory: From Representation to Inference'', Ulf Grenader<br />
<br />
=== Lectures ===<br />
Lectures roughly follow the sequence of our main book, with some additional material as needed. All necessary background will be covered as needed. Advanced material will be covered partly.<br />
<br />
==== Public Youtube Playlist (Portuguese) ====<br />
Prof. Fabbri's lectures are publically available online at:<br />
https://www.youtube.com/playlist?list=PL1tkMA9lsTiVw9PzRcxpUBN4aArh948sK<br />
<br />
Partial listing: <br />
<br />
* Aula 1 parte 1 Introdução ao Curso https://youtu.be/qTZkZ5y_MJc<br />
* Aula 1 parte 2 O que são Processos Estocásticos? https://youtu.be/hDVdjPTVJtw<br />
* Aula 1 parte 3 O que significa "estocástico"? https://youtu.be/xUSvDqRXAL4<br />
* Aula 1 parte 4 Formalismo e revisão de probabilidades https://youtu.be/pawQt7TtIf0<br />
* Aula 1 parte 5 Exemplos Iniciais https://youtu.be/L5zH-uSDejc<br />
* Aula 1 parte 6 Exemplos 2, Difusões https://youtu.be/tYD0ezDfYxM<br />
* Aula 2 parte 1 Revisão de Probabilidade parte 2 <br />
* Aula 2 parte 2 Revisão de Distribuições - Revisão de Probabilidade parte 3 https://youtu.be/admtZDT2iok<br />
* Aula 3 parte 1 Pagerank https://youtu.be/45wx3yZh7SI<br />
* Aula 3 parte 2 Grafos - Revisão https://youtu.be/cE834FfnnuY<br />
* Aula 4 parte 1 Cadeias de Markov e exemplo em Metástase do Câncer https://youtu.be/N0R83bBUSf8<br />
** Paper: Spatiotemporal progression of metastatic breast cancer: a Markov chain model highlighting the role of early metastatic sites., Newton, P., Mason, J., Venkatappa, N. et al., Nature npj Breast Cancer 1, 15018 (2015). https://doi.org/10.1038/npjbcancer.2015.18<br />
** Paper: A Stochastic Markov Chain Model to Describe Lung Cancer Growth and Metastasis<br />
Newton PK, Mason J, Bethel K, Bazhenova LA, Nieva J, et al. (2012) A Stochastic Markov Chain Model to Describe Lung Cancer Growth and Metastasis. PLOS ONE 7(4): e34637. https://doi.org/10.1371/journal.pone.0034637<br />
* Remaining lectures ongoing at: https://www.youtube.com/playlist?list=PL1tkMA9lsTiVw9PzRcxpUBN4aArh948sK<br />
<br />
==== Lecture Notes ====<br />
<br />
* Fabbri's lecture notes on long term markov chains (based on Dobrow's Chapter 3) [https://drive.google.com/file/d/1FVCbiH32Up4_NHzBLhuFd6tn0GN2FmX0/view?usp=sharing pdf]<br />
<br />
==== Tentative listing ====<br />
* Intro, overview of main processes and quick review<br />
* Markov Chains<br />
* Markov Chain Monte Carlo: MCMC<br />
* Poisson Process<br />
* Queue theory<br />
* Brownian Motion<br />
* Stochastic Calculus<br />
<br />
== Homework ==<br />
* All homework can be done in any language. Most are either in the R programming language or in Scilab/Matlab and Python.<br />
* If you do the homework in two different languages, you get double the homework grade (bonus of 100%)<br />
* Late homework will be accepted but penalized at the professor's will according to how late it is<br />
* '''All electronic material must be sent to the professors' email, with the string "[iprj-pe]" as part of the subject of the email. You will receive an automatic confirmation.'''<br />
<br />
=== Assignment 0 ===<br />
* Exercise 1.1 of the main book<br />
* Suggested due date: Before thursday of the 2nd week.<br />
<br />
=== Assignment 1 ===<br />
* Exercise 1 Ch1 of the Pattern Theory book by Mumford & Desolneux,<br />
''Simulating Discrete Random Variables'' (pp 51, 52, 53)<br />
* No need to read this book for this exercise. You will review discrete random variables in the context of Markov chains for natural language processing; this is basic for most AI bots nowadays. If you're curious about the applications, you can read the book chapter just for fun.<br />
* Suggested due date: Before Thursday of the 3rd week.<br />
<br />
=== Assignment 2: Exercise list for chapter 1 ===<br />
7 Exercises: 1.3, 1.5, 1.6, 1.7, 1.9, 1.10, 1.19<br />
* Suggested due date: at least 1 week before P1 (suggested)<br />
<br />
=== Assignment 3: Exercise list for chapter 2 ===<br />
11 Exercises: 2.1, 2.4, 2.6, 2.8, 2.9, 2.10, 2.12, 2.14, 2.15, 2.18<br />
Computer: 2.26<br />
* Due date: before P1 (suggested)<br />
<br />
=== Assignment 4: Exercise list for chapter 3 ===<br />
Exercises: 3.2, 3.5a-c, 3.10a-d, 3.16i-iv, 3.25a-b, 3.37, 3.58<br />
* Due date: before P1 (suggested)<br />
<br />
=== Assignment 5: Exercise list for chapter 5 (MCMC) ===<br />
4 Exercises: 5.1, 5.2, 5.5, 5.6<br />
* Due date: before P2 (suggested)<br />
<br />
=== Assignment 6: Exercise list for chapter 6 ===<br />
4 Exercises: 6.3, 6.4, 6.7, 6.8<br />
* Due date: before P2 (suggested)<br />
<br />
== Exams ==<br />
* '''P1:''' ter19set23<br />
* '''P2:''' ter17out23<br />
* '''Final-Sub:''' ter19dez2<br />
<br />
== Evaluation criteria ==<br />
<pre><br />
P = (P1 + P2)/2<br />
N = 0.7P + 0.3T<br />
Onde T = nota de todos tabalhos e tarefas.<br />
<br />
if N >= 7 --> passa direto, final opcional<br />
if 4 <= N < 7 --> final obrigatoria<br />
if N < 4 --> reprova direto<br />
<br />
M = (F + N)/2 para os que fizerem final<br />
<br />
if M >= 5 --> passa<br />
else reprova<br />
</pre><br />
<br />
== Awesome Links == <br />
* Course on robotic path planning with applications of stochastic processes: https://natanaso.github.io/ece276b/schedule.html<br />
* Paper: Markovian robots: minimal navigation strategies for active particles, Arxiv 2017<br />
* Paper: Stochastic processes in vision: from Langevin to Beltrami https://ieeexplore.ieee.org/document/937531/<br />
* Cool applications: https://math.stackexchange.com/questions/1543211/which-research-groups-use-stochastic-processes-and-or-stochastic-differential-eq<br />
* Paper: Building Blocks for Computer Vision with Stochastic Partial Differential Equations https://link.springer.com/article/10.1007/s11263-008-0145-5<br />
* Paper: Variational Bayesian Multiple Instance Learning with Gaussian Processes, CVPR 2017<br />
* Paper: Correlational Gaussian Processes for Cross-domain Visual Recognition, CVPR 2017<br />
* COPPE Sistemas curso CPS767 - 2021/1 - Algoritmos de Monte Carlo e Cadeias de Markov https://www.cos.ufrj.br/~daniel/mcmc/ playlist: https://www.youtube.com/watch?v=sDUaMoMkmGc&list=PLP0bYj2MTFcs8yyA-Y4GYNahJWiZk2iOu<br />
* Course pages for previous years: '''[[PE2020 (canceled)|2020/1a (Canceled due to COVID-19)]], [[PE2019|2019]], [[PE2018|2018]], [[PE2012|2012]]'''<br />
<br />
=== Neural Nets and Stochastic Processes ===<br />
<br />
* Generative Models for Stochastic Processes Using Convolutional Neural Networks, arxiv, pesquisadores brasileiros (USP)<br />
* Bayesian SegNet: Model Uncertainty in Deep Convolutional Encoder-Decoder Architectures for Scene Understanding, Cipolla et. al arxiv 2016<br />
<br />
== Keywords ==<br />
random fields, stochastic modeling, data science, queue theory, machine learning, poisson process, markov chains, Gaussian processes, Bernoulli processes, soft computing, random process, Brownian motion, robot path planning, artificial intelligence, simulation, sampling, pattern formation, signal processing, text processing, image processing, dimentionality reduction, diffusion, Markov Chain Monte Carlo MCMC, tracking, branching process, stochastic calculus, SDEs<br />
<br />
[[Category:Lab Macambira]] [[Category:IPRJ]]</div>V1zhttp://wiki.nosdigitais.teia.org.br/index.php?title=Stochastic_Processes&diff=41626Stochastic Processes2023-08-16T19:06:10Z<p>V1z: p1 p2 final</p>
<hr />
<div>This is the main page of an undergraduate-level course in stochastic processes targeted at engineering students (mainly computer engineering and its interface with mechanical engineering), being taught in 2022 (2022.2 period) at the Polytechnic Institute [http://pt.wikipedia.org/wiki/IPRJ IPRJ]/UERJ.<br />
<br />
Previous periods: [[Stochastic_Processes_2022.2|2022.2]], [[Stochastic_Processes_2021_condensed|2021 condensed]], [[Stochastic_Processes_2021.2_2022|2021.2 (2022)]].<br />
<br />
[[Image:Mocap_transfer.png|right|250px|thumb|Recent application of [https://en.wikipedia.org/wiki/Gaussian_process Gaussian stochastic processes] for 3D motion capture transfer [http://openaccess.thecvf.com/content_cvpr_2017/papers/Boukhayma_Surface_Motion_Capture_CVPR_2017_paper.pdf (CVPR 2017)] ]]<br />
<br /><br />
<div><ul> <br />
<li style="display: inline-block;"> [[File:Sampling-motion-planning.png|thumb|none|x180px|Application to path planning for autonomos cars [https://natanaso.github.io/ece276b/ref/ECE276B_1_MC.pdf (see this)] ]] </li><br />
<li style="display: inline-block;"> [[File:Sampling-motion-planning2.png|thumb|none|x180px|Application to robot path planning with obstacles [https://natanaso.github.io/ece276b/ref/ECE276B_1_MC.pdf (see this)] ]] </li><br />
</ul></div><br />
<br />
== General Info ==<br />
* Instructor: prof. [http://rfabbri.github.io Ricardo Fabbri], Ph.D. Brown University<br />
* Meeting times (in-person): tuesdays T2,T3 and wednesdays T6,N1.<br />
* Chat: IRC #labmacambira for random chat<br />
<br />
=== Pre-requisites ===<br />
* Undergraduate-level mathematics and probability (will review as needed)<br />
* Desirable: Intermediate programming experience with any numerics scripting language such as Scilab, Python, R or Matlab. Knowing at least one of them will help you learn any new language needed in the course.<br />
<br />
=== Software ===<br />
The R programming language and data exploration environment will be used for learning, with others used occasionally. Students can also choose to do their homework in Python, Scilab, Matlab or similar languages. The R language has received growing attention, specially in the past couple of years, but it is simple enough so that the student can adapt the code to his preferred language. '''Students are expected to learn any of these languages on their own as needed, by doing tutorials and asking questions'''<br />
* [https://www.rstudio.com/products/rstudio/download/preview/ R studio]: recommended IDE for R.<br />
* [http://rich-iannone.github.io/DiagrammeR Diagrammer]: beautiful tool to draw and interact with graphs in R.<br />
<br />
== Approximate Content ==<br />
This year's course will focus on a '''modern''' approach bridging theory and practice.<br />
As engineers and scientists, you should not learn theory here without also considering broader applications. Recent applications in artificial intelligence, machine learning, robotics, autonomous driving, material science and other topics will be considered. These applications are often too hard to tackle at the level of this course, but having contact with them will help motivate the abstract theory. We will try to focus on '''key concepts''' and more realistic applications than most courses (that come from the 1900's), that will prompt us to elaborate theory.<br />
<br />
== Main Resources ==<br />
=== Textbooks ===<br />
Check out the moodle student shelf.<br />
<br />
==== Main book ==== <br />
[https://books.google.com.br/books/about/Introduction_to_Stochastic_Processes_wit.html?id=CQ2ACgAAQBAJ&redir_esc=y&hl=en ''Introduction to Stochastic Processes with R''], Robert Dobrow, 2016 (5 stars on Amazon) [[Image:Book-R.jpg|130px]]<br />
<br />
==== Additional books used in the course ====<br />
Learning stochastic processes will require aditional books, including more traditional ones:<br />
* ''Markov Chains: gibbs fields, monte carlo simulation and queues'', Pierre Bremaud<br />
* ''An Introduction to Stochastic Modeling'', Taylor & Karlin<br />
* ''Pattern Theory: The Stochastic Analysis of Real-World Signals'', David Mumford and Agnes Desolneux - the first chapters already cover many types of stochastic processes in text, signal and image AI [[Image:Mumford-book.jpg]]<br />
* My own machine learning and computational modeling book draft, co-written with prof. Francisco Duarte Moura Neto and focused on diffusion processes on graphs like PageRank. There is a probability chapter which is the basis for this course. <br />
<br />
==== Other books to look at ====<br />
Basic probability and statistics<br />
* I recommend you review from the above books. They all include a review. But you might have to see:<br />
* ''Elementary Statistics'', Mario Triola (passed down to me by a great scientist and statistician)<br />
<br />
Interesting books<br />
* ''R for data science'', O'Reilly (#1 data science bestseller on Amazon) [[Image:R-oreilly.png|350px]]<br />
<br />
Machine Learning<br />
* ''Pattern Theory: From Representation to Inference'', Ulf Grenader<br />
<br />
=== Lectures ===<br />
Lectures roughly follow the sequence of our main book, with some additional material as needed. All necessary background will be covered as needed. Advanced material will be covered partly.<br />
<br />
==== Public Youtube Playlist (Portuguese) ====<br />
Prof. Fabbri's lectures are publically available online at:<br />
https://www.youtube.com/playlist?list=PL1tkMA9lsTiVw9PzRcxpUBN4aArh948sK<br />
<br />
Partial listing: <br />
<br />
* Aula 1 parte 1 Introdução ao Curso https://youtu.be/qTZkZ5y_MJc<br />
* Aula 1 parte 2 O que são Processos Estocásticos? https://youtu.be/hDVdjPTVJtw<br />
* Aula 1 parte 3 O que significa "estocástico"? https://youtu.be/xUSvDqRXAL4<br />
* Aula 1 parte 4 Formalismo e revisão de probabilidades https://youtu.be/pawQt7TtIf0<br />
* Aula 1 parte 5 Exemplos Iniciais https://youtu.be/L5zH-uSDejc<br />
* Aula 1 parte 6 Exemplos 2, Difusões https://youtu.be/tYD0ezDfYxM<br />
* Aula 2 parte 1 Revisão de Probabilidade parte 2 <br />
* Aula 2 parte 2 Revisão de Distribuições - Revisão de Probabilidade parte 3 https://youtu.be/admtZDT2iok<br />
* Aula 3 parte 1 Pagerank https://youtu.be/45wx3yZh7SI<br />
* Aula 3 parte 2 Grafos - Revisão https://youtu.be/cE834FfnnuY<br />
* Aula 4 parte 1 Cadeias de Markov e exemplo em Metástase do Câncer https://youtu.be/N0R83bBUSf8<br />
** Paper: Spatiotemporal progression of metastatic breast cancer: a Markov chain model highlighting the role of early metastatic sites., Newton, P., Mason, J., Venkatappa, N. et al., Nature npj Breast Cancer 1, 15018 (2015). https://doi.org/10.1038/npjbcancer.2015.18<br />
** Paper: A Stochastic Markov Chain Model to Describe Lung Cancer Growth and Metastasis<br />
Newton PK, Mason J, Bethel K, Bazhenova LA, Nieva J, et al. (2012) A Stochastic Markov Chain Model to Describe Lung Cancer Growth and Metastasis. PLOS ONE 7(4): e34637. https://doi.org/10.1371/journal.pone.0034637<br />
* Remaining lectures ongoing at: https://www.youtube.com/playlist?list=PL1tkMA9lsTiVw9PzRcxpUBN4aArh948sK<br />
<br />
==== Lecture Notes ====<br />
<br />
* Fabbri's lecture notes on long term markov chains (based on Dobrow's Chapter 3) [https://drive.google.com/file/d/1FVCbiH32Up4_NHzBLhuFd6tn0GN2FmX0/view?usp=sharing pdf]<br />
<br />
==== Tentative listing ====<br />
* Intro, overview of main processes and quick review<br />
* Markov Chains<br />
* Markov Chain Monte Carlo: MCMC<br />
* Poisson Process<br />
* Queue theory<br />
* Brownian Motion<br />
* Stochastic Calculus<br />
<br />
== Homework ==<br />
* All homework can be done in any language. Most are either in the R programming language or in Scilab/Matlab and Python.<br />
* If you do the homework in two different languages, you get double the homework grade (bonus of 100%)<br />
* Late homework will be accepted but penalized at the professor's will according to how late it is<br />
* '''All electronic material must be sent to the professors' email, with the string "[iprj-pe]" as part of the subject of the email. You will receive an automatic confirmation.'''<br />
<br />
=== Assignment 0 ===<br />
* Exercise 1.1 of the main book<br />
* Suggested due date: Before thursday of the 2nd week.<br />
<br />
=== Assignment 1 ===<br />
* Exercise 1 Ch1 of the Pattern Theory book by Mumford & Desolneux,<br />
''Simulating Discrete Random Variables'' (pp 51, 52, 53)<br />
* No need to read this book for this exercise. You will review discrete random variables in the context of Markov chains for natural language processing; this is basic for most AI bots nowadays. If you're curious about the applications, you can read the book chapter just for fun.<br />
* Suggested due date: Before Thursday of the 3rd week.<br />
<br />
=== Assignment 2: Exercise list for chapter 1 ===<br />
7 Exercises: 1.3, 1.5, 1.6, 1.7, 1.9, 1.10, 1.19<br />
* Suggested due date: at least 1 week before P1 (suggested)<br />
<br />
=== Assignment 3: Exercise list for chapter 2 ===<br />
11 Exercises: 2.1, 2.4, 2.6, 2.8, 2.9, 2.10, 2.12, 2.14, 2.15, 2.18<br />
Computer: 2.26<br />
* Due date: before P1 (suggested)<br />
<br />
=== Assignment 4: Exercise list for chapter 3 ===<br />
Exercises: 3.2, 3.5a-c, 3.10a-d, 3.16i-iv, 3.25a-b, 3.37, 3.58<br />
* Due date: before P1 (suggested)<br />
<br />
=== Assignment 5: Exercise list for chapter 5 (MCMC) ===<br />
4 Exercises: 5.1, 5.2, 5.5, 5.6<br />
* Due date: before P2 (suggested)<br />
<br />
=== Assignment 6: Exercise list for chapter 6 ===<br />
4 Exercises: 6.3, 6.4, 6.7, 6.8<br />
* Due date: before P2 (suggested)<br />
<br />
== Exams ==<br />
* '''P1:''' ter19set23<br />
* '''P2:'''' ter17out23<br />
* '''Final-Sub:''' ter19dez2<br />
<br />
== Evaluation criteria ==<br />
<pre><br />
P = (P1 + P2)/2<br />
N = 0.7P + 0.3T<br />
Onde T = nota de todos tabalhos e tarefas.<br />
<br />
if N >= 7 --> passa direto, final opcional<br />
if 4 <= N < 7 --> final obrigatoria<br />
if N < 4 --> reprova direto<br />
<br />
M = (F + N)/2 para os que fizerem final<br />
<br />
if M >= 5 --> passa<br />
else reprova<br />
</pre><br />
<br />
== Awesome Links == <br />
* Course on robotic path planning with applications of stochastic processes: https://natanaso.github.io/ece276b/schedule.html<br />
* Paper: Markovian robots: minimal navigation strategies for active particles, Arxiv 2017<br />
* Paper: Stochastic processes in vision: from Langevin to Beltrami https://ieeexplore.ieee.org/document/937531/<br />
* Cool applications: https://math.stackexchange.com/questions/1543211/which-research-groups-use-stochastic-processes-and-or-stochastic-differential-eq<br />
* Paper: Building Blocks for Computer Vision with Stochastic Partial Differential Equations https://link.springer.com/article/10.1007/s11263-008-0145-5<br />
* Paper: Variational Bayesian Multiple Instance Learning with Gaussian Processes, CVPR 2017<br />
* Paper: Correlational Gaussian Processes for Cross-domain Visual Recognition, CVPR 2017<br />
* COPPE Sistemas curso CPS767 - 2021/1 - Algoritmos de Monte Carlo e Cadeias de Markov https://www.cos.ufrj.br/~daniel/mcmc/ playlist: https://www.youtube.com/watch?v=sDUaMoMkmGc&list=PLP0bYj2MTFcs8yyA-Y4GYNahJWiZk2iOu<br />
* Course pages for previous years: '''[[PE2020 (canceled)|2020/1a (Canceled due to COVID-19)]], [[PE2019|2019]], [[PE2018|2018]], [[PE2012|2012]]'''<br />
<br />
=== Neural Nets and Stochastic Processes ===<br />
<br />
* Generative Models for Stochastic Processes Using Convolutional Neural Networks, arxiv, pesquisadores brasileiros (USP)<br />
* Bayesian SegNet: Model Uncertainty in Deep Convolutional Encoder-Decoder Architectures for Scene Understanding, Cipolla et. al arxiv 2016<br />
<br />
== Keywords ==<br />
random fields, stochastic modeling, data science, queue theory, machine learning, poisson process, markov chains, Gaussian processes, Bernoulli processes, soft computing, random process, Brownian motion, robot path planning, artificial intelligence, simulation, sampling, pattern formation, signal processing, text processing, image processing, dimentionality reduction, diffusion, Markov Chain Monte Carlo MCMC, tracking, branching process, stochastic calculus, SDEs<br />
<br />
[[Category:Lab Macambira]] [[Category:IPRJ]]</div>V1zhttp://wiki.nosdigitais.teia.org.br/index.php?title=Stochastic_Processes&diff=41625Stochastic Processes2023-08-16T19:01:17Z<p>V1z: first pass for 2023</p>
<hr />
<div>This is the main page of an undergraduate-level course in stochastic processes targeted at engineering students (mainly computer engineering and its interface with mechanical engineering), being taught in 2022 (2022.2 period) at the Polytechnic Institute [http://pt.wikipedia.org/wiki/IPRJ IPRJ]/UERJ.<br />
<br />
Previous periods: [[Stochastic_Processes_2022.2|2022.2]], [[Stochastic_Processes_2021_condensed|2021 condensed]], [[Stochastic_Processes_2021.2_2022|2021.2 (2022)]].<br />
<br />
[[Image:Mocap_transfer.png|right|250px|thumb|Recent application of [https://en.wikipedia.org/wiki/Gaussian_process Gaussian stochastic processes] for 3D motion capture transfer [http://openaccess.thecvf.com/content_cvpr_2017/papers/Boukhayma_Surface_Motion_Capture_CVPR_2017_paper.pdf (CVPR 2017)] ]]<br />
<br /><br />
<div><ul> <br />
<li style="display: inline-block;"> [[File:Sampling-motion-planning.png|thumb|none|x180px|Application to path planning for autonomos cars [https://natanaso.github.io/ece276b/ref/ECE276B_1_MC.pdf (see this)] ]] </li><br />
<li style="display: inline-block;"> [[File:Sampling-motion-planning2.png|thumb|none|x180px|Application to robot path planning with obstacles [https://natanaso.github.io/ece276b/ref/ECE276B_1_MC.pdf (see this)] ]] </li><br />
</ul></div><br />
<br />
== General Info ==<br />
* Instructor: prof. [http://rfabbri.github.io Ricardo Fabbri], Ph.D. Brown University<br />
* Meeting times (in-person): tuesdays T2,T3 and wednesdays T6,N1.<br />
* Chat: IRC #labmacambira for random chat<br />
<br />
=== Pre-requisites ===<br />
* Undergraduate-level mathematics and probability (will review as needed)<br />
* Desirable: Intermediate programming experience with any numerics scripting language such as Scilab, Python, R or Matlab. Knowing at least one of them will help you learn any new language needed in the course.<br />
<br />
=== Software ===<br />
The R programming language and data exploration environment will be used for learning, with others used occasionally. Students can also choose to do their homework in Python, Scilab, Matlab or similar languages. The R language has received growing attention, specially in the past couple of years, but it is simple enough so that the student can adapt the code to his preferred language. '''Students are expected to learn any of these languages on their own as needed, by doing tutorials and asking questions'''<br />
* [https://www.rstudio.com/products/rstudio/download/preview/ R studio]: recommended IDE for R.<br />
* [http://rich-iannone.github.io/DiagrammeR Diagrammer]: beautiful tool to draw and interact with graphs in R.<br />
<br />
== Approximate Content ==<br />
This year's course will focus on a '''modern''' approach bridging theory and practice.<br />
As engineers and scientists, you should not learn theory here without also considering broader applications. Recent applications in artificial intelligence, machine learning, robotics, autonomous driving, material science and other topics will be considered. These applications are often too hard to tackle at the level of this course, but having contact with them will help motivate the abstract theory. We will try to focus on '''key concepts''' and more realistic applications than most courses (that come from the 1900's), that will prompt us to elaborate theory.<br />
<br />
== Main Resources ==<br />
=== Textbooks ===<br />
Check out the moodle student shelf.<br />
<br />
==== Main book ==== <br />
[https://books.google.com.br/books/about/Introduction_to_Stochastic_Processes_wit.html?id=CQ2ACgAAQBAJ&redir_esc=y&hl=en ''Introduction to Stochastic Processes with R''], Robert Dobrow, 2016 (5 stars on Amazon) [[Image:Book-R.jpg|130px]]<br />
<br />
==== Additional books used in the course ====<br />
Learning stochastic processes will require aditional books, including more traditional ones:<br />
* ''Markov Chains: gibbs fields, monte carlo simulation and queues'', Pierre Bremaud<br />
* ''An Introduction to Stochastic Modeling'', Taylor & Karlin<br />
* ''Pattern Theory: The Stochastic Analysis of Real-World Signals'', David Mumford and Agnes Desolneux - the first chapters already cover many types of stochastic processes in text, signal and image AI [[Image:Mumford-book.jpg]]<br />
* My own machine learning and computational modeling book draft, co-written with prof. Francisco Duarte Moura Neto and focused on diffusion processes on graphs like PageRank. There is a probability chapter which is the basis for this course. <br />
<br />
==== Other books to look at ====<br />
Basic probability and statistics<br />
* I recommend you review from the above books. They all include a review. But you might have to see:<br />
* ''Elementary Statistics'', Mario Triola (passed down to me by a great scientist and statistician)<br />
<br />
Interesting books<br />
* ''R for data science'', O'Reilly (#1 data science bestseller on Amazon) [[Image:R-oreilly.png|350px]]<br />
<br />
Machine Learning<br />
* ''Pattern Theory: From Representation to Inference'', Ulf Grenader<br />
<br />
=== Lectures ===<br />
Lectures roughly follow the sequence of our main book, with some additional material as needed. All necessary background will be covered as needed. Advanced material will be covered partly.<br />
<br />
==== Public Youtube Playlist (Portuguese) ====<br />
Prof. Fabbri's lectures are publically available online at:<br />
https://www.youtube.com/playlist?list=PL1tkMA9lsTiVw9PzRcxpUBN4aArh948sK<br />
<br />
Partial listing: <br />
<br />
* Aula 1 parte 1 Introdução ao Curso https://youtu.be/qTZkZ5y_MJc<br />
* Aula 1 parte 2 O que são Processos Estocásticos? https://youtu.be/hDVdjPTVJtw<br />
* Aula 1 parte 3 O que significa "estocástico"? https://youtu.be/xUSvDqRXAL4<br />
* Aula 1 parte 4 Formalismo e revisão de probabilidades https://youtu.be/pawQt7TtIf0<br />
* Aula 1 parte 5 Exemplos Iniciais https://youtu.be/L5zH-uSDejc<br />
* Aula 1 parte 6 Exemplos 2, Difusões https://youtu.be/tYD0ezDfYxM<br />
* Aula 2 parte 1 Revisão de Probabilidade parte 2 <br />
* Aula 2 parte 2 Revisão de Distribuições - Revisão de Probabilidade parte 3 https://youtu.be/admtZDT2iok<br />
* Aula 3 parte 1 Pagerank https://youtu.be/45wx3yZh7SI<br />
* Aula 3 parte 2 Grafos - Revisão https://youtu.be/cE834FfnnuY<br />
* Aula 4 parte 1 Cadeias de Markov e exemplo em Metástase do Câncer https://youtu.be/N0R83bBUSf8<br />
** Paper: Spatiotemporal progression of metastatic breast cancer: a Markov chain model highlighting the role of early metastatic sites., Newton, P., Mason, J., Venkatappa, N. et al., Nature npj Breast Cancer 1, 15018 (2015). https://doi.org/10.1038/npjbcancer.2015.18<br />
** Paper: A Stochastic Markov Chain Model to Describe Lung Cancer Growth and Metastasis<br />
Newton PK, Mason J, Bethel K, Bazhenova LA, Nieva J, et al. (2012) A Stochastic Markov Chain Model to Describe Lung Cancer Growth and Metastasis. PLOS ONE 7(4): e34637. https://doi.org/10.1371/journal.pone.0034637<br />
* Remaining lectures ongoing at: https://www.youtube.com/playlist?list=PL1tkMA9lsTiVw9PzRcxpUBN4aArh948sK<br />
<br />
==== Lecture Notes ====<br />
<br />
* Fabbri's lecture notes on long term markov chains (based on Dobrow's Chapter 3) [https://drive.google.com/file/d/1FVCbiH32Up4_NHzBLhuFd6tn0GN2FmX0/view?usp=sharing pdf]<br />
<br />
==== Tentative listing ====<br />
* Intro, overview of main processes and quick review<br />
* Markov Chains<br />
* Markov Chain Monte Carlo: MCMC<br />
* Poisson Process<br />
* Queue theory<br />
* Brownian Motion<br />
* Stochastic Calculus<br />
<br />
== Homework ==<br />
* All homework can be done in any language. Most are either in the R programming language or in Scilab/Matlab and Python.<br />
* If you do the homework in two different languages, you get double the homework grade (bonus of 100%)<br />
* Late homework will be accepted but penalized at the professor's will according to how late it is<br />
* '''All electronic material must be sent to the professors' email, with the string "[iprj-pe]" as part of the subject of the email. You will receive an automatic confirmation.'''<br />
<br />
=== Assignment 0 ===<br />
* Exercise 1.1 of the main book<br />
* Suggested due date: Before thursday of the 2nd week.<br />
<br />
=== Assignment 1 ===<br />
* Exercise 1 Ch1 of the Pattern Theory book by Mumford & Desolneux,<br />
''Simulating Discrete Random Variables'' (pp 51, 52, 53)<br />
* No need to read this book for this exercise. You will review discrete random variables in the context of Markov chains for natural language processing; this is basic for most AI bots nowadays. If you're curious about the applications, you can read the book chapter just for fun.<br />
* Suggested due date: Before Thursday of the 3rd week.<br />
<br />
=== Assignment 2: Exercise list for chapter 1 ===<br />
7 Exercises: 1.3, 1.5, 1.6, 1.7, 1.9, 1.10, 1.19<br />
* Suggested due date: at least 1 week before P1 (suggested)<br />
<br />
=== Assignment 3: Exercise list for chapter 2 ===<br />
11 Exercises: 2.1, 2.4, 2.6, 2.8, 2.9, 2.10, 2.12, 2.14, 2.15, 2.18<br />
Computer: 2.26<br />
* Due date: before P1 (suggested)<br />
<br />
=== Assignment 4: Exercise list for chapter 3 ===<br />
Exercises: 3.2, 3.5a-c, 3.10a-d, 3.16i-iv, 3.25a-b, 3.37, 3.58<br />
* Due date: before P1 (suggested)<br />
<br />
=== Assignment 5: Exercise list for chapter 5 (MCMC) ===<br />
4 Exercises: 5.1, 5.2, 5.5, 5.6<br />
* Due date: before P2 (suggested)<br />
<br />
=== Assignment 6: Exercise list for chapter 6 ===<br />
4 Exercises: 6.3, 6.4, 6.7, 6.8<br />
* Due date: before P2 (suggested)<br />
<br />
== Exams ==<br />
* '''P1:''' 07dec22<br />
* '''P2:'''' 01fev22<br />
* '''Final-Sub:''' 15fev22<br />
<br />
== Evaluation criteria ==<br />
<pre><br />
P = (P1 + P2)/2<br />
N = 0.7P + 0.3T<br />
Onde T = nota de todos tabalhos e tarefas.<br />
<br />
if N >= 7 --> passa direto, final opcional<br />
if 4 <= N < 7 --> final obrigatoria<br />
if N < 4 --> reprova direto<br />
<br />
M = (F + N)/2 para os que fizerem final<br />
<br />
if M >= 5 --> passa<br />
else reprova<br />
</pre><br />
<br />
== Awesome Links == <br />
* Course on robotic path planning with applications of stochastic processes: https://natanaso.github.io/ece276b/schedule.html<br />
* Paper: Markovian robots: minimal navigation strategies for active particles, Arxiv 2017<br />
* Paper: Stochastic processes in vision: from Langevin to Beltrami https://ieeexplore.ieee.org/document/937531/<br />
* Cool applications: https://math.stackexchange.com/questions/1543211/which-research-groups-use-stochastic-processes-and-or-stochastic-differential-eq<br />
* Paper: Building Blocks for Computer Vision with Stochastic Partial Differential Equations https://link.springer.com/article/10.1007/s11263-008-0145-5<br />
* Paper: Variational Bayesian Multiple Instance Learning with Gaussian Processes, CVPR 2017<br />
* Paper: Correlational Gaussian Processes for Cross-domain Visual Recognition, CVPR 2017<br />
* COPPE Sistemas curso CPS767 - 2021/1 - Algoritmos de Monte Carlo e Cadeias de Markov https://www.cos.ufrj.br/~daniel/mcmc/ playlist: https://www.youtube.com/watch?v=sDUaMoMkmGc&list=PLP0bYj2MTFcs8yyA-Y4GYNahJWiZk2iOu<br />
* Course pages for previous years: '''[[PE2020 (canceled)|2020/1a (Canceled due to COVID-19)]], [[PE2019|2019]], [[PE2018|2018]], [[PE2012|2012]]'''<br />
<br />
=== Neural Nets and Stochastic Processes ===<br />
<br />
* Generative Models for Stochastic Processes Using Convolutional Neural Networks, arxiv, pesquisadores brasileiros (USP)<br />
* Bayesian SegNet: Model Uncertainty in Deep Convolutional Encoder-Decoder Architectures for Scene Understanding, Cipolla et. al arxiv 2016<br />
<br />
== Keywords ==<br />
random fields, stochastic modeling, data science, queue theory, machine learning, poisson process, markov chains, Gaussian processes, Bernoulli processes, soft computing, random process, Brownian motion, robot path planning, artificial intelligence, simulation, sampling, pattern formation, signal processing, text processing, image processing, dimentionality reduction, diffusion, Markov Chain Monte Carlo MCMC, tracking, branching process, stochastic calculus, SDEs<br />
<br />
[[Category:Lab Macambira]] [[Category:IPRJ]]</div>V1zhttp://wiki.nosdigitais.teia.org.br/index.php?title=Stochastic_Processes_2022.2&diff=41624Stochastic Processes 2022.22023-08-16T18:57:38Z<p>V1z: arxiv of PE</p>
<hr />
<div>This is the main page of an undergraduate-level course in stochastic processes targeted at engineering students (mainly computer engineering and its interface with mechanical engineering), being taught remotely in 2022 (2021.2 period) at the Polytechnic Institute [http://pt.wikipedia.org/wiki/IPRJ IPRJ]/UERJ.<br />
<br />
Previous periods: [[Stochastic_Processes_2021_condensed|2021 condensed]]<br />
http://wiki.nosdigitais.teia.org.br/Stochastic_Processes<br />
[[Image:Mocap_transfer.png|right|250px|thumb|Recent application of [https://en.wikipedia.org/wiki/Gaussian_process Gaussian stochastic processes] for 3D motion capture transfer [http://openaccess.thecvf.com/content_cvpr_2017/papers/Boukhayma_Surface_Motion_Capture_CVPR_2017_paper.pdf (CVPR 2017)] ]]<br />
<br /><br />
<div><ul> <br />
<li style="display: inline-block;"> [[File:Sampling-motion-planning.png|thumb|none|x180px|Application to path planning for autonomos cars [https://natanaso.github.io/ece276b/ref/ECE276B_1_MC.pdf (see this)] ]] </li><br />
<li style="display: inline-block;"> [[File:Sampling-motion-planning2.png|thumb|none|x180px|Application to robot path planning with obstacles [https://natanaso.github.io/ece276b/ref/ECE276B_1_MC.pdf (see this)] ]] </li><br />
</ul></div><br />
<br />
== General Info ==<br />
* Instructor: prof. [http://rfabbri.github.io Ricardo Fabbri], Ph.D. Brown University<br />
* Meeting times: Tuesdays 1:20pm-3:10pm; Thursdays 1:20pm - 3:10pm (virtual schedule to be determined)<br />
* Chat: IRC #labmacambira for random chat<br />
<br />
=== Pre-requisites ===<br />
* Undergraduate-level mathematics and probability (will review as needed)<br />
* Desirable: Intermediate programming experience with any numerics scripting language such as Scilab, Python, R or Matlab. Knowing at least one of them will help you learn any new language needed in the course.<br />
<br />
=== Software ===<br />
The R programming language and data exploration environment will be used for learning, with others used occasionally. Students can also choose to do their homework in Python, Scilab, Matlab or similar languages. The R language has received growing attention, specially in the past couple of years, but it is simple enough so that the student can adapt the code to his preferred language. '''Students are expected to learn any of these languages on their own as needed, by doing tutorials and asking questions'''<br />
* [https://www.rstudio.com/products/rstudio/download/preview/ R studio]: recommended IDE for R.<br />
* [http://rich-iannone.github.io/DiagrammeR Diagrammer]: beautiful tool to draw and interact with graphs in R.<br />
<br />
== Approximate Content ==<br />
This year's course will focus on a '''modern''' approach bridging theory and practice.<br />
As engineers and scientists, you should not learn theory here without also considering broader applications. Recent applications in artificial intelligence, machine learning, robotics, autonomous driving, material science and other topics will be considered. These applications are often too hard to tackle at the level of this course, but having contact with them will help motivate the abstract theory. We will try to focus on '''key concepts''' and more realistic applications than most courses (that come from the 1900's), that will prompt us to elaborate theory.<br />
<br />
== Main Resources ==<br />
=== Textbooks ===<br />
Check out the moodle student shelf.<br />
<br />
==== Main book ==== <br />
[https://books.google.com.br/books/about/Introduction_to_Stochastic_Processes_wit.html?id=CQ2ACgAAQBAJ&redir_esc=y&hl=en ''Introduction to Stochastic Processes with R''], Robert Dobrow, 2016 (5 stars on Amazon) [[Image:Book-R.jpg|130px]]<br />
<br />
==== Additional books used in the course ====<br />
Learning stochastic processes will require aditional books, including more traditional ones:<br />
* ''Markov Chains: gibbs fields, monte carlo simulation and queues'', Pierre Bremaud<br />
* ''An Introduction to Stochastic Modeling'', Taylor & Karlin<br />
* ''Pattern Theory: The Stochastic Analysis of Real-World Signals'', David Mumford and Agnes Desolneux - the first chapters already cover many types of stochastic processes in text, signal and image AI [[Image:Mumford-book.jpg]]<br />
* My own machine learning and computational modeling book draft, co-written with prof. Francisco Duarte Moura Neto and focused on diffusion processes on graphs like PageRank. There is a probability chapter which is the basis for this course. We have many copies at [[IPRJ]]'s library.<br />
<br />
==== Other books to look at ====<br />
Basic probability and statistics<br />
* I recommend you review from the above books. They all include a review. But you might have to see:<br />
* ''Elementary Statistics'', Mario Triola (passed down to me by a great scientist and statistician)<br />
<br />
Interesting books<br />
* ''R for data science'', O'Reilly (#1 data science bestseller on Amazon) [[Image:R-oreilly.png|350px]]<br />
<br />
Machine Learning<br />
* ''Pattern Theory: From Representation to Inference'', Ulf Grenader<br />
<br />
=== Lectures ===<br />
Lectures roughly follow the sequence of our main book, with some additional material as needed. All necessary background will be covered as needed. Advanced material will be covered partly.<br />
<br />
==== Public Youtube Playlist (Portuguese) ====<br />
Prof. Fabbri's lectures are publically available online at:<br />
https://www.youtube.com/playlist?list=PL1tkMA9lsTiVw9PzRcxpUBN4aArh948sK<br />
<br />
Partial listing: <br />
<br />
* Aula 1 parte 1 Introdução ao Curso https://youtu.be/qTZkZ5y_MJc<br />
* Aula 1 parte 2 O que são Processos Estocásticos? https://youtu.be/hDVdjPTVJtw<br />
* Aula 1 parte 3 O que significa "estocástico"? https://youtu.be/xUSvDqRXAL4<br />
* Aula 1 parte 4 Formalismo e revisão de probabilidades https://youtu.be/pawQt7TtIf0<br />
* Aula 1 parte 5 Exemplos Iniciais https://youtu.be/L5zH-uSDejc<br />
* Aula 1 parte 6 Exemplos 2, Difusões https://youtu.be/tYD0ezDfYxM<br />
* Aula 2 parte 1 Revisão de Probabilidade parte 2 <br />
* Aula 2 parte 2 Revisão de Distribuições - Revisão de Probabilidade parte 3 https://youtu.be/admtZDT2iok<br />
* Aula 3 parte 1 Pagerank https://youtu.be/45wx3yZh7SI<br />
* Aula 3 parte 2 Grafos - Revisão https://youtu.be/cE834FfnnuY<br />
* Aula 4 parte 1 Cadeias de Markov e exemplo em Metástase do Câncer https://youtu.be/N0R83bBUSf8<br />
** Paper: Spatiotemporal progression of metastatic breast cancer: a Markov chain model highlighting the role of early metastatic sites., Newton, P., Mason, J., Venkatappa, N. et al., Nature npj Breast Cancer 1, 15018 (2015). https://doi.org/10.1038/npjbcancer.2015.18<br />
** Paper: A Stochastic Markov Chain Model to Describe Lung Cancer Growth and Metastasis<br />
Newton PK, Mason J, Bethel K, Bazhenova LA, Nieva J, et al. (2012) A Stochastic Markov Chain Model to Describe Lung Cancer Growth and Metastasis. PLOS ONE 7(4): e34637. https://doi.org/10.1371/journal.pone.0034637<br />
* Remaining lectures ongoing at: https://www.youtube.com/playlist?list=PL1tkMA9lsTiVw9PzRcxpUBN4aArh948sK<br />
<br />
==== Lecture Notes ====<br />
<br />
* Fabbri's lecture notes on long term markov chains (based on Dobrow's Chapter 3) [https://drive.google.com/file/d/1FVCbiH32Up4_NHzBLhuFd6tn0GN2FmX0/view?usp=sharing pdf]<br />
<br />
==== Tentative listing ====<br />
* Intro, overview of main processes and quick review<br />
* Markov Chains<br />
* Markov Chain Monte Carlo: MCMC<br />
* Poisson Process<br />
* Queue theory<br />
* Brownian Motion<br />
* Stochastic Calculus<br />
<br />
== Homework ==<br />
* All homework can be done in any language. Most are either in the R programming language or in Scilab/Matlab and Python.<br />
* If you do the homework in two different languages, you get double the homework grade (bonus of 100%)<br />
* Late homework will be accepted but penalized at the professor's will according to how late it is<br />
* '''All electronic material must be sent to the professors' email, with the string "[iprj-pe]" as part of the subject of the email. You will receive an automatic confirmation.'''<br />
<br />
=== Assignment 0 ===<br />
* Exercise 1.1 of the main book<br />
* Suggested due date: Before thursday of the 2nd week.<br />
<br />
=== Assignment 1 ===<br />
* Exercise 1 Ch1 of the Pattern Theory book by Mumford & Desolneux,<br />
''Simulating Discrete Random Variables'' (pp 51, 52, 53)<br />
* No need to read this book for this exercise. You will review discrete random variables in the context of Markov chains for natural language processing; this is basic for most AI bots nowadays. If you're curious about the applications, you can read the book chapter just for fun.<br />
* Suggested due date: Before Thursday of the 3rd week.<br />
<br />
=== Assignment 2: Exercise list for chapter 1 ===<br />
7 Exercises: 1.3, 1.5, 1.6, 1.7, 1.9, 1.10, 1.19<br />
* Suggested due date: at least 1 week before P1 (suggested)<br />
<br />
=== Assignment 3: Exercise list for chapter 2 ===<br />
11 Exercises: 2.1, 2.4, 2.6, 2.8, 2.9, 2.10, 2.12, 2.14, 2.15, 2.18<br />
Computer: 2.26<br />
* Due date: before P1 (suggested)<br />
<br />
=== Assignment 4: Exercise list for chapter 3 ===<br />
Exercises: 3.2, 3.5a-c, 3.10a-d, 3.16i-iv, 3.25a-b, 3.37, 3.58<br />
* Due date: before P1 (suggested)<br />
<br />
=== Assignment 5: Exercise list for chapter 5 (MCMC) ===<br />
4 Exercises: 5.1, 5.2, 5.5, 5.6<br />
* Due date: terca 5abr22 23:59<br />
<br />
=== Assignment 6: Exercise list for chapter 6 ===<br />
4 Exercises: 6.3, 6.4, 6.7, 6.8<br />
* Due date: Ter12abr22<br />
<br />
== Exams ==<br />
* '''P1:''' 22mar22<br />
* '''P2:'''' 16-18mai22 (escolher)<br />
* '''Final-Sub:''' 19-20mai22 (escolher)<br />
<br />
== Evaluation criteria ==<br />
See course plan on moodle, tab "Boas-vindas".<br />
<br />
== Awesome Links == <br />
* Course on robotic path planning with applications of stochastic processes: https://natanaso.github.io/ece276b/schedule.html<br />
* Paper: Markovian robots: minimal navigation strategies for active particles, Arxiv 2017<br />
* Paper: Stochastic processes in vision: from Langevin to Beltrami https://ieeexplore.ieee.org/document/937531/<br />
* Cool applications: https://math.stackexchange.com/questions/1543211/which-research-groups-use-stochastic-processes-and-or-stochastic-differential-eq<br />
* Paper: Building Blocks for Computer Vision with Stochastic Partial Differential Equations https://link.springer.com/article/10.1007/s11263-008-0145-5<br />
* Paper: Variational Bayesian Multiple Instance Learning with Gaussian Processes, CVPR 2017<br />
* Paper: Correlational Gaussian Processes for Cross-domain Visual Recognition, CVPR 2017<br />
* COPPE Sistemas curso CPS767 - 2021/1 - Algoritmos de Monte Carlo e Cadeias de Markov https://www.cos.ufrj.br/~daniel/mcmc/ playlist: https://www.youtube.com/watch?v=sDUaMoMkmGc&list=PLP0bYj2MTFcs8yyA-Y4GYNahJWiZk2iOu<br />
* Course pages for previous years: '''[[PE2020 (canceled)|2020/1a (Canceled due to COVID-19)]], [[PE2019|2019]], [[PE2018|2018]], [[PE2012|2012]]'''<br />
<br />
=== Neural Nets and Stochastic Processes ===<br />
<br />
* Generative Models for Stochastic Processes Using Convolutional Neural Networks, arxiv, pesquisadores brasileiros (USP)<br />
* Bayesian SegNet: Model Uncertainty in Deep Convolutional Encoder-Decoder Architectures for Scene Understanding, Cipolla et. al arxiv 2016<br />
<br />
== Keywords ==<br />
random fields, stochastic modeling, data science, queue theory, machine learning, poisson process, markov chains, Gaussian processes, Bernoulli processes, soft computing, random process, Brownian motion, robot path planning, artificial intelligence, simulation, sampling, pattern formation, signal processing, text processing, image processing, dimentionality reduction, diffusion, Markov Chain Monte Carlo MCMC, tracking, branching process, stochastic calculus, SDEs<br />
<br />
[[Category:Lab Macambira]] [[Category:IPRJ]]</div>V1zhttp://wiki.nosdigitais.teia.org.br/index.php?title=AL&diff=41623AL2023-08-16T17:13:28Z<p>V1z: redirect</p>
<hr />
<div>#REDIRECT[[Algebra_Linear]]</div>V1zhttp://wiki.nosdigitais.teia.org.br/index.php?title=Algebra_Linear&diff=41622Algebra Linear2023-08-14T21:03:54Z<p>V1z: /* Livros Principais */</p>
<hr />
<div>Esta é a pagina principal de um curso de Álgebra Linear sendo ministrado em 2023/2 no [http://pt.wikipedia.org/wiki/IPRJ IPRJ]/[http://pt.wikipedia.org/wiki/IPRJ UERJ]. Trata-se de uma disciplina a nível de pós-graduação, útil como embasamento matemático para modelagem computacional, machine learning, métodos numéricos, e áreas afins.<br />
<br />
== Informacoes Gerais ==<br />
* Instrutor: prof. [http://rfabbri.github.io Ricardo Fabbri], Ph.D.<br />
* Periodo: 2023, segundo semestre, voltado ao Mestrado e Doutorado em Modelagem Computacional - Capes 6<br />
* Horario: Tercas e Quartas, 9:40-11:30am, sala 212<br />
<br />
=== Pre-requisitos ===<br />
* Teorico: Nenhum. Familiaridade com álgebra linear básica, geometria analítica e lógica matemática formal pode ser útil.<br />
<br />
== Avisos ==<br />
* Por email<br />
<br />
== Recursos Principais ==<br />
=== Bibliografia ===<br />
==== Livros Principais ====<br />
* [https://www.amazon.com/Linear-Algebra-2nd-Kenneth-Hoffman/dp/0135367972 Linear Algebra, Hoffman & Kunze, 2a. ed.]<br />
* [https://www.amazon.com/Linear-Algebra-Graduate-Texts-Mathematics-dp-1468494481/dp/1468494481 Linear Algebra, Greub, 4a ed.]<br />
<br />
==== Outros Livros ====<br />
<br />
=== Provas ===<br />
*P1: 27set23 <br />
*P2: 22nov23<br />
<br />
== Criterio de Avaliacao ==<br />
M = (P1 + P2)/2 <br />
<br />
== See also ==<br />
[[ALN|Curso de Algebra Linear Numerica de graduacao do IPRJ ]]<br />
<br />
[[Category:IPRJ]]<br />
[[Category:Lab Macambira]]</div>V1zhttp://wiki.nosdigitais.teia.org.br/index.php?title=Algebra_Linear&diff=41621Algebra Linear2023-08-14T21:03:23Z<p>V1z: /* Provas */</p>
<hr />
<div>Esta é a pagina principal de um curso de Álgebra Linear sendo ministrado em 2023/2 no [http://pt.wikipedia.org/wiki/IPRJ IPRJ]/[http://pt.wikipedia.org/wiki/IPRJ UERJ]. Trata-se de uma disciplina a nível de pós-graduação, útil como embasamento matemático para modelagem computacional, machine learning, métodos numéricos, e áreas afins.<br />
<br />
== Informacoes Gerais ==<br />
* Instrutor: prof. [http://rfabbri.github.io Ricardo Fabbri], Ph.D.<br />
* Periodo: 2023, segundo semestre, voltado ao Mestrado e Doutorado em Modelagem Computacional - Capes 6<br />
* Horario: Tercas e Quartas, 9:40-11:30am, sala 212<br />
<br />
=== Pre-requisitos ===<br />
* Teorico: Nenhum. Familiaridade com álgebra linear básica, geometria analítica e lógica matemática formal pode ser útil.<br />
<br />
== Avisos ==<br />
* Por email<br />
<br />
== Recursos Principais ==<br />
=== Bibliografia ===<br />
==== Livros Principais ====<br />
* [https://www.amazon.com/Linear-Algebra-Graduate-Texts-Mathematics-dp-1468494481/dp/1468494481 Linear Algebra, Greub, 4a ed.]<br />
* [https://www.amazon.com/Linear-Algebra-2nd-Kenneth-Hoffman/dp/0135367972 Linear Algebra, Hoffman & Kunze, 2a. ed.]<br />
<br />
==== Outros Livros ====<br />
<br />
=== Provas ===<br />
*P1: 27set23 <br />
*P2: 22nov23<br />
<br />
== Criterio de Avaliacao ==<br />
M = (P1 + P2)/2 <br />
<br />
== See also ==<br />
[[ALN|Curso de Algebra Linear Numerica de graduacao do IPRJ ]]<br />
<br />
[[Category:IPRJ]]<br />
[[Category:Lab Macambira]]</div>V1zhttp://wiki.nosdigitais.teia.org.br/index.php?title=Algebra_Linear&diff=41620Algebra Linear2023-08-14T18:21:38Z<p>V1z: /* See also */</p>
<hr />
<div>Esta é a pagina principal de um curso de Álgebra Linear sendo ministrado em 2023/2 no [http://pt.wikipedia.org/wiki/IPRJ IPRJ]/[http://pt.wikipedia.org/wiki/IPRJ UERJ]. Trata-se de uma disciplina a nível de pós-graduação, útil como embasamento matemático para modelagem computacional, machine learning, métodos numéricos, e áreas afins.<br />
<br />
== Informacoes Gerais ==<br />
* Instrutor: prof. [http://rfabbri.github.io Ricardo Fabbri], Ph.D.<br />
* Periodo: 2023, segundo semestre, voltado ao Mestrado e Doutorado em Modelagem Computacional - Capes 6<br />
* Horario: Tercas e Quartas, 9:40-11:30am, sala 212<br />
<br />
=== Pre-requisitos ===<br />
* Teorico: Nenhum. Familiaridade com álgebra linear básica, geometria analítica e lógica matemática formal pode ser útil.<br />
<br />
== Avisos ==<br />
* Por email<br />
<br />
== Recursos Principais ==<br />
=== Bibliografia ===<br />
==== Livros Principais ====<br />
* [https://www.amazon.com/Linear-Algebra-Graduate-Texts-Mathematics-dp-1468494481/dp/1468494481 Linear Algebra, Greub, 4a ed.]<br />
* [https://www.amazon.com/Linear-Algebra-2nd-Kenneth-Hoffman/dp/0135367972 Linear Algebra, Hoffman & Kunze, 2a. ed.]<br />
<br />
==== Outros Livros ====<br />
<br />
=== Provas ===<br />
*P1: <br />
*P2: <br />
<br />
== Criterio de Avaliacao ==<br />
M = (P1 + P2)/2 <br />
<br />
== See also ==<br />
[[ALN|Curso de Algebra Linear Numerica de graduacao do IPRJ ]]<br />
<br />
[[Category:IPRJ]]<br />
[[Category:Lab Macambira]]</div>V1zhttp://wiki.nosdigitais.teia.org.br/index.php?title=Algebra_Linear&diff=41619Algebra Linear2023-08-14T18:20:50Z<p>V1z: /* Livros Principais */ books</p>
<hr />
<div>Esta é a pagina principal de um curso de Álgebra Linear sendo ministrado em 2023/2 no [http://pt.wikipedia.org/wiki/IPRJ IPRJ]/[http://pt.wikipedia.org/wiki/IPRJ UERJ]. Trata-se de uma disciplina a nível de pós-graduação, útil como embasamento matemático para modelagem computacional, machine learning, métodos numéricos, e áreas afins.<br />
<br />
== Informacoes Gerais ==<br />
* Instrutor: prof. [http://rfabbri.github.io Ricardo Fabbri], Ph.D.<br />
* Periodo: 2023, segundo semestre, voltado ao Mestrado e Doutorado em Modelagem Computacional - Capes 6<br />
* Horario: Tercas e Quartas, 9:40-11:30am, sala 212<br />
<br />
=== Pre-requisitos ===<br />
* Teorico: Nenhum. Familiaridade com álgebra linear básica, geometria analítica e lógica matemática formal pode ser útil.<br />
<br />
== Avisos ==<br />
* Por email<br />
<br />
== Recursos Principais ==<br />
=== Bibliografia ===<br />
==== Livros Principais ====<br />
* [https://www.amazon.com/Linear-Algebra-Graduate-Texts-Mathematics-dp-1468494481/dp/1468494481 Linear Algebra, Greub, 4a ed.]<br />
* [https://www.amazon.com/Linear-Algebra-2nd-Kenneth-Hoffman/dp/0135367972 Linear Algebra, Hoffman & Kunze, 2a. ed.]<br />
<br />
==== Outros Livros ====<br />
<br />
=== Provas ===<br />
*P1: <br />
*P2: <br />
<br />
== Criterio de Avaliacao ==<br />
M = (P1 + P2)/2 <br />
<br />
== See also ==<br />
Curso de Algebra Linear Numerica de graduacao d IPRJ [[ALN]]<br />
<br />
[[Category:IPRJ]]<br />
[[Category:Lab Macambira]]</div>V1zhttp://wiki.nosdigitais.teia.org.br/index.php?title=Algebra_Linear&diff=41618Algebra Linear2023-08-14T17:22:53Z<p>V1z: inicio Algebra Linear 2023</p>
<hr />
<div>Esta é a pagina principal de um curso de Álgebra Linear sendo ministrado em 2023/2 no [http://pt.wikipedia.org/wiki/IPRJ IPRJ]/[http://pt.wikipedia.org/wiki/IPRJ UERJ]. Trata-se de uma disciplina a nível de pós-graduação, útil como embasamento matemático para modelagem computacional, machine learning, métodos numéricos, e áreas afins.<br />
<br />
== Informacoes Gerais ==<br />
* Instrutor: prof. [http://rfabbri.github.io Ricardo Fabbri], Ph.D.<br />
* Periodo: 2023, segundo semestre, voltado ao Mestrado e Doutorado em Modelagem Computacional - Capes 6<br />
* Horario: Tercas e Quartas, 9:40-11:30am, sala 212<br />
<br />
=== Pre-requisitos ===<br />
* Teorico: Nenhum. Familiaridade com álgebra linear básica, geometria analítica e lógica matemática formal pode ser útil.<br />
<br />
== Avisos ==<br />
* Por email<br />
<br />
== Recursos Principais ==<br />
=== Bibliografia ===<br />
==== Livros Principais ====<br />
* [https://www.amazon.com/Linear-Algebra-2nd-Kenneth-Hoffman/dp/0135367972 Linear Algebra, Hoffman & Kunze, 2a. ed.]<br />
<br />
==== Outros Livros ====<br />
<br />
=== Provas ===<br />
*P1: <br />
*P2: <br />
<br />
== Criterio de Avaliacao ==<br />
M = (P1 + P2)/2 <br />
<br />
== See also ==<br />
Curso de Algebra Linear Numerica de graduacao d IPRJ [[ALN]]<br />
<br />
[[Category:IPRJ]]<br />
[[Category:Lab Macambira]]</div>V1zhttp://wiki.nosdigitais.teia.org.br/index.php?title=Algebra_Linear_Numerica&diff=41610Algebra Linear Numerica2023-06-17T03:01:35Z<p>V1z: /* Entrega do Trabalho */</p>
<hr />
<div>Esta é a página oficial do curso de Álgebra Linear Numérica (graduação) do [http://en.wikipedia.org/wiki/IPRJ IPRJ]/UERJ Nova Friburgo, 2023, contendo material potencialmente útil ao publico geral.<br />
* Links para os cursos de '''[[ALN2012|2012]]''', '''[[ALN2013|2013]]''', '''[[ALN2015|2015]]''', '''[[ALN2016|2016]]''', '''[[ALN2018|2018]]''', '''[[ALN2019|2019]]''' e '''[[ALN2022|2022]]'''<br />
<br />
= Informacao Basica =<br />
* Instrutor: [http://rfabbri.github.io prof. Ricardo Fabbri, Ph.D.]<br />
==Horario==<br />
* Segundas 9:40-12:20 Sala 217<br />
* Quintas 7:50-9:40 Sala 217<br />
Duvidas: agendar individualmente com o professor ou procura-lo na sala 110<br />
<br />
== Avisos ==<br />
* Por email<br />
* Tambem ver Moodle (caso seja usado)<br />
<br />
== Software ==<br />
* Usaremos o [[Scilab]] primariamente. Para explorar algoritmos de porte pequeno e médio com matrizes, as linguagens do tipo Lab (como Matlab, Scilab e Octave) são as mais simples, úteis e diretas.<br />
** Ver funcoes <tt>svd</tt>, <tt>sva</tt>, e '<tt>\</tt>' (barra invertida)<br />
* Python e Octave sao alternativas aceitaveis<br />
<br />
== Tarefas e Projetos ==<br />
<br />
As tarefas devem ser formatadas com notacao matematica adequada, preferencialmente em [[Latex]].<br />
<br />
'''Somente serao aceitos arquivos eletronicos no formato PDF ou outro formato aberto como .odt'''<br />
<br />
Quando a tarefa involver qualquer programacao, o aluno devera enviar o codigo fonte. O codigo junto com a documentacao devera estar dentro de um<br />
unico diretorio comprimido com .zip ou tar, com o nome do aluno, disciplina e data.<br />
<br />
Enviar todo email com a tag "ALNIPRJ" no subject para garantir recebimento.<br />
<br />
=== Tarefa 0 ===<br />
* Assistir videos introdutorios do curso relacionado ALN+ARN 2022: <br />
# Motivacao dos cursos de Algebra Linear Numerica e Analise no Rn para computacao Prof Fabbri https://youtu.be/Tm5F2t3NriI<br />
# Continuacao do prof Francisco https://youtu.be/1o-pUSbkQK (video privado - adicione a letra g ao final da URL)<br />
* Ler Aula 1 Apostila da disciplina (apostila prof. Fabbri listada nas referencias)<br />
* Professor ira escolher alunos para comentar em aula *parte por parte* do video, em especial discutiremos a opiniao do(a) aluno(a) sobre essas disciplinas no curso de computacao, e receber bonus<br />
<br />
=== Tarefa 1 ===<br />
* SVD + Scilab<br />
** Plotar circulo unitario<br />
** Escolha uma matriz A<br />
** Transformar cada ponto por A<br />
** '''SVD visual: visualizar os eixos e esticamento da transformacao efetuada por A'''. <br />
** Realizar SVD usando a funcao SVD propriamente dita<br />
** '''Analise a relacao dos eixos encontrados visualmente com as matrizes U e V.'''<br />
** Repetir com outras matrizes A, aleatorias e nao-aleatorias. Qual o poder de modelagem de matrizes na pratica que voce pode observar assim?<br />
** Digitar o resultado, preferencialmente em [[Latex]], e entregar por email ou impresso.<br />
<br />
=== Tarefa 2: Ajuste de curvas ===<br />
Uma das principais aplicações dos métodos numéricos de álgebra linear vistos em<br />
aulas consiste na solução de sistemas por mínimos quadrados. Isto, por sua vez,<br />
é muito útil para ajustar curvas algébricas (polinomiais) a dados experimentais,<br />
por exemplo: encontrar retas, círculos, ou outras cônicas que passam próximos de<br />
dado um conjunto de pontos.<br />
* Ajuste de reta (opcional - para aprendizado apenas)<br />
** simule a geração de um conjunto sintético de pontos "experimentais" ao longo de uma reta e os perturbe com a função <tt>rand()</tt> ao longo de cada coordenada<br />
** use a "barra invertida" '<tt>\</tt>' do Scilab para gerar a curva que mais se aproxima dos pontos gerados<br />
** plote seus resultados para diferentes intensidades de ruído<br />
* Ajuste de cônicas (obrigatorio)<br />
** simule a geração de um conjunto sintético de pontos "experimentais" ao longo de uma curva polinomial bi-dimensional de grau 2 (círculo, parábola, elipse..) e os perturbe com a função <tt>rand()</tt> ao longo de cada coordenada<br />
** use a "barra invertida" '<tt>\</tt>' do Scilab para gerar a curva que mais se aproxima dos dados gerados<br />
** plote seus resultados para diferentes intensidades de ruído<br />
<br />
=== Projeto de Reconhecimento de Faces ===<br />
<br />
<br />
==== Exemplo de Album com Algumas Faces (Facebook upload) ====<br />
[[Imagem:Album1.png|300px]]<br />
<br />
==== Exemplo de Faces detectadas, a serem reconhecidas no projeto (logo apos Facebook upload) ====<br />
[[Imagem:Album2-faces.png|300px]]<br />
<br />
==== Procedimento ====<br />
<br />
1) Monte um grupo de colegas, de 2-3 pessoas, para fazer o trabalho: '''Definir ate 1a aula apos P1''' (2023: definir na apresentação de progresso parcial)<br />
<br />
2) Baixe este conjunto de bases de dados de faces: [https://github.com/rfabbri/recdev RecDev]<br />
<br />
3) Inicie com a base de dados very-easy. Siga as instrucoes no README<br />
<br />
4) Uma vez debugado seu reconhecedor, forneca uma taxa de acerto, usando validacao cruzada separando parte das fotos para treino, parte para teste, e fazendo uma media da taxa de acerto para varias particoes diferentes. Recomendo iniciar com o procedimento retirar 1 foto por pessoa para teste, e usar o restante para reconhecimento, e repetir o processo 10 vezes para comecar. O pseudocodigo fica assim:<br />
<br />
erro_medio := 0<br />
faca n vezes // n seria o numero de simulacoes, por exemplo, 10<br />
bd_treino := base de dados completa (todas as fotos)<br />
para cada pessoa p<br />
bd_treino := bd_treino menos uma foto aleatoria da pessoa p<br />
adicione a bd_teste essa foto aleatoria<br />
<br />
treine seu reconhecedor com a base de dados bd_treino<br />
erro_novo := calcule a taxa de erro testando o reconhecedor nas fotos em bd_teste<br />
erro_medio := erro_medio + erro_novo<br />
fim faca<br />
erro_medio = erro_medio/n<br />
mostre o erro medio<br />
bonus: mostre a matriz de confusao<br />
<br />
5) Use essa validacao cruzada para melhorar seu reconhecedor. Melhore esse codigo para poder examinar os casos de erro, analise, escreva no seu relatorio sua analise, e tente procurar a fonte do erro e melhorar o reconhecedor.<br />
<br />
6) Sera dada maior nota aos alunos que implementarem esse codigo com indices, sem precisar copiar as fotos na memoria para gerar bd_treino e bd_teste. Ao ler imagens, seu codigo tambem devera ser independente do numero de imagens.<br />
<br />
7) Uma vez debugado seu reconhecedor e validacao cruzada, rode nas bases easy, medium, hard e extras/facebookfaces e extras/facebookfaces2. Relate seus resultados e dificuldades. Se nao rodar em alguma dessas, ou se o relatorio nao tiver resultados condizentes, a nota sera penalizada.<br />
<br />
* Recomendamos dividir o trabalho da seguinte forma: apos especificar a leitura da base de dados a partir dos arquivos e o formato da base de dados na linguagem, outro colega deve implementar a validacao cruzada.<br />
* Seu codigo deve funcionar para um numero de fotos diferentes por pessoa. Por exemplo, 5 fotos para a pessoa 1, e 3 fotos para a pessoa 2.<br />
* Pode assumir que as imagens sao 100x100<br />
* Codigo para ajudar no trabalho: Rotinas PCA em scilab [https://github.com/rfabbri/siptoolbox/blob/master/macros/sip_pca.sci sip_pca.sci], [https://github.com/rfabbri/siptoolbox/blob/master/macros/sip_pca_project.sci sip_pca_project.sci]. Use a seguinte rotina para aprender a usar este codigo: [https://github.com/rfabbri/siptoolbox/blob/master/macros/sip_pca_test.sce sip_pca_test.sce]<br />
* Fragmentos de codigo de anos anteriores (so pra ter uma ideia, o seu codigo devera ser muito melhor): [https://github.com/rfabbri/aln-src aln-src]<br />
<br />
==== Entrega do Trabalho ====<br />
<br />
* Apresentação Parcial ''(26jun23)''<br />
** Etapa 4 acima, e etapa 3 descrita no readme da base recdev (classificador simples e sua validacao)<br />
** A apresentação será informal, todos os membros do grupo devem falar, e duvidas devem ser tiradas. <br />
** Nao precisa fazer slides, mas sim rodar código na hora.<br />
<br />
* Relatorio <br />
** '''Data de entrega:''' '''10jul23'''(era: 2 semanas antes da P2 até a meia-noite)<br />
** Secoes Obrigatorias:<br />
*** Introducao<br />
*** Descricao clara do problema<br />
*** Descricao da implementacao<br />
*** '''Mais importante:''' Descricao do processo de desenvolvimento <br />
**** Experimentos, discussao, analise dos resultados e '''estudo detalhado dos casos de falha'''.<br />
*** Conclusao e ideias para trabalho futuro<br />
*** Cada membro do grupo deverá também escrever uma seção de, no mínimo, 2 páginas relatando sua contribuição e experiencia com o trabalho<br />
<br />
* Codigo<br />
** '''Data de entrega:''' '''14jul23'''(era: 1 semana antes da P2 até a meia-noite) (melhoras podem ser entregues ate 3 dias antes da Pf)<br />
** Dividir a entrega do codigo em 2 partes:<br />
*** Codigo-fonte<br />
**** README devera incluir instrucoes detalhadas de como rodar o codigo<br />
**** Calcular a taxa de acerto do algoritmo em validacao cruzada<br />
<br />
'''Aviso:''' <br />
* Criterio de avaliacao: A nota de trabalho sera dada com base na qualidade do relatorio<br />
* '''Bonus #1:''' O grupo que tiver melhor performance obtera nota 10.0 no trabalho. O segundo melhor grupo obtera um bonus de 2 pontos no trabalho.<br />
** A taxa de reconhecimento sera medida em uma base elaborada pelo professor durante a correcao, sem o conhecimento previo do aluno. <br />
** A base de treinamento sera entregue ao aluno no mesmo formato da base <tt>recdev</tt> acima, no '''dia 10jul23'''<br />
** A performance para bonus sera medida na presenca do professor, durante processo de correcao em horario de aula no '''dia 13jul23''', usando-se uma base de teste fornecida no ato. O formato da base de teste sera da seguinte forma:<br />
*** arquivos no formato <pre><id_pessoa>-<id_foto>.jpg</pre> todas na mesma pasta<br />
*** Por exemplo, 17-3.jpg seria pessoa 17, foto numero 3 da base de teste<br />
*** Este id nao tem relacao com o id usado na base de treino<br />
*** Se houver mais de uma foto teste por pessoa, seu sistema pode usar todas essas fotos para tentar identificar a pessoa<br />
*** Tarefa do seu algoritmo: dadas diversas fotos de uma mesma pessoa desconhecida, do tipo: <pre>17-1.jpg, 17-2.jpg, 17-3.jpg, 17-4.jpg, 17-5.jpg</pre> Qual o id real dessa pessoa 17 na base de treino? Serao apresentadas varias pessoas, e o grupo que acertar mais vence. Nao sera permitido adaptacao do codigo, exceto para mostrar a pasta de teste.<br />
* O relatorio de cada aluno tambem devera conter um relato da participacao na competicao do bonus, e ira contar na nota do trabalho mesmo se nao ganhar o bonus<br />
<br />
=== Projeto: Análise de Redes Sociais ===<br />
<br />
Neste projeto o aluno coletara uma rede social, por exemplo a rede de amigos do<br />
facebook, ou uma rede de troca de mensagens de email, e fara uma análise dos nós mais importantes em relação a PageRank e<br />
outras características de difusão na topologia do grafo. Isso poderia ser util,<br />
por exemplo, para ordenar a sua lista de amigos por ordem de amigo mais<br />
"influente", ou para identificar maneiras de aumentar sua conexao<br />
na rede (por exemplo, numa rede de negocios).<br />
<br />
Os passos do projeto sao:<br />
<br />
# Obter sua rede social no formato GML<br />
## Redes de troca de emails: http://hera.ethymos.com.br:1080/redes/python/autoRede/escolheRedes.php<br />
## Sua rede amigos do facebook: http://snacourse.com/getnet/<br />
# Visualizar a rede no software Gephi<br />
## Baixe o Gephi em https://gephi.org<br />
## Realize o tutorial basico do Gephi (do menu Help)<br />
## Abrir o arquivo GML no Gephi<br />
# Obter a matriz de Markov dessa rede no Scilab, considerando pesos nas arestas como no algoritmo PageRank<br />
## Exportar a rede como matriz de adjacencias no Gephi (aprender como fazer)<br />
# Calcular o autovetor dominante (PageRank) no Scilab<br />
# Interpretar o que isso pode vir a dizer sobre a importância relativa dos seus amigos na rede de amizades<br />
## Por exemplo, a pessoa tem muitos amigos que tem muitos amigos<br />
## O que um caminhante aleatório ou quer dizer aqui? Discuta o que um processo de difusao significaria na rede de amizades. Talvez uma rede de indicacoes?<br />
## Invente alguma outra medida nessa rede da importancia relativa dos nos<br />
<br />
<br />
==== Links interessantes ====<br />
* veja nossas aulas sobre grafos e matrizes<br />
* labmacambira.sf.net/redes<br />
* [[ARS| Análise de redes sociais]]<br />
<br />
== Conteudo aproximado ==<br />
* Foco: [http://pt.wikipedia.org/wiki/SVD SVD]/Singular Value decomposition, auto-valores/auto-vetores, [http://pt.wikipedia.org/wiki/PCA PCA/Principal Component Analysis], demais decomposicoes matriciais.<br />
<br />
<br />
== Recursos principais ==<br />
* [https://github.com/rfabbri/aln-book/raw/master/fabbri-lecture-notes-aln.pdf Apostila prof. Fabbri]<br />
* Excelente livro recente cobrindo partes deste curso: Applied Linear Algebra, Peter J. Olver and Chehrzad Shakiban<br />
[[Arquivo:Ala2-olver-signature.png|200px|thumb|PDF assinado pelos autores para prof. Fabbri|link=http://www-users.math.umn.edu/~olver/ala.html]]<br />
* Livro classico: "Matrix Computations", Gene Golub et. al. (inventor do algoritimo mais usado de SVD).<br />
[[Arquivo:Golub-vanloan-thumb.jpg|link=https://www.amazon.com/Computations-Hopkins-Studies-Mathematical-Sciences/dp/1421407949]]<br />
<br />
=== Outros Recursos ===<br />
<br />
* Nao ha livro texto no nivel desta disciplina. mas veja a bibliografia do curso de Analise Matricial da Pos:<br />
** Outro livro: "Numerical Matrix Analysis", Ilse Ipsen http://www2.alibris-static.com/isbn/9780898716764.gif<br />
** Veja tambem os livros do Gilbert Strang.<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/fabbri-coordinate_changes.pdf Notas sobre sistemas de coordenadas, matriz relativa a dadas bases, rotacoes (pdf)]<br />
<br />
=== Aulas: Listagem parcial===<br />
<br />
* Primeiras aulas: overview, SVD, PCA, aplicacoes, notacao, bases vs sistemas de coordenadas<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/aula-rotacoes-sistemas-coordenadas-20120322.odp Rotacoes e Sistemas de Coordenadas]<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/aula-rotacoes-sistemas-coordenadas-20120404.odp Rotacoes e Sistemas de Coordenadas]<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/aula-svd-02.odp SVD]<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/informal-lecture-notes-numerical_linear_algebra-cardo_fabbri-whiteboard-20120627.pdf Aula Informal projeto e relatorio eigenfaces/PCA]<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/informal-lecture-notes-numerical_linear_algebra-cardo_fabbri-whiteboard-20120704.pdf Aula Informal PCA]<br />
* [http://wiki.nosdigitais.teia.org.br/Imagem:Aula-grafos-matrizes-201306.pdf Grafos e matrizes, cadeias de Markov, laplaciano de grafos]<br />
* [http://wiki.nosdigitais.teia.org.br/Imagem:Aula-pagerank.pdf PageRank e outras tecnicas de Ranking, reducao de dimensionalidade, e machine learning]. Ver tambem [http://www.ams.org/samplings/feature-column/fcarc-pagerank]<br />
<br />
==== Para referencia: aulas de Analise Matricial: listagem parcial ====<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/01-analise_matricial-2012-livro_cap01.odp Matrizes, Notacao e Conceitos Elementares] (~cap 1 livro)<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/02-analise_matricial-2012-livro_cap02_parte1.odp Sensitividade, Erros e Normas - parte 1] (cobre cap 2 livro ate normas de matrizes)<br />
<br />
=== Provas ===<br />
* '''P1:''' Provas anteriores: [http://wiki.nosdigitais.teia.org.br/Imagem:P1-aln.pdf 2012]<br />
* '''P2:''' 17jul23<br />
* '''Final-Sub:''' 24jul23<br />
<br />
=== Criterio de Avaliacao ===<br />
* '''Trabalhos:''' 20% da media - o ultimo trabalho (reconhecimento) valera a metade disto, ou seja, 10% da media.<br />
* '''Bonus de participacao:''' 10%-20% a nota total trabalhos e tarefas T, ''adicionais''. A criterio do professor, incluindo presenca em aula, participacao em aula, esforco de realizar tarefas excelentes e ir alem do esperado.<br />
* O criterio final ficou (favor avisar se precisar adicionar detalhes ou corrigir no caso de erro/discrepancia):<br />
<br />
<small><br />
M_p = (P1 + P2)/2 <br />
M = 0.8*M_p + 0.2*T (atualizado de 10% para 20% com acordo dos alunos), onde T é a nota dos trabalhos<br />
Se M >= 5, passou --> M (''facilitando: considere T=10,0 no M `a esquerda desta desigualdade aqui'')<br />
prova final - faz quem quiser, mas combinamos que teria de seria feita por quem obtiver M < 5 <br />
- facilitando: considere T=10,0 e calcule uma media M otimista, para ver se precisa fazer a final. ou seja:<br />
<br />
- Se M_p < 6.25, precisa fazer final! *************************<br />
<br />
M_f = 0.5*(M + P_f) = 0.5*(0.8M_p + 0.2*T + P_f) = 0.2*P1 + 0.2*P2 + 0.5*P_f + 0.1*T<br />
Se M_f >= 5, passa --> M_f<br />
Sub: repoe menor de P1, P2, P_f (apenas se alguem faltou alguma prova ou quiser melhorar nota - mas quem entregar ira substituir)<br />
M_sub = media com sub<br />
Se M_sub >= 5, passou --> M_sub<br />
<br />
Adendo (em acordo com os alunos): a M_sub = M_f pois sera considerada a mesma prova. Quem for usar a prova como Sub ira substituir a nota independentemente do resultado.<br />
</small><br />
<br />
== Awesome Links ==<br />
* Curso moderno e basico on-line da Brown University sobre algebra linear e aplicacoes [http://coursera.org/course/matrix] <br />
* Curso on-line da University of Texas at Austin, Linear Algebra - Foundations to Frontiers: Learn the theory of linear algebra hand-in-hand with the practice of software library development [https://www.edx.org/course/utaustin/ut-5-01x/linear-algebra-foundations/1162]<br />
=== Machine learning com Algebra Linear Numerica ===<br />
* [https://en.wikipedia.org/wiki/Non-negative_matrix_factorization Non-negative matrix factorization]<br />
* [https://scikit-learn.org/stable/auto_examples/decomposition/plot_incremental_pca.html Incremental PCA]<br />
<br />
[[Category:IPRJ]]<br />
[[Category:Lab Macambira]]</div>V1zhttp://wiki.nosdigitais.teia.org.br/index.php?title=Algebra_Linear_Numerica&diff=41609Algebra Linear Numerica2023-06-17T03:00:21Z<p>V1z: /* Entrega do Trabalho */</p>
<hr />
<div>Esta é a página oficial do curso de Álgebra Linear Numérica (graduação) do [http://en.wikipedia.org/wiki/IPRJ IPRJ]/UERJ Nova Friburgo, 2023, contendo material potencialmente útil ao publico geral.<br />
* Links para os cursos de '''[[ALN2012|2012]]''', '''[[ALN2013|2013]]''', '''[[ALN2015|2015]]''', '''[[ALN2016|2016]]''', '''[[ALN2018|2018]]''', '''[[ALN2019|2019]]''' e '''[[ALN2022|2022]]'''<br />
<br />
= Informacao Basica =<br />
* Instrutor: [http://rfabbri.github.io prof. Ricardo Fabbri, Ph.D.]<br />
==Horario==<br />
* Segundas 9:40-12:20 Sala 217<br />
* Quintas 7:50-9:40 Sala 217<br />
Duvidas: agendar individualmente com o professor ou procura-lo na sala 110<br />
<br />
== Avisos ==<br />
* Por email<br />
* Tambem ver Moodle (caso seja usado)<br />
<br />
== Software ==<br />
* Usaremos o [[Scilab]] primariamente. Para explorar algoritmos de porte pequeno e médio com matrizes, as linguagens do tipo Lab (como Matlab, Scilab e Octave) são as mais simples, úteis e diretas.<br />
** Ver funcoes <tt>svd</tt>, <tt>sva</tt>, e '<tt>\</tt>' (barra invertida)<br />
* Python e Octave sao alternativas aceitaveis<br />
<br />
== Tarefas e Projetos ==<br />
<br />
As tarefas devem ser formatadas com notacao matematica adequada, preferencialmente em [[Latex]].<br />
<br />
'''Somente serao aceitos arquivos eletronicos no formato PDF ou outro formato aberto como .odt'''<br />
<br />
Quando a tarefa involver qualquer programacao, o aluno devera enviar o codigo fonte. O codigo junto com a documentacao devera estar dentro de um<br />
unico diretorio comprimido com .zip ou tar, com o nome do aluno, disciplina e data.<br />
<br />
Enviar todo email com a tag "ALNIPRJ" no subject para garantir recebimento.<br />
<br />
=== Tarefa 0 ===<br />
* Assistir videos introdutorios do curso relacionado ALN+ARN 2022: <br />
# Motivacao dos cursos de Algebra Linear Numerica e Analise no Rn para computacao Prof Fabbri https://youtu.be/Tm5F2t3NriI<br />
# Continuacao do prof Francisco https://youtu.be/1o-pUSbkQK (video privado - adicione a letra g ao final da URL)<br />
* Ler Aula 1 Apostila da disciplina (apostila prof. Fabbri listada nas referencias)<br />
* Professor ira escolher alunos para comentar em aula *parte por parte* do video, em especial discutiremos a opiniao do(a) aluno(a) sobre essas disciplinas no curso de computacao, e receber bonus<br />
<br />
=== Tarefa 1 ===<br />
* SVD + Scilab<br />
** Plotar circulo unitario<br />
** Escolha uma matriz A<br />
** Transformar cada ponto por A<br />
** '''SVD visual: visualizar os eixos e esticamento da transformacao efetuada por A'''. <br />
** Realizar SVD usando a funcao SVD propriamente dita<br />
** '''Analise a relacao dos eixos encontrados visualmente com as matrizes U e V.'''<br />
** Repetir com outras matrizes A, aleatorias e nao-aleatorias. Qual o poder de modelagem de matrizes na pratica que voce pode observar assim?<br />
** Digitar o resultado, preferencialmente em [[Latex]], e entregar por email ou impresso.<br />
<br />
=== Tarefa 2: Ajuste de curvas ===<br />
Uma das principais aplicações dos métodos numéricos de álgebra linear vistos em<br />
aulas consiste na solução de sistemas por mínimos quadrados. Isto, por sua vez,<br />
é muito útil para ajustar curvas algébricas (polinomiais) a dados experimentais,<br />
por exemplo: encontrar retas, círculos, ou outras cônicas que passam próximos de<br />
dado um conjunto de pontos.<br />
* Ajuste de reta (opcional - para aprendizado apenas)<br />
** simule a geração de um conjunto sintético de pontos "experimentais" ao longo de uma reta e os perturbe com a função <tt>rand()</tt> ao longo de cada coordenada<br />
** use a "barra invertida" '<tt>\</tt>' do Scilab para gerar a curva que mais se aproxima dos pontos gerados<br />
** plote seus resultados para diferentes intensidades de ruído<br />
* Ajuste de cônicas (obrigatorio)<br />
** simule a geração de um conjunto sintético de pontos "experimentais" ao longo de uma curva polinomial bi-dimensional de grau 2 (círculo, parábola, elipse..) e os perturbe com a função <tt>rand()</tt> ao longo de cada coordenada<br />
** use a "barra invertida" '<tt>\</tt>' do Scilab para gerar a curva que mais se aproxima dos dados gerados<br />
** plote seus resultados para diferentes intensidades de ruído<br />
<br />
=== Projeto de Reconhecimento de Faces ===<br />
<br />
<br />
==== Exemplo de Album com Algumas Faces (Facebook upload) ====<br />
[[Imagem:Album1.png|300px]]<br />
<br />
==== Exemplo de Faces detectadas, a serem reconhecidas no projeto (logo apos Facebook upload) ====<br />
[[Imagem:Album2-faces.png|300px]]<br />
<br />
==== Procedimento ====<br />
<br />
1) Monte um grupo de colegas, de 2-3 pessoas, para fazer o trabalho: '''Definir ate 1a aula apos P1''' (2023: definir na apresentação de progresso parcial)<br />
<br />
2) Baixe este conjunto de bases de dados de faces: [https://github.com/rfabbri/recdev RecDev]<br />
<br />
3) Inicie com a base de dados very-easy. Siga as instrucoes no README<br />
<br />
4) Uma vez debugado seu reconhecedor, forneca uma taxa de acerto, usando validacao cruzada separando parte das fotos para treino, parte para teste, e fazendo uma media da taxa de acerto para varias particoes diferentes. Recomendo iniciar com o procedimento retirar 1 foto por pessoa para teste, e usar o restante para reconhecimento, e repetir o processo 10 vezes para comecar. O pseudocodigo fica assim:<br />
<br />
erro_medio := 0<br />
faca n vezes // n seria o numero de simulacoes, por exemplo, 10<br />
bd_treino := base de dados completa (todas as fotos)<br />
para cada pessoa p<br />
bd_treino := bd_treino menos uma foto aleatoria da pessoa p<br />
adicione a bd_teste essa foto aleatoria<br />
<br />
treine seu reconhecedor com a base de dados bd_treino<br />
erro_novo := calcule a taxa de erro testando o reconhecedor nas fotos em bd_teste<br />
erro_medio := erro_medio + erro_novo<br />
fim faca<br />
erro_medio = erro_medio/n<br />
mostre o erro medio<br />
bonus: mostre a matriz de confusao<br />
<br />
5) Use essa validacao cruzada para melhorar seu reconhecedor. Melhore esse codigo para poder examinar os casos de erro, analise, escreva no seu relatorio sua analise, e tente procurar a fonte do erro e melhorar o reconhecedor.<br />
<br />
6) Sera dada maior nota aos alunos que implementarem esse codigo com indices, sem precisar copiar as fotos na memoria para gerar bd_treino e bd_teste. Ao ler imagens, seu codigo tambem devera ser independente do numero de imagens.<br />
<br />
7) Uma vez debugado seu reconhecedor e validacao cruzada, rode nas bases easy, medium, hard e extras/facebookfaces e extras/facebookfaces2. Relate seus resultados e dificuldades. Se nao rodar em alguma dessas, ou se o relatorio nao tiver resultados condizentes, a nota sera penalizada.<br />
<br />
* Recomendamos dividir o trabalho da seguinte forma: apos especificar a leitura da base de dados a partir dos arquivos e o formato da base de dados na linguagem, outro colega deve implementar a validacao cruzada.<br />
* Seu codigo deve funcionar para um numero de fotos diferentes por pessoa. Por exemplo, 5 fotos para a pessoa 1, e 3 fotos para a pessoa 2.<br />
* Pode assumir que as imagens sao 100x100<br />
* Codigo para ajudar no trabalho: Rotinas PCA em scilab [https://github.com/rfabbri/siptoolbox/blob/master/macros/sip_pca.sci sip_pca.sci], [https://github.com/rfabbri/siptoolbox/blob/master/macros/sip_pca_project.sci sip_pca_project.sci]. Use a seguinte rotina para aprender a usar este codigo: [https://github.com/rfabbri/siptoolbox/blob/master/macros/sip_pca_test.sce sip_pca_test.sce]<br />
* Fragmentos de codigo de anos anteriores (so pra ter uma ideia, o seu codigo devera ser muito melhor): [https://github.com/rfabbri/aln-src aln-src]<br />
<br />
==== Entrega do Trabalho ====<br />
<br />
* Apresentação Parcial ''(26jun23)''<br />
** Etapa 4 acima, e etapa 3 descrita no readme da base recdev (classificador simples e sua validacao)<br />
** A apresentação será informal, todos os membros do grupo devem falar, e duvidas devem ser tiradas. <br />
** Nao precisa fazer slides, mas sim rodar código na hora.<br />
<br />
* Relatorio <br />
** '''Data de entrega:''' '''10jul23'''(era: 2 semanas antes da P2 até a meia-noite)<br />
** Secoes Obrigatorias:<br />
*** Introducao<br />
*** Descricao clara do problema<br />
*** Descricao da implementacao<br />
*** '''Mais importante:''' Descricao do processo de desenvolvimento <br />
**** Experimentos, discussao, analise dos resultados e '''estudo detalhado dos casos de falha'''.<br />
*** Conclusao e ideias para trabalho futuro<br />
*** Cada membro do grupo deverá também escrever uma seção de, no mínimo, 2 páginas relatando sua contribuição e experiencia com o trabalho<br />
<br />
* Codigo<br />
** '''Data de entrega:''' '''14jul23'''(era: 1 semana antes da P2 até a meia-noite) (melhoras podem ser entregues ate 3 dias antes da Pf)<br />
** Dividir a entrega do codigo em 2 partes:<br />
*** Codigo-fonte<br />
**** README devera incluir instrucoes detalhadas de como rodar o codigo<br />
**** Calcular a taxa de acerto do algoritmo em validacao cruzada<br />
** melhorias podem ser entregues juntos ao relatorio, desde que, no minimo, o codigo esteja fornecendo uma taxa de acerto e rodando nas bases easy e very-easy<br />
<br />
'''Aviso:''' <br />
* Criterio de avaliacao: A nota de trabalho sera dada com base na qualidade do relatorio<br />
* '''Bonus #1:''' O grupo que tiver melhor performance obtera nota 10.0 no trabalho. O segundo melhor grupo obtera um bonus de 2 pontos no trabalho.<br />
** A taxa de reconhecimento sera medida em uma base elaborada pelo professor durante a correcao, sem o conhecimento previo do aluno. <br />
** A base de treinamento sera entregue ao aluno no mesmo formato da base <tt>recdev</tt> acima, no '''dia 10jul23'''<br />
** A performance para bonus sera medida na presenca do professor, durante processo de correcao em horario de aula no '''dia 13jul23''', usando-se uma base de teste fornecida no ato. O formato da base de teste sera da seguinte forma:<br />
*** arquivos no formato <pre><id_pessoa>-<id_foto>.jpg</pre> todas na mesma pasta<br />
*** Por exemplo, 17-3.jpg seria pessoa 17, foto numero 3 da base de teste<br />
*** Este id nao tem relacao com o id usado na base de treino<br />
*** Se houver mais de uma foto teste por pessoa, seu sistema pode usar todas essas fotos para tentar identificar a pessoa<br />
*** Tarefa do seu algoritmo: dadas diversas fotos de uma mesma pessoa desconhecida, do tipo: <pre>17-1.jpg, 17-2.jpg, 17-3.jpg, 17-4.jpg, 17-5.jpg</pre> Qual o id real dessa pessoa 17 na base de treino? Serao apresentadas varias pessoas, e o grupo que acertar mais vence. Nao sera permitido adaptacao do codigo, exceto para mostrar a pasta de teste.<br />
* O relatorio de cada aluno tambem devera conter um relato da participacao na competicao do bonus, e ira contar na nota do trabalho mesmo se nao ganhar o bonus<br />
<br />
=== Projeto: Análise de Redes Sociais ===<br />
<br />
Neste projeto o aluno coletara uma rede social, por exemplo a rede de amigos do<br />
facebook, ou uma rede de troca de mensagens de email, e fara uma análise dos nós mais importantes em relação a PageRank e<br />
outras características de difusão na topologia do grafo. Isso poderia ser util,<br />
por exemplo, para ordenar a sua lista de amigos por ordem de amigo mais<br />
"influente", ou para identificar maneiras de aumentar sua conexao<br />
na rede (por exemplo, numa rede de negocios).<br />
<br />
Os passos do projeto sao:<br />
<br />
# Obter sua rede social no formato GML<br />
## Redes de troca de emails: http://hera.ethymos.com.br:1080/redes/python/autoRede/escolheRedes.php<br />
## Sua rede amigos do facebook: http://snacourse.com/getnet/<br />
# Visualizar a rede no software Gephi<br />
## Baixe o Gephi em https://gephi.org<br />
## Realize o tutorial basico do Gephi (do menu Help)<br />
## Abrir o arquivo GML no Gephi<br />
# Obter a matriz de Markov dessa rede no Scilab, considerando pesos nas arestas como no algoritmo PageRank<br />
## Exportar a rede como matriz de adjacencias no Gephi (aprender como fazer)<br />
# Calcular o autovetor dominante (PageRank) no Scilab<br />
# Interpretar o que isso pode vir a dizer sobre a importância relativa dos seus amigos na rede de amizades<br />
## Por exemplo, a pessoa tem muitos amigos que tem muitos amigos<br />
## O que um caminhante aleatório ou quer dizer aqui? Discuta o que um processo de difusao significaria na rede de amizades. Talvez uma rede de indicacoes?<br />
## Invente alguma outra medida nessa rede da importancia relativa dos nos<br />
<br />
<br />
==== Links interessantes ====<br />
* veja nossas aulas sobre grafos e matrizes<br />
* labmacambira.sf.net/redes<br />
* [[ARS| Análise de redes sociais]]<br />
<br />
== Conteudo aproximado ==<br />
* Foco: [http://pt.wikipedia.org/wiki/SVD SVD]/Singular Value decomposition, auto-valores/auto-vetores, [http://pt.wikipedia.org/wiki/PCA PCA/Principal Component Analysis], demais decomposicoes matriciais.<br />
<br />
<br />
== Recursos principais ==<br />
* [https://github.com/rfabbri/aln-book/raw/master/fabbri-lecture-notes-aln.pdf Apostila prof. Fabbri]<br />
* Excelente livro recente cobrindo partes deste curso: Applied Linear Algebra, Peter J. Olver and Chehrzad Shakiban<br />
[[Arquivo:Ala2-olver-signature.png|200px|thumb|PDF assinado pelos autores para prof. Fabbri|link=http://www-users.math.umn.edu/~olver/ala.html]]<br />
* Livro classico: "Matrix Computations", Gene Golub et. al. (inventor do algoritimo mais usado de SVD).<br />
[[Arquivo:Golub-vanloan-thumb.jpg|link=https://www.amazon.com/Computations-Hopkins-Studies-Mathematical-Sciences/dp/1421407949]]<br />
<br />
=== Outros Recursos ===<br />
<br />
* Nao ha livro texto no nivel desta disciplina. mas veja a bibliografia do curso de Analise Matricial da Pos:<br />
** Outro livro: "Numerical Matrix Analysis", Ilse Ipsen http://www2.alibris-static.com/isbn/9780898716764.gif<br />
** Veja tambem os livros do Gilbert Strang.<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/fabbri-coordinate_changes.pdf Notas sobre sistemas de coordenadas, matriz relativa a dadas bases, rotacoes (pdf)]<br />
<br />
=== Aulas: Listagem parcial===<br />
<br />
* Primeiras aulas: overview, SVD, PCA, aplicacoes, notacao, bases vs sistemas de coordenadas<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/aula-rotacoes-sistemas-coordenadas-20120322.odp Rotacoes e Sistemas de Coordenadas]<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/aula-rotacoes-sistemas-coordenadas-20120404.odp Rotacoes e Sistemas de Coordenadas]<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/aula-svd-02.odp SVD]<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/informal-lecture-notes-numerical_linear_algebra-cardo_fabbri-whiteboard-20120627.pdf Aula Informal projeto e relatorio eigenfaces/PCA]<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/informal-lecture-notes-numerical_linear_algebra-cardo_fabbri-whiteboard-20120704.pdf Aula Informal PCA]<br />
* [http://wiki.nosdigitais.teia.org.br/Imagem:Aula-grafos-matrizes-201306.pdf Grafos e matrizes, cadeias de Markov, laplaciano de grafos]<br />
* [http://wiki.nosdigitais.teia.org.br/Imagem:Aula-pagerank.pdf PageRank e outras tecnicas de Ranking, reducao de dimensionalidade, e machine learning]. Ver tambem [http://www.ams.org/samplings/feature-column/fcarc-pagerank]<br />
<br />
==== Para referencia: aulas de Analise Matricial: listagem parcial ====<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/01-analise_matricial-2012-livro_cap01.odp Matrizes, Notacao e Conceitos Elementares] (~cap 1 livro)<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/02-analise_matricial-2012-livro_cap02_parte1.odp Sensitividade, Erros e Normas - parte 1] (cobre cap 2 livro ate normas de matrizes)<br />
<br />
=== Provas ===<br />
* '''P1:''' Provas anteriores: [http://wiki.nosdigitais.teia.org.br/Imagem:P1-aln.pdf 2012]<br />
* '''P2:''' 17jul23<br />
* '''Final-Sub:''' 24jul23<br />
<br />
=== Criterio de Avaliacao ===<br />
* '''Trabalhos:''' 20% da media - o ultimo trabalho (reconhecimento) valera a metade disto, ou seja, 10% da media.<br />
* '''Bonus de participacao:''' 10%-20% a nota total trabalhos e tarefas T, ''adicionais''. A criterio do professor, incluindo presenca em aula, participacao em aula, esforco de realizar tarefas excelentes e ir alem do esperado.<br />
* O criterio final ficou (favor avisar se precisar adicionar detalhes ou corrigir no caso de erro/discrepancia):<br />
<br />
<small><br />
M_p = (P1 + P2)/2 <br />
M = 0.8*M_p + 0.2*T (atualizado de 10% para 20% com acordo dos alunos), onde T é a nota dos trabalhos<br />
Se M >= 5, passou --> M (''facilitando: considere T=10,0 no M `a esquerda desta desigualdade aqui'')<br />
prova final - faz quem quiser, mas combinamos que teria de seria feita por quem obtiver M < 5 <br />
- facilitando: considere T=10,0 e calcule uma media M otimista, para ver se precisa fazer a final. ou seja:<br />
<br />
- Se M_p < 6.25, precisa fazer final! *************************<br />
<br />
M_f = 0.5*(M + P_f) = 0.5*(0.8M_p + 0.2*T + P_f) = 0.2*P1 + 0.2*P2 + 0.5*P_f + 0.1*T<br />
Se M_f >= 5, passa --> M_f<br />
Sub: repoe menor de P1, P2, P_f (apenas se alguem faltou alguma prova ou quiser melhorar nota - mas quem entregar ira substituir)<br />
M_sub = media com sub<br />
Se M_sub >= 5, passou --> M_sub<br />
<br />
Adendo (em acordo com os alunos): a M_sub = M_f pois sera considerada a mesma prova. Quem for usar a prova como Sub ira substituir a nota independentemente do resultado.<br />
</small><br />
<br />
== Awesome Links ==<br />
* Curso moderno e basico on-line da Brown University sobre algebra linear e aplicacoes [http://coursera.org/course/matrix] <br />
* Curso on-line da University of Texas at Austin, Linear Algebra - Foundations to Frontiers: Learn the theory of linear algebra hand-in-hand with the practice of software library development [https://www.edx.org/course/utaustin/ut-5-01x/linear-algebra-foundations/1162]<br />
=== Machine learning com Algebra Linear Numerica ===<br />
* [https://en.wikipedia.org/wiki/Non-negative_matrix_factorization Non-negative matrix factorization]<br />
* [https://scikit-learn.org/stable/auto_examples/decomposition/plot_incremental_pca.html Incremental PCA]<br />
<br />
[[Category:IPRJ]]<br />
[[Category:Lab Macambira]]</div>V1zhttp://wiki.nosdigitais.teia.org.br/index.php?title=Algebra_Linear_Numerica&diff=41608Algebra Linear Numerica2023-06-17T02:55:21Z<p>V1z: /* Entrega do Trabalho */ apres parcial</p>
<hr />
<div>Esta é a página oficial do curso de Álgebra Linear Numérica (graduação) do [http://en.wikipedia.org/wiki/IPRJ IPRJ]/UERJ Nova Friburgo, 2023, contendo material potencialmente útil ao publico geral.<br />
* Links para os cursos de '''[[ALN2012|2012]]''', '''[[ALN2013|2013]]''', '''[[ALN2015|2015]]''', '''[[ALN2016|2016]]''', '''[[ALN2018|2018]]''', '''[[ALN2019|2019]]''' e '''[[ALN2022|2022]]'''<br />
<br />
= Informacao Basica =<br />
* Instrutor: [http://rfabbri.github.io prof. Ricardo Fabbri, Ph.D.]<br />
==Horario==<br />
* Segundas 9:40-12:20 Sala 217<br />
* Quintas 7:50-9:40 Sala 217<br />
Duvidas: agendar individualmente com o professor ou procura-lo na sala 110<br />
<br />
== Avisos ==<br />
* Por email<br />
* Tambem ver Moodle (caso seja usado)<br />
<br />
== Software ==<br />
* Usaremos o [[Scilab]] primariamente. Para explorar algoritmos de porte pequeno e médio com matrizes, as linguagens do tipo Lab (como Matlab, Scilab e Octave) são as mais simples, úteis e diretas.<br />
** Ver funcoes <tt>svd</tt>, <tt>sva</tt>, e '<tt>\</tt>' (barra invertida)<br />
* Python e Octave sao alternativas aceitaveis<br />
<br />
== Tarefas e Projetos ==<br />
<br />
As tarefas devem ser formatadas com notacao matematica adequada, preferencialmente em [[Latex]].<br />
<br />
'''Somente serao aceitos arquivos eletronicos no formato PDF ou outro formato aberto como .odt'''<br />
<br />
Quando a tarefa involver qualquer programacao, o aluno devera enviar o codigo fonte. O codigo junto com a documentacao devera estar dentro de um<br />
unico diretorio comprimido com .zip ou tar, com o nome do aluno, disciplina e data.<br />
<br />
Enviar todo email com a tag "ALNIPRJ" no subject para garantir recebimento.<br />
<br />
=== Tarefa 0 ===<br />
* Assistir videos introdutorios do curso relacionado ALN+ARN 2022: <br />
# Motivacao dos cursos de Algebra Linear Numerica e Analise no Rn para computacao Prof Fabbri https://youtu.be/Tm5F2t3NriI<br />
# Continuacao do prof Francisco https://youtu.be/1o-pUSbkQK (video privado - adicione a letra g ao final da URL)<br />
* Ler Aula 1 Apostila da disciplina (apostila prof. Fabbri listada nas referencias)<br />
* Professor ira escolher alunos para comentar em aula *parte por parte* do video, em especial discutiremos a opiniao do(a) aluno(a) sobre essas disciplinas no curso de computacao, e receber bonus<br />
<br />
=== Tarefa 1 ===<br />
* SVD + Scilab<br />
** Plotar circulo unitario<br />
** Escolha uma matriz A<br />
** Transformar cada ponto por A<br />
** '''SVD visual: visualizar os eixos e esticamento da transformacao efetuada por A'''. <br />
** Realizar SVD usando a funcao SVD propriamente dita<br />
** '''Analise a relacao dos eixos encontrados visualmente com as matrizes U e V.'''<br />
** Repetir com outras matrizes A, aleatorias e nao-aleatorias. Qual o poder de modelagem de matrizes na pratica que voce pode observar assim?<br />
** Digitar o resultado, preferencialmente em [[Latex]], e entregar por email ou impresso.<br />
<br />
=== Tarefa 2: Ajuste de curvas ===<br />
Uma das principais aplicações dos métodos numéricos de álgebra linear vistos em<br />
aulas consiste na solução de sistemas por mínimos quadrados. Isto, por sua vez,<br />
é muito útil para ajustar curvas algébricas (polinomiais) a dados experimentais,<br />
por exemplo: encontrar retas, círculos, ou outras cônicas que passam próximos de<br />
dado um conjunto de pontos.<br />
* Ajuste de reta (opcional - para aprendizado apenas)<br />
** simule a geração de um conjunto sintético de pontos "experimentais" ao longo de uma reta e os perturbe com a função <tt>rand()</tt> ao longo de cada coordenada<br />
** use a "barra invertida" '<tt>\</tt>' do Scilab para gerar a curva que mais se aproxima dos pontos gerados<br />
** plote seus resultados para diferentes intensidades de ruído<br />
* Ajuste de cônicas (obrigatorio)<br />
** simule a geração de um conjunto sintético de pontos "experimentais" ao longo de uma curva polinomial bi-dimensional de grau 2 (círculo, parábola, elipse..) e os perturbe com a função <tt>rand()</tt> ao longo de cada coordenada<br />
** use a "barra invertida" '<tt>\</tt>' do Scilab para gerar a curva que mais se aproxima dos dados gerados<br />
** plote seus resultados para diferentes intensidades de ruído<br />
<br />
=== Projeto de Reconhecimento de Faces ===<br />
<br />
<br />
==== Exemplo de Album com Algumas Faces (Facebook upload) ====<br />
[[Imagem:Album1.png|300px]]<br />
<br />
==== Exemplo de Faces detectadas, a serem reconhecidas no projeto (logo apos Facebook upload) ====<br />
[[Imagem:Album2-faces.png|300px]]<br />
<br />
==== Procedimento ====<br />
<br />
1) Monte um grupo de colegas, de 2-3 pessoas, para fazer o trabalho: '''Definir ate 1a aula apos P1''' (2023: definir na apresentação de progresso parcial)<br />
<br />
2) Baixe este conjunto de bases de dados de faces: [https://github.com/rfabbri/recdev RecDev]<br />
<br />
3) Inicie com a base de dados very-easy. Siga as instrucoes no README<br />
<br />
4) Uma vez debugado seu reconhecedor, forneca uma taxa de acerto, usando validacao cruzada separando parte das fotos para treino, parte para teste, e fazendo uma media da taxa de acerto para varias particoes diferentes. Recomendo iniciar com o procedimento retirar 1 foto por pessoa para teste, e usar o restante para reconhecimento, e repetir o processo 10 vezes para comecar. O pseudocodigo fica assim:<br />
<br />
erro_medio := 0<br />
faca n vezes // n seria o numero de simulacoes, por exemplo, 10<br />
bd_treino := base de dados completa (todas as fotos)<br />
para cada pessoa p<br />
bd_treino := bd_treino menos uma foto aleatoria da pessoa p<br />
adicione a bd_teste essa foto aleatoria<br />
<br />
treine seu reconhecedor com a base de dados bd_treino<br />
erro_novo := calcule a taxa de erro testando o reconhecedor nas fotos em bd_teste<br />
erro_medio := erro_medio + erro_novo<br />
fim faca<br />
erro_medio = erro_medio/n<br />
mostre o erro medio<br />
bonus: mostre a matriz de confusao<br />
<br />
5) Use essa validacao cruzada para melhorar seu reconhecedor. Melhore esse codigo para poder examinar os casos de erro, analise, escreva no seu relatorio sua analise, e tente procurar a fonte do erro e melhorar o reconhecedor.<br />
<br />
6) Sera dada maior nota aos alunos que implementarem esse codigo com indices, sem precisar copiar as fotos na memoria para gerar bd_treino e bd_teste. Ao ler imagens, seu codigo tambem devera ser independente do numero de imagens.<br />
<br />
7) Uma vez debugado seu reconhecedor e validacao cruzada, rode nas bases easy, medium, hard e extras/facebookfaces e extras/facebookfaces2. Relate seus resultados e dificuldades. Se nao rodar em alguma dessas, ou se o relatorio nao tiver resultados condizentes, a nota sera penalizada.<br />
<br />
* Recomendamos dividir o trabalho da seguinte forma: apos especificar a leitura da base de dados a partir dos arquivos e o formato da base de dados na linguagem, outro colega deve implementar a validacao cruzada.<br />
* Seu codigo deve funcionar para um numero de fotos diferentes por pessoa. Por exemplo, 5 fotos para a pessoa 1, e 3 fotos para a pessoa 2.<br />
* Pode assumir que as imagens sao 100x100<br />
* Codigo para ajudar no trabalho: Rotinas PCA em scilab [https://github.com/rfabbri/siptoolbox/blob/master/macros/sip_pca.sci sip_pca.sci], [https://github.com/rfabbri/siptoolbox/blob/master/macros/sip_pca_project.sci sip_pca_project.sci]. Use a seguinte rotina para aprender a usar este codigo: [https://github.com/rfabbri/siptoolbox/blob/master/macros/sip_pca_test.sce sip_pca_test.sce]<br />
* Fragmentos de codigo de anos anteriores (so pra ter uma ideia, o seu codigo devera ser muito melhor): [https://github.com/rfabbri/aln-src aln-src]<br />
<br />
==== Entrega do Trabalho ====<br />
<br />
* Apresentação Parcial ''(26jun23)''<br />
** Etapa 4 acima, e etapa 3 descrita no readme da base recdev (classificador simples e sua validacao)<br />
** A apresentação será informal, todos os membros do grupo devem falar, e duvidas devem ser tiradas. <br />
** Nao precisa fazer slides, mas sim rodar código na hora.<br />
<br />
* Relatorio <br />
** '''Data de entrega:''' '''2 semanas antes da P2 até a meia-noite'''<br />
** Secoes Obrigatorias:<br />
*** Introducao<br />
*** Descricao clara do problema<br />
*** Descricao da implementacao<br />
*** '''Mais importante:''' Descricao do processo de desenvolvimento <br />
**** Experimentos, discussao, analise dos resultados e '''estudo detalhado dos casos de falha'''.<br />
*** Conclusao e ideias para trabalho futuro<br />
*** Cada membro do grupo deverá também escrever uma seção de, no mínimo, 2 páginas relatando sua contribuição e experiencia com o trabalho<br />
<br />
* Codigo<br />
** '''Data de entrega:''' '''1 semana antes da P2 até a meia-noite''' (melhoras podem ser entregues ate 3 dias antes da Pf)<br />
** Dividir a entrega do codigo em 2 partes:<br />
*** Codigo-fonte<br />
**** README devera incluir instrucoes detalhadas de como rodar o codigo<br />
**** Calcular a taxa de acerto do algoritmo em validacao cruzada<br />
** melhorias podem ser entregues juntos ao relatorio, desde que, no minimo, o codigo esteja fornecendo uma taxa de acerto e rodando nas bases easy e very-easy<br />
<br />
'''Aviso:''' <br />
* Criterio de avaliacao: A nota de trabalho sera dada com base na qualidade do relatorio<br />
* '''Bonus #1:''' O grupo que tiver melhor performance obtera nota 10.0 no trabalho. O segundo melhor grupo obtera um bonus de 2 pontos no trabalho.<br />
** A taxa de reconhecimento sera medida em uma base elaborada pelo professor durante a correcao, sem o conhecimento previo do aluno. <br />
** A base de treinamento sera entregue ao aluno no mesmo formato da base <tt>recdev</tt> acima, no '''dia 10jul23'''<br />
** A performance para bonus sera medida na presenca do professor, durante processo de correcao em horario de aula no '''dia 13jul23''', usando-se uma base de teste fornecida no ato. O formato da base de teste sera da seguinte forma:<br />
*** arquivos no formato <pre><id_pessoa>-<id_foto>.jpg</pre> todas na mesma pasta<br />
*** Por exemplo, 17-3.jpg seria pessoa 17, foto numero 3 da base de teste<br />
*** Este id nao tem relacao com o id usado na base de treino<br />
*** Se houver mais de uma foto teste por pessoa, seu sistema pode usar todas essas fotos para tentar identificar a pessoa<br />
*** Tarefa do seu algoritmo: dadas diversas fotos de uma mesma pessoa desconhecida, do tipo: <pre>17-1.jpg, 17-2.jpg, 17-3.jpg, 17-4.jpg, 17-5.jpg</pre> Qual o id real dessa pessoa 17 na base de treino? Serao apresentadas varias pessoas, e o grupo que acertar mais vence. Nao sera permitido adaptacao do codigo, exceto para mostrar a pasta de teste.<br />
* O relatorio de cada aluno tambem devera conter um relato da participacao na competicao do bonus, e ira contar na nota do trabalho mesmo se nao ganhar o bonus<br />
<br />
=== Projeto: Análise de Redes Sociais ===<br />
<br />
Neste projeto o aluno coletara uma rede social, por exemplo a rede de amigos do<br />
facebook, ou uma rede de troca de mensagens de email, e fara uma análise dos nós mais importantes em relação a PageRank e<br />
outras características de difusão na topologia do grafo. Isso poderia ser util,<br />
por exemplo, para ordenar a sua lista de amigos por ordem de amigo mais<br />
"influente", ou para identificar maneiras de aumentar sua conexao<br />
na rede (por exemplo, numa rede de negocios).<br />
<br />
Os passos do projeto sao:<br />
<br />
# Obter sua rede social no formato GML<br />
## Redes de troca de emails: http://hera.ethymos.com.br:1080/redes/python/autoRede/escolheRedes.php<br />
## Sua rede amigos do facebook: http://snacourse.com/getnet/<br />
# Visualizar a rede no software Gephi<br />
## Baixe o Gephi em https://gephi.org<br />
## Realize o tutorial basico do Gephi (do menu Help)<br />
## Abrir o arquivo GML no Gephi<br />
# Obter a matriz de Markov dessa rede no Scilab, considerando pesos nas arestas como no algoritmo PageRank<br />
## Exportar a rede como matriz de adjacencias no Gephi (aprender como fazer)<br />
# Calcular o autovetor dominante (PageRank) no Scilab<br />
# Interpretar o que isso pode vir a dizer sobre a importância relativa dos seus amigos na rede de amizades<br />
## Por exemplo, a pessoa tem muitos amigos que tem muitos amigos<br />
## O que um caminhante aleatório ou quer dizer aqui? Discuta o que um processo de difusao significaria na rede de amizades. Talvez uma rede de indicacoes?<br />
## Invente alguma outra medida nessa rede da importancia relativa dos nos<br />
<br />
<br />
==== Links interessantes ====<br />
* veja nossas aulas sobre grafos e matrizes<br />
* labmacambira.sf.net/redes<br />
* [[ARS| Análise de redes sociais]]<br />
<br />
== Conteudo aproximado ==<br />
* Foco: [http://pt.wikipedia.org/wiki/SVD SVD]/Singular Value decomposition, auto-valores/auto-vetores, [http://pt.wikipedia.org/wiki/PCA PCA/Principal Component Analysis], demais decomposicoes matriciais.<br />
<br />
<br />
== Recursos principais ==<br />
* [https://github.com/rfabbri/aln-book/raw/master/fabbri-lecture-notes-aln.pdf Apostila prof. Fabbri]<br />
* Excelente livro recente cobrindo partes deste curso: Applied Linear Algebra, Peter J. Olver and Chehrzad Shakiban<br />
[[Arquivo:Ala2-olver-signature.png|200px|thumb|PDF assinado pelos autores para prof. Fabbri|link=http://www-users.math.umn.edu/~olver/ala.html]]<br />
* Livro classico: "Matrix Computations", Gene Golub et. al. (inventor do algoritimo mais usado de SVD).<br />
[[Arquivo:Golub-vanloan-thumb.jpg|link=https://www.amazon.com/Computations-Hopkins-Studies-Mathematical-Sciences/dp/1421407949]]<br />
<br />
=== Outros Recursos ===<br />
<br />
* Nao ha livro texto no nivel desta disciplina. mas veja a bibliografia do curso de Analise Matricial da Pos:<br />
** Outro livro: "Numerical Matrix Analysis", Ilse Ipsen http://www2.alibris-static.com/isbn/9780898716764.gif<br />
** Veja tambem os livros do Gilbert Strang.<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/fabbri-coordinate_changes.pdf Notas sobre sistemas de coordenadas, matriz relativa a dadas bases, rotacoes (pdf)]<br />
<br />
=== Aulas: Listagem parcial===<br />
<br />
* Primeiras aulas: overview, SVD, PCA, aplicacoes, notacao, bases vs sistemas de coordenadas<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/aula-rotacoes-sistemas-coordenadas-20120322.odp Rotacoes e Sistemas de Coordenadas]<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/aula-rotacoes-sistemas-coordenadas-20120404.odp Rotacoes e Sistemas de Coordenadas]<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/aula-svd-02.odp SVD]<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/informal-lecture-notes-numerical_linear_algebra-cardo_fabbri-whiteboard-20120627.pdf Aula Informal projeto e relatorio eigenfaces/PCA]<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/informal-lecture-notes-numerical_linear_algebra-cardo_fabbri-whiteboard-20120704.pdf Aula Informal PCA]<br />
* [http://wiki.nosdigitais.teia.org.br/Imagem:Aula-grafos-matrizes-201306.pdf Grafos e matrizes, cadeias de Markov, laplaciano de grafos]<br />
* [http://wiki.nosdigitais.teia.org.br/Imagem:Aula-pagerank.pdf PageRank e outras tecnicas de Ranking, reducao de dimensionalidade, e machine learning]. Ver tambem [http://www.ams.org/samplings/feature-column/fcarc-pagerank]<br />
<br />
==== Para referencia: aulas de Analise Matricial: listagem parcial ====<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/01-analise_matricial-2012-livro_cap01.odp Matrizes, Notacao e Conceitos Elementares] (~cap 1 livro)<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/02-analise_matricial-2012-livro_cap02_parte1.odp Sensitividade, Erros e Normas - parte 1] (cobre cap 2 livro ate normas de matrizes)<br />
<br />
=== Provas ===<br />
* '''P1:''' Provas anteriores: [http://wiki.nosdigitais.teia.org.br/Imagem:P1-aln.pdf 2012]<br />
* '''P2:''' 17jul23<br />
* '''Final-Sub:''' 24jul23<br />
<br />
=== Criterio de Avaliacao ===<br />
* '''Trabalhos:''' 20% da media - o ultimo trabalho (reconhecimento) valera a metade disto, ou seja, 10% da media.<br />
* '''Bonus de participacao:''' 10%-20% a nota total trabalhos e tarefas T, ''adicionais''. A criterio do professor, incluindo presenca em aula, participacao em aula, esforco de realizar tarefas excelentes e ir alem do esperado.<br />
* O criterio final ficou (favor avisar se precisar adicionar detalhes ou corrigir no caso de erro/discrepancia):<br />
<br />
<small><br />
M_p = (P1 + P2)/2 <br />
M = 0.8*M_p + 0.2*T (atualizado de 10% para 20% com acordo dos alunos), onde T é a nota dos trabalhos<br />
Se M >= 5, passou --> M (''facilitando: considere T=10,0 no M `a esquerda desta desigualdade aqui'')<br />
prova final - faz quem quiser, mas combinamos que teria de seria feita por quem obtiver M < 5 <br />
- facilitando: considere T=10,0 e calcule uma media M otimista, para ver se precisa fazer a final. ou seja:<br />
<br />
- Se M_p < 6.25, precisa fazer final! *************************<br />
<br />
M_f = 0.5*(M + P_f) = 0.5*(0.8M_p + 0.2*T + P_f) = 0.2*P1 + 0.2*P2 + 0.5*P_f + 0.1*T<br />
Se M_f >= 5, passa --> M_f<br />
Sub: repoe menor de P1, P2, P_f (apenas se alguem faltou alguma prova ou quiser melhorar nota - mas quem entregar ira substituir)<br />
M_sub = media com sub<br />
Se M_sub >= 5, passou --> M_sub<br />
<br />
Adendo (em acordo com os alunos): a M_sub = M_f pois sera considerada a mesma prova. Quem for usar a prova como Sub ira substituir a nota independentemente do resultado.<br />
</small><br />
<br />
== Awesome Links ==<br />
* Curso moderno e basico on-line da Brown University sobre algebra linear e aplicacoes [http://coursera.org/course/matrix] <br />
* Curso on-line da University of Texas at Austin, Linear Algebra - Foundations to Frontiers: Learn the theory of linear algebra hand-in-hand with the practice of software library development [https://www.edx.org/course/utaustin/ut-5-01x/linear-algebra-foundations/1162]<br />
=== Machine learning com Algebra Linear Numerica ===<br />
* [https://en.wikipedia.org/wiki/Non-negative_matrix_factorization Non-negative matrix factorization]<br />
* [https://scikit-learn.org/stable/auto_examples/decomposition/plot_incremental_pca.html Incremental PCA]<br />
<br />
[[Category:IPRJ]]<br />
[[Category:Lab Macambira]]</div>V1zhttp://wiki.nosdigitais.teia.org.br/index.php?title=Algebra_Linear_Numerica&diff=41607Algebra Linear Numerica2023-06-17T02:47:49Z<p>V1z: /* Procedimento */</p>
<hr />
<div>Esta é a página oficial do curso de Álgebra Linear Numérica (graduação) do [http://en.wikipedia.org/wiki/IPRJ IPRJ]/UERJ Nova Friburgo, 2023, contendo material potencialmente útil ao publico geral.<br />
* Links para os cursos de '''[[ALN2012|2012]]''', '''[[ALN2013|2013]]''', '''[[ALN2015|2015]]''', '''[[ALN2016|2016]]''', '''[[ALN2018|2018]]''', '''[[ALN2019|2019]]''' e '''[[ALN2022|2022]]'''<br />
<br />
= Informacao Basica =<br />
* Instrutor: [http://rfabbri.github.io prof. Ricardo Fabbri, Ph.D.]<br />
==Horario==<br />
* Segundas 9:40-12:20 Sala 217<br />
* Quintas 7:50-9:40 Sala 217<br />
Duvidas: agendar individualmente com o professor ou procura-lo na sala 110<br />
<br />
== Avisos ==<br />
* Por email<br />
* Tambem ver Moodle (caso seja usado)<br />
<br />
== Software ==<br />
* Usaremos o [[Scilab]] primariamente. Para explorar algoritmos de porte pequeno e médio com matrizes, as linguagens do tipo Lab (como Matlab, Scilab e Octave) são as mais simples, úteis e diretas.<br />
** Ver funcoes <tt>svd</tt>, <tt>sva</tt>, e '<tt>\</tt>' (barra invertida)<br />
* Python e Octave sao alternativas aceitaveis<br />
<br />
== Tarefas e Projetos ==<br />
<br />
As tarefas devem ser formatadas com notacao matematica adequada, preferencialmente em [[Latex]].<br />
<br />
'''Somente serao aceitos arquivos eletronicos no formato PDF ou outro formato aberto como .odt'''<br />
<br />
Quando a tarefa involver qualquer programacao, o aluno devera enviar o codigo fonte. O codigo junto com a documentacao devera estar dentro de um<br />
unico diretorio comprimido com .zip ou tar, com o nome do aluno, disciplina e data.<br />
<br />
Enviar todo email com a tag "ALNIPRJ" no subject para garantir recebimento.<br />
<br />
=== Tarefa 0 ===<br />
* Assistir videos introdutorios do curso relacionado ALN+ARN 2022: <br />
# Motivacao dos cursos de Algebra Linear Numerica e Analise no Rn para computacao Prof Fabbri https://youtu.be/Tm5F2t3NriI<br />
# Continuacao do prof Francisco https://youtu.be/1o-pUSbkQK (video privado - adicione a letra g ao final da URL)<br />
* Ler Aula 1 Apostila da disciplina (apostila prof. Fabbri listada nas referencias)<br />
* Professor ira escolher alunos para comentar em aula *parte por parte* do video, em especial discutiremos a opiniao do(a) aluno(a) sobre essas disciplinas no curso de computacao, e receber bonus<br />
<br />
=== Tarefa 1 ===<br />
* SVD + Scilab<br />
** Plotar circulo unitario<br />
** Escolha uma matriz A<br />
** Transformar cada ponto por A<br />
** '''SVD visual: visualizar os eixos e esticamento da transformacao efetuada por A'''. <br />
** Realizar SVD usando a funcao SVD propriamente dita<br />
** '''Analise a relacao dos eixos encontrados visualmente com as matrizes U e V.'''<br />
** Repetir com outras matrizes A, aleatorias e nao-aleatorias. Qual o poder de modelagem de matrizes na pratica que voce pode observar assim?<br />
** Digitar o resultado, preferencialmente em [[Latex]], e entregar por email ou impresso.<br />
<br />
=== Tarefa 2: Ajuste de curvas ===<br />
Uma das principais aplicações dos métodos numéricos de álgebra linear vistos em<br />
aulas consiste na solução de sistemas por mínimos quadrados. Isto, por sua vez,<br />
é muito útil para ajustar curvas algébricas (polinomiais) a dados experimentais,<br />
por exemplo: encontrar retas, círculos, ou outras cônicas que passam próximos de<br />
dado um conjunto de pontos.<br />
* Ajuste de reta (opcional - para aprendizado apenas)<br />
** simule a geração de um conjunto sintético de pontos "experimentais" ao longo de uma reta e os perturbe com a função <tt>rand()</tt> ao longo de cada coordenada<br />
** use a "barra invertida" '<tt>\</tt>' do Scilab para gerar a curva que mais se aproxima dos pontos gerados<br />
** plote seus resultados para diferentes intensidades de ruído<br />
* Ajuste de cônicas (obrigatorio)<br />
** simule a geração de um conjunto sintético de pontos "experimentais" ao longo de uma curva polinomial bi-dimensional de grau 2 (círculo, parábola, elipse..) e os perturbe com a função <tt>rand()</tt> ao longo de cada coordenada<br />
** use a "barra invertida" '<tt>\</tt>' do Scilab para gerar a curva que mais se aproxima dos dados gerados<br />
** plote seus resultados para diferentes intensidades de ruído<br />
<br />
=== Projeto de Reconhecimento de Faces ===<br />
<br />
<br />
==== Exemplo de Album com Algumas Faces (Facebook upload) ====<br />
[[Imagem:Album1.png|300px]]<br />
<br />
==== Exemplo de Faces detectadas, a serem reconhecidas no projeto (logo apos Facebook upload) ====<br />
[[Imagem:Album2-faces.png|300px]]<br />
<br />
==== Procedimento ====<br />
<br />
1) Monte um grupo de colegas, de 2-3 pessoas, para fazer o trabalho: '''Definir ate 1a aula apos P1''' (2023: definir na apresentação de progresso parcial)<br />
<br />
2) Baixe este conjunto de bases de dados de faces: [https://github.com/rfabbri/recdev RecDev]<br />
<br />
3) Inicie com a base de dados very-easy. Siga as instrucoes no README<br />
<br />
4) Uma vez debugado seu reconhecedor, forneca uma taxa de acerto, usando validacao cruzada separando parte das fotos para treino, parte para teste, e fazendo uma media da taxa de acerto para varias particoes diferentes. Recomendo iniciar com o procedimento retirar 1 foto por pessoa para teste, e usar o restante para reconhecimento, e repetir o processo 10 vezes para comecar. O pseudocodigo fica assim:<br />
<br />
erro_medio := 0<br />
faca n vezes // n seria o numero de simulacoes, por exemplo, 10<br />
bd_treino := base de dados completa (todas as fotos)<br />
para cada pessoa p<br />
bd_treino := bd_treino menos uma foto aleatoria da pessoa p<br />
adicione a bd_teste essa foto aleatoria<br />
<br />
treine seu reconhecedor com a base de dados bd_treino<br />
erro_novo := calcule a taxa de erro testando o reconhecedor nas fotos em bd_teste<br />
erro_medio := erro_medio + erro_novo<br />
fim faca<br />
erro_medio = erro_medio/n<br />
mostre o erro medio<br />
bonus: mostre a matriz de confusao<br />
<br />
5) Use essa validacao cruzada para melhorar seu reconhecedor. Melhore esse codigo para poder examinar os casos de erro, analise, escreva no seu relatorio sua analise, e tente procurar a fonte do erro e melhorar o reconhecedor.<br />
<br />
6) Sera dada maior nota aos alunos que implementarem esse codigo com indices, sem precisar copiar as fotos na memoria para gerar bd_treino e bd_teste. Ao ler imagens, seu codigo tambem devera ser independente do numero de imagens.<br />
<br />
7) Uma vez debugado seu reconhecedor e validacao cruzada, rode nas bases easy, medium, hard e extras/facebookfaces e extras/facebookfaces2. Relate seus resultados e dificuldades. Se nao rodar em alguma dessas, ou se o relatorio nao tiver resultados condizentes, a nota sera penalizada.<br />
<br />
* Recomendamos dividir o trabalho da seguinte forma: apos especificar a leitura da base de dados a partir dos arquivos e o formato da base de dados na linguagem, outro colega deve implementar a validacao cruzada.<br />
* Seu codigo deve funcionar para um numero de fotos diferentes por pessoa. Por exemplo, 5 fotos para a pessoa 1, e 3 fotos para a pessoa 2.<br />
* Pode assumir que as imagens sao 100x100<br />
* Codigo para ajudar no trabalho: Rotinas PCA em scilab [https://github.com/rfabbri/siptoolbox/blob/master/macros/sip_pca.sci sip_pca.sci], [https://github.com/rfabbri/siptoolbox/blob/master/macros/sip_pca_project.sci sip_pca_project.sci]. Use a seguinte rotina para aprender a usar este codigo: [https://github.com/rfabbri/siptoolbox/blob/master/macros/sip_pca_test.sce sip_pca_test.sce]<br />
* Fragmentos de codigo de anos anteriores (so pra ter uma ideia, o seu codigo devera ser muito melhor): [https://github.com/rfabbri/aln-src aln-src]<br />
<br />
==== Entrega do Trabalho ====<br />
<br />
O trabalho devera ser entrege nas seguintes partes:<br />
* Relatorio <br />
** '''Data de entrega:''' '''2 semanas antes da P2 até a meia-noite'''<br />
** Secoes Obrigatorias:<br />
*** Introducao<br />
*** Descricao clara do problema<br />
*** Descricao da implementacao<br />
*** '''Mais importante:''' Descricao do processo de desenvolvimento <br />
**** Experimentos, discussao, analise dos resultados e '''estudo detalhado dos casos de falha'''.<br />
*** Conclusao e ideias para trabalho futuro<br />
*** Cada membro do grupo deverá também escrever uma seção de, no mínimo, 2 páginas relatando sua contribuição e experiencia com o trabalho<br />
<br />
* Codigo<br />
** '''Data de entrega:''' '''1 semana antes da P2 até a meia-noite''' (melhoras podem ser entregues ate 3 dias antes da Pf)<br />
** Dividir a entrega do codigo em 2 partes:<br />
*** Codigo-fonte<br />
**** README devera incluir instrucoes detalhadas de como rodar o codigo<br />
**** Calcular a taxa de acerto do algoritmo em validacao cruzada<br />
** melhorias podem ser entregues juntos ao relatorio, desde que, no minimo, o codigo esteja fornecendo uma taxa de acerto e rodando nas bases easy e very-easy<br />
<br />
'''Aviso:''' <br />
* Criterio de avaliacao: A nota de trabalho sera dada com base na qualidade do relatorio<br />
* '''Bonus #1:''' O grupo que tiver melhor performance obtera nota 10.0 no trabalho. O segundo melhor grupo obtera um bonus de 2 pontos no trabalho.<br />
** A taxa de reconhecimento sera medida em uma base elaborada pelo professor durante a correcao, sem o conhecimento previo do aluno. <br />
** A base de treinamento sera entregue ao aluno no mesmo formato da base <tt>recdev</tt> acima, no '''dia 10jul23'''<br />
** A performance para bonus sera medida na presenca do professor, durante processo de correcao em horario de aula no '''dia 13jul23''', usando-se uma base de teste fornecida no ato. O formato da base de teste sera da seguinte forma:<br />
*** arquivos no formato <pre><id_pessoa>-<id_foto>.jpg</pre> todas na mesma pasta<br />
*** Por exemplo, 17-3.jpg seria pessoa 17, foto numero 3 da base de teste<br />
*** Este id nao tem relacao com o id usado na base de treino<br />
*** Se houver mais de uma foto teste por pessoa, seu sistema pode usar todas essas fotos para tentar identificar a pessoa<br />
*** Tarefa do seu algoritmo: dadas diversas fotos de uma mesma pessoa desconhecida, do tipo: <pre>17-1.jpg, 17-2.jpg, 17-3.jpg, 17-4.jpg, 17-5.jpg</pre> Qual o id real dessa pessoa 17 na base de treino? Serao apresentadas varias pessoas, e o grupo que acertar mais vence. Nao sera permitido adaptacao do codigo, exceto para mostrar a pasta de teste.<br />
* O relatorio de cada aluno tambem devera conter um relato da participacao na competicao do bonus, e ira contar na nota do trabalho mesmo se nao ganhar o bonus<br />
<br />
=== Projeto: Análise de Redes Sociais ===<br />
<br />
Neste projeto o aluno coletara uma rede social, por exemplo a rede de amigos do<br />
facebook, ou uma rede de troca de mensagens de email, e fara uma análise dos nós mais importantes em relação a PageRank e<br />
outras características de difusão na topologia do grafo. Isso poderia ser util,<br />
por exemplo, para ordenar a sua lista de amigos por ordem de amigo mais<br />
"influente", ou para identificar maneiras de aumentar sua conexao<br />
na rede (por exemplo, numa rede de negocios).<br />
<br />
Os passos do projeto sao:<br />
<br />
# Obter sua rede social no formato GML<br />
## Redes de troca de emails: http://hera.ethymos.com.br:1080/redes/python/autoRede/escolheRedes.php<br />
## Sua rede amigos do facebook: http://snacourse.com/getnet/<br />
# Visualizar a rede no software Gephi<br />
## Baixe o Gephi em https://gephi.org<br />
## Realize o tutorial basico do Gephi (do menu Help)<br />
## Abrir o arquivo GML no Gephi<br />
# Obter a matriz de Markov dessa rede no Scilab, considerando pesos nas arestas como no algoritmo PageRank<br />
## Exportar a rede como matriz de adjacencias no Gephi (aprender como fazer)<br />
# Calcular o autovetor dominante (PageRank) no Scilab<br />
# Interpretar o que isso pode vir a dizer sobre a importância relativa dos seus amigos na rede de amizades<br />
## Por exemplo, a pessoa tem muitos amigos que tem muitos amigos<br />
## O que um caminhante aleatório ou quer dizer aqui? Discuta o que um processo de difusao significaria na rede de amizades. Talvez uma rede de indicacoes?<br />
## Invente alguma outra medida nessa rede da importancia relativa dos nos<br />
<br />
<br />
==== Links interessantes ====<br />
* veja nossas aulas sobre grafos e matrizes<br />
* labmacambira.sf.net/redes<br />
* [[ARS| Análise de redes sociais]]<br />
<br />
== Conteudo aproximado ==<br />
* Foco: [http://pt.wikipedia.org/wiki/SVD SVD]/Singular Value decomposition, auto-valores/auto-vetores, [http://pt.wikipedia.org/wiki/PCA PCA/Principal Component Analysis], demais decomposicoes matriciais.<br />
<br />
<br />
== Recursos principais ==<br />
* [https://github.com/rfabbri/aln-book/raw/master/fabbri-lecture-notes-aln.pdf Apostila prof. Fabbri]<br />
* Excelente livro recente cobrindo partes deste curso: Applied Linear Algebra, Peter J. Olver and Chehrzad Shakiban<br />
[[Arquivo:Ala2-olver-signature.png|200px|thumb|PDF assinado pelos autores para prof. Fabbri|link=http://www-users.math.umn.edu/~olver/ala.html]]<br />
* Livro classico: "Matrix Computations", Gene Golub et. al. (inventor do algoritimo mais usado de SVD).<br />
[[Arquivo:Golub-vanloan-thumb.jpg|link=https://www.amazon.com/Computations-Hopkins-Studies-Mathematical-Sciences/dp/1421407949]]<br />
<br />
=== Outros Recursos ===<br />
<br />
* Nao ha livro texto no nivel desta disciplina. mas veja a bibliografia do curso de Analise Matricial da Pos:<br />
** Outro livro: "Numerical Matrix Analysis", Ilse Ipsen http://www2.alibris-static.com/isbn/9780898716764.gif<br />
** Veja tambem os livros do Gilbert Strang.<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/fabbri-coordinate_changes.pdf Notas sobre sistemas de coordenadas, matriz relativa a dadas bases, rotacoes (pdf)]<br />
<br />
=== Aulas: Listagem parcial===<br />
<br />
* Primeiras aulas: overview, SVD, PCA, aplicacoes, notacao, bases vs sistemas de coordenadas<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/aula-rotacoes-sistemas-coordenadas-20120322.odp Rotacoes e Sistemas de Coordenadas]<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/aula-rotacoes-sistemas-coordenadas-20120404.odp Rotacoes e Sistemas de Coordenadas]<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/aula-svd-02.odp SVD]<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/informal-lecture-notes-numerical_linear_algebra-cardo_fabbri-whiteboard-20120627.pdf Aula Informal projeto e relatorio eigenfaces/PCA]<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/informal-lecture-notes-numerical_linear_algebra-cardo_fabbri-whiteboard-20120704.pdf Aula Informal PCA]<br />
* [http://wiki.nosdigitais.teia.org.br/Imagem:Aula-grafos-matrizes-201306.pdf Grafos e matrizes, cadeias de Markov, laplaciano de grafos]<br />
* [http://wiki.nosdigitais.teia.org.br/Imagem:Aula-pagerank.pdf PageRank e outras tecnicas de Ranking, reducao de dimensionalidade, e machine learning]. Ver tambem [http://www.ams.org/samplings/feature-column/fcarc-pagerank]<br />
<br />
==== Para referencia: aulas de Analise Matricial: listagem parcial ====<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/01-analise_matricial-2012-livro_cap01.odp Matrizes, Notacao e Conceitos Elementares] (~cap 1 livro)<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/02-analise_matricial-2012-livro_cap02_parte1.odp Sensitividade, Erros e Normas - parte 1] (cobre cap 2 livro ate normas de matrizes)<br />
<br />
=== Provas ===<br />
* '''P1:''' Provas anteriores: [http://wiki.nosdigitais.teia.org.br/Imagem:P1-aln.pdf 2012]<br />
* '''P2:''' 17jul23<br />
* '''Final-Sub:''' 24jul23<br />
<br />
=== Criterio de Avaliacao ===<br />
* '''Trabalhos:''' 20% da media - o ultimo trabalho (reconhecimento) valera a metade disto, ou seja, 10% da media.<br />
* '''Bonus de participacao:''' 10%-20% a nota total trabalhos e tarefas T, ''adicionais''. A criterio do professor, incluindo presenca em aula, participacao em aula, esforco de realizar tarefas excelentes e ir alem do esperado.<br />
* O criterio final ficou (favor avisar se precisar adicionar detalhes ou corrigir no caso de erro/discrepancia):<br />
<br />
<small><br />
M_p = (P1 + P2)/2 <br />
M = 0.8*M_p + 0.2*T (atualizado de 10% para 20% com acordo dos alunos), onde T é a nota dos trabalhos<br />
Se M >= 5, passou --> M (''facilitando: considere T=10,0 no M `a esquerda desta desigualdade aqui'')<br />
prova final - faz quem quiser, mas combinamos que teria de seria feita por quem obtiver M < 5 <br />
- facilitando: considere T=10,0 e calcule uma media M otimista, para ver se precisa fazer a final. ou seja:<br />
<br />
- Se M_p < 6.25, precisa fazer final! *************************<br />
<br />
M_f = 0.5*(M + P_f) = 0.5*(0.8M_p + 0.2*T + P_f) = 0.2*P1 + 0.2*P2 + 0.5*P_f + 0.1*T<br />
Se M_f >= 5, passa --> M_f<br />
Sub: repoe menor de P1, P2, P_f (apenas se alguem faltou alguma prova ou quiser melhorar nota - mas quem entregar ira substituir)<br />
M_sub = media com sub<br />
Se M_sub >= 5, passou --> M_sub<br />
<br />
Adendo (em acordo com os alunos): a M_sub = M_f pois sera considerada a mesma prova. Quem for usar a prova como Sub ira substituir a nota independentemente do resultado.<br />
</small><br />
<br />
== Awesome Links ==<br />
* Curso moderno e basico on-line da Brown University sobre algebra linear e aplicacoes [http://coursera.org/course/matrix] <br />
* Curso on-line da University of Texas at Austin, Linear Algebra - Foundations to Frontiers: Learn the theory of linear algebra hand-in-hand with the practice of software library development [https://www.edx.org/course/utaustin/ut-5-01x/linear-algebra-foundations/1162]<br />
=== Machine learning com Algebra Linear Numerica ===<br />
* [https://en.wikipedia.org/wiki/Non-negative_matrix_factorization Non-negative matrix factorization]<br />
* [https://scikit-learn.org/stable/auto_examples/decomposition/plot_incremental_pca.html Incremental PCA]<br />
<br />
[[Category:IPRJ]]<br />
[[Category:Lab Macambira]]</div>V1zhttp://wiki.nosdigitais.teia.org.br/index.php?title=Algebra_Linear_Numerica&diff=41606Algebra Linear Numerica2023-06-17T02:47:10Z<p>V1z: /* Procedimento */</p>
<hr />
<div>Esta é a página oficial do curso de Álgebra Linear Numérica (graduação) do [http://en.wikipedia.org/wiki/IPRJ IPRJ]/UERJ Nova Friburgo, 2023, contendo material potencialmente útil ao publico geral.<br />
* Links para os cursos de '''[[ALN2012|2012]]''', '''[[ALN2013|2013]]''', '''[[ALN2015|2015]]''', '''[[ALN2016|2016]]''', '''[[ALN2018|2018]]''', '''[[ALN2019|2019]]''' e '''[[ALN2022|2022]]'''<br />
<br />
= Informacao Basica =<br />
* Instrutor: [http://rfabbri.github.io prof. Ricardo Fabbri, Ph.D.]<br />
==Horario==<br />
* Segundas 9:40-12:20 Sala 217<br />
* Quintas 7:50-9:40 Sala 217<br />
Duvidas: agendar individualmente com o professor ou procura-lo na sala 110<br />
<br />
== Avisos ==<br />
* Por email<br />
* Tambem ver Moodle (caso seja usado)<br />
<br />
== Software ==<br />
* Usaremos o [[Scilab]] primariamente. Para explorar algoritmos de porte pequeno e médio com matrizes, as linguagens do tipo Lab (como Matlab, Scilab e Octave) são as mais simples, úteis e diretas.<br />
** Ver funcoes <tt>svd</tt>, <tt>sva</tt>, e '<tt>\</tt>' (barra invertida)<br />
* Python e Octave sao alternativas aceitaveis<br />
<br />
== Tarefas e Projetos ==<br />
<br />
As tarefas devem ser formatadas com notacao matematica adequada, preferencialmente em [[Latex]].<br />
<br />
'''Somente serao aceitos arquivos eletronicos no formato PDF ou outro formato aberto como .odt'''<br />
<br />
Quando a tarefa involver qualquer programacao, o aluno devera enviar o codigo fonte. O codigo junto com a documentacao devera estar dentro de um<br />
unico diretorio comprimido com .zip ou tar, com o nome do aluno, disciplina e data.<br />
<br />
Enviar todo email com a tag "ALNIPRJ" no subject para garantir recebimento.<br />
<br />
=== Tarefa 0 ===<br />
* Assistir videos introdutorios do curso relacionado ALN+ARN 2022: <br />
# Motivacao dos cursos de Algebra Linear Numerica e Analise no Rn para computacao Prof Fabbri https://youtu.be/Tm5F2t3NriI<br />
# Continuacao do prof Francisco https://youtu.be/1o-pUSbkQK (video privado - adicione a letra g ao final da URL)<br />
* Ler Aula 1 Apostila da disciplina (apostila prof. Fabbri listada nas referencias)<br />
* Professor ira escolher alunos para comentar em aula *parte por parte* do video, em especial discutiremos a opiniao do(a) aluno(a) sobre essas disciplinas no curso de computacao, e receber bonus<br />
<br />
=== Tarefa 1 ===<br />
* SVD + Scilab<br />
** Plotar circulo unitario<br />
** Escolha uma matriz A<br />
** Transformar cada ponto por A<br />
** '''SVD visual: visualizar os eixos e esticamento da transformacao efetuada por A'''. <br />
** Realizar SVD usando a funcao SVD propriamente dita<br />
** '''Analise a relacao dos eixos encontrados visualmente com as matrizes U e V.'''<br />
** Repetir com outras matrizes A, aleatorias e nao-aleatorias. Qual o poder de modelagem de matrizes na pratica que voce pode observar assim?<br />
** Digitar o resultado, preferencialmente em [[Latex]], e entregar por email ou impresso.<br />
<br />
=== Tarefa 2: Ajuste de curvas ===<br />
Uma das principais aplicações dos métodos numéricos de álgebra linear vistos em<br />
aulas consiste na solução de sistemas por mínimos quadrados. Isto, por sua vez,<br />
é muito útil para ajustar curvas algébricas (polinomiais) a dados experimentais,<br />
por exemplo: encontrar retas, círculos, ou outras cônicas que passam próximos de<br />
dado um conjunto de pontos.<br />
* Ajuste de reta (opcional - para aprendizado apenas)<br />
** simule a geração de um conjunto sintético de pontos "experimentais" ao longo de uma reta e os perturbe com a função <tt>rand()</tt> ao longo de cada coordenada<br />
** use a "barra invertida" '<tt>\</tt>' do Scilab para gerar a curva que mais se aproxima dos pontos gerados<br />
** plote seus resultados para diferentes intensidades de ruído<br />
* Ajuste de cônicas (obrigatorio)<br />
** simule a geração de um conjunto sintético de pontos "experimentais" ao longo de uma curva polinomial bi-dimensional de grau 2 (círculo, parábola, elipse..) e os perturbe com a função <tt>rand()</tt> ao longo de cada coordenada<br />
** use a "barra invertida" '<tt>\</tt>' do Scilab para gerar a curva que mais se aproxima dos dados gerados<br />
** plote seus resultados para diferentes intensidades de ruído<br />
<br />
=== Projeto de Reconhecimento de Faces ===<br />
<br />
<br />
==== Exemplo de Album com Algumas Faces (Facebook upload) ====<br />
[[Imagem:Album1.png|300px]]<br />
<br />
==== Exemplo de Faces detectadas, a serem reconhecidas no projeto (logo apos Facebook upload) ====<br />
[[Imagem:Album2-faces.png|300px]]<br />
<br />
==== Procedimento ====<br />
<br />
1) Monte um grupo de colegas, de 2-3 pessoas, para fazer o trabalho: '''Definir ate 1a aula apos P1''' (2023: definir na apresentação de progresso parcial)<br />
<br />
2) Baixe este conjunto de bases de dados de faces: [https://github.com/rfabbri/recdev RecDev]<br />
3) Inicie com a base de dados very-easy. Siga as instrucoes no README<br />
4) Uma vez debugado seu reconhecedor, forneca uma taxa de acerto, usando validacao cruzada separando parte das fotos para treino, parte para teste, e fazendo uma media da taxa de acerto para varias particoes diferentes. Recomendo iniciar com o procedimento retirar 1 foto por pessoa para teste, e usar o restante para reconhecimento, e repetir o processo 10 vezes para comecar. O pseudocodigo fica assim:<br />
<br />
erro_medio := 0<br />
faca n vezes // n seria o numero de simulacoes, por exemplo, 10<br />
bd_treino := base de dados completa (todas as fotos)<br />
para cada pessoa p<br />
bd_treino := bd_treino menos uma foto aleatoria da pessoa p<br />
adicione a bd_teste essa foto aleatoria<br />
<br />
treine seu reconhecedor com a base de dados bd_treino<br />
erro_novo := calcule a taxa de erro testando o reconhecedor nas fotos em bd_teste<br />
erro_medio := erro_medio + erro_novo<br />
fim faca<br />
erro_medio = erro_medio/n<br />
mostre o erro medio<br />
bonus: mostre a matriz de confusao<br />
<br />
5) Use essa validacao cruzada para melhorar seu reconhecedor. Melhore esse codigo para poder examinar os casos de erro, analise, escreva no seu relatorio sua analise, e tente procurar a fonte do erro e melhorar o reconhecedor.<br />
6) Sera dada maior nota aos alunos que implementarem esse codigo com indices, sem precisar copiar as fotos na memoria para gerar bd_treino e bd_teste. Ao ler imagens, seu codigo tambem devera ser independente do numero de imagens.<br />
7) Uma vez debugado seu reconhecedor e validacao cruzada, rode nas bases easy, medium, hard e extras/facebookfaces e extras/facebookfaces2. Relate seus resultados e dificuldades. Se nao rodar em alguma dessas, ou se o relatorio nao tiver resultados condizentes, a nota sera penalizada.<br />
* Recomendamos dividir o trabalho da seguinte forma: apos especificar a leitura da base de dados a partir dos arquivos e o formato da base de dados na linguagem, outro colega deve implementar a validacao cruzada.<br />
* Seu codigo deve funcionar para um numero de fotos diferentes por pessoa. Por exemplo, 5 fotos para a pessoa 1, e 3 fotos para a pessoa 2.<br />
* Pode assumir que as imagens sao 100x100<br />
* Codigo para ajudar no trabalho: Rotinas PCA em scilab [https://github.com/rfabbri/siptoolbox/blob/master/macros/sip_pca.sci sip_pca.sci], [https://github.com/rfabbri/siptoolbox/blob/master/macros/sip_pca_project.sci sip_pca_project.sci]. Use a seguinte rotina para aprender a usar este codigo: [https://github.com/rfabbri/siptoolbox/blob/master/macros/sip_pca_test.sce sip_pca_test.sce]<br />
* Fragmentos de codigo de anos anteriores (so pra ter uma ideia, o seu codigo devera ser muito melhor): [https://github.com/rfabbri/aln-src aln-src]<br />
<br />
==== Entrega do Trabalho ====<br />
<br />
O trabalho devera ser entrege nas seguintes partes:<br />
* Relatorio <br />
** '''Data de entrega:''' '''2 semanas antes da P2 até a meia-noite'''<br />
** Secoes Obrigatorias:<br />
*** Introducao<br />
*** Descricao clara do problema<br />
*** Descricao da implementacao<br />
*** '''Mais importante:''' Descricao do processo de desenvolvimento <br />
**** Experimentos, discussao, analise dos resultados e '''estudo detalhado dos casos de falha'''.<br />
*** Conclusao e ideias para trabalho futuro<br />
*** Cada membro do grupo deverá também escrever uma seção de, no mínimo, 2 páginas relatando sua contribuição e experiencia com o trabalho<br />
<br />
* Codigo<br />
** '''Data de entrega:''' '''1 semana antes da P2 até a meia-noite''' (melhoras podem ser entregues ate 3 dias antes da Pf)<br />
** Dividir a entrega do codigo em 2 partes:<br />
*** Codigo-fonte<br />
**** README devera incluir instrucoes detalhadas de como rodar o codigo<br />
**** Calcular a taxa de acerto do algoritmo em validacao cruzada<br />
** melhorias podem ser entregues juntos ao relatorio, desde que, no minimo, o codigo esteja fornecendo uma taxa de acerto e rodando nas bases easy e very-easy<br />
<br />
'''Aviso:''' <br />
* Criterio de avaliacao: A nota de trabalho sera dada com base na qualidade do relatorio<br />
* '''Bonus #1:''' O grupo que tiver melhor performance obtera nota 10.0 no trabalho. O segundo melhor grupo obtera um bonus de 2 pontos no trabalho.<br />
** A taxa de reconhecimento sera medida em uma base elaborada pelo professor durante a correcao, sem o conhecimento previo do aluno. <br />
** A base de treinamento sera entregue ao aluno no mesmo formato da base <tt>recdev</tt> acima, no '''dia 10jul23'''<br />
** A performance para bonus sera medida na presenca do professor, durante processo de correcao em horario de aula no '''dia 13jul23''', usando-se uma base de teste fornecida no ato. O formato da base de teste sera da seguinte forma:<br />
*** arquivos no formato <pre><id_pessoa>-<id_foto>.jpg</pre> todas na mesma pasta<br />
*** Por exemplo, 17-3.jpg seria pessoa 17, foto numero 3 da base de teste<br />
*** Este id nao tem relacao com o id usado na base de treino<br />
*** Se houver mais de uma foto teste por pessoa, seu sistema pode usar todas essas fotos para tentar identificar a pessoa<br />
*** Tarefa do seu algoritmo: dadas diversas fotos de uma mesma pessoa desconhecida, do tipo: <pre>17-1.jpg, 17-2.jpg, 17-3.jpg, 17-4.jpg, 17-5.jpg</pre> Qual o id real dessa pessoa 17 na base de treino? Serao apresentadas varias pessoas, e o grupo que acertar mais vence. Nao sera permitido adaptacao do codigo, exceto para mostrar a pasta de teste.<br />
* O relatorio de cada aluno tambem devera conter um relato da participacao na competicao do bonus, e ira contar na nota do trabalho mesmo se nao ganhar o bonus<br />
<br />
=== Projeto: Análise de Redes Sociais ===<br />
<br />
Neste projeto o aluno coletara uma rede social, por exemplo a rede de amigos do<br />
facebook, ou uma rede de troca de mensagens de email, e fara uma análise dos nós mais importantes em relação a PageRank e<br />
outras características de difusão na topologia do grafo. Isso poderia ser util,<br />
por exemplo, para ordenar a sua lista de amigos por ordem de amigo mais<br />
"influente", ou para identificar maneiras de aumentar sua conexao<br />
na rede (por exemplo, numa rede de negocios).<br />
<br />
Os passos do projeto sao:<br />
<br />
# Obter sua rede social no formato GML<br />
## Redes de troca de emails: http://hera.ethymos.com.br:1080/redes/python/autoRede/escolheRedes.php<br />
## Sua rede amigos do facebook: http://snacourse.com/getnet/<br />
# Visualizar a rede no software Gephi<br />
## Baixe o Gephi em https://gephi.org<br />
## Realize o tutorial basico do Gephi (do menu Help)<br />
## Abrir o arquivo GML no Gephi<br />
# Obter a matriz de Markov dessa rede no Scilab, considerando pesos nas arestas como no algoritmo PageRank<br />
## Exportar a rede como matriz de adjacencias no Gephi (aprender como fazer)<br />
# Calcular o autovetor dominante (PageRank) no Scilab<br />
# Interpretar o que isso pode vir a dizer sobre a importância relativa dos seus amigos na rede de amizades<br />
## Por exemplo, a pessoa tem muitos amigos que tem muitos amigos<br />
## O que um caminhante aleatório ou quer dizer aqui? Discuta o que um processo de difusao significaria na rede de amizades. Talvez uma rede de indicacoes?<br />
## Invente alguma outra medida nessa rede da importancia relativa dos nos<br />
<br />
<br />
==== Links interessantes ====<br />
* veja nossas aulas sobre grafos e matrizes<br />
* labmacambira.sf.net/redes<br />
* [[ARS| Análise de redes sociais]]<br />
<br />
== Conteudo aproximado ==<br />
* Foco: [http://pt.wikipedia.org/wiki/SVD SVD]/Singular Value decomposition, auto-valores/auto-vetores, [http://pt.wikipedia.org/wiki/PCA PCA/Principal Component Analysis], demais decomposicoes matriciais.<br />
<br />
<br />
== Recursos principais ==<br />
* [https://github.com/rfabbri/aln-book/raw/master/fabbri-lecture-notes-aln.pdf Apostila prof. Fabbri]<br />
* Excelente livro recente cobrindo partes deste curso: Applied Linear Algebra, Peter J. Olver and Chehrzad Shakiban<br />
[[Arquivo:Ala2-olver-signature.png|200px|thumb|PDF assinado pelos autores para prof. Fabbri|link=http://www-users.math.umn.edu/~olver/ala.html]]<br />
* Livro classico: "Matrix Computations", Gene Golub et. al. (inventor do algoritimo mais usado de SVD).<br />
[[Arquivo:Golub-vanloan-thumb.jpg|link=https://www.amazon.com/Computations-Hopkins-Studies-Mathematical-Sciences/dp/1421407949]]<br />
<br />
=== Outros Recursos ===<br />
<br />
* Nao ha livro texto no nivel desta disciplina. mas veja a bibliografia do curso de Analise Matricial da Pos:<br />
** Outro livro: "Numerical Matrix Analysis", Ilse Ipsen http://www2.alibris-static.com/isbn/9780898716764.gif<br />
** Veja tambem os livros do Gilbert Strang.<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/fabbri-coordinate_changes.pdf Notas sobre sistemas de coordenadas, matriz relativa a dadas bases, rotacoes (pdf)]<br />
<br />
=== Aulas: Listagem parcial===<br />
<br />
* Primeiras aulas: overview, SVD, PCA, aplicacoes, notacao, bases vs sistemas de coordenadas<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/aula-rotacoes-sistemas-coordenadas-20120322.odp Rotacoes e Sistemas de Coordenadas]<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/aula-rotacoes-sistemas-coordenadas-20120404.odp Rotacoes e Sistemas de Coordenadas]<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/aula-svd-02.odp SVD]<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/informal-lecture-notes-numerical_linear_algebra-cardo_fabbri-whiteboard-20120627.pdf Aula Informal projeto e relatorio eigenfaces/PCA]<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/informal-lecture-notes-numerical_linear_algebra-cardo_fabbri-whiteboard-20120704.pdf Aula Informal PCA]<br />
* [http://wiki.nosdigitais.teia.org.br/Imagem:Aula-grafos-matrizes-201306.pdf Grafos e matrizes, cadeias de Markov, laplaciano de grafos]<br />
* [http://wiki.nosdigitais.teia.org.br/Imagem:Aula-pagerank.pdf PageRank e outras tecnicas de Ranking, reducao de dimensionalidade, e machine learning]. Ver tambem [http://www.ams.org/samplings/feature-column/fcarc-pagerank]<br />
<br />
==== Para referencia: aulas de Analise Matricial: listagem parcial ====<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/01-analise_matricial-2012-livro_cap01.odp Matrizes, Notacao e Conceitos Elementares] (~cap 1 livro)<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/02-analise_matricial-2012-livro_cap02_parte1.odp Sensitividade, Erros e Normas - parte 1] (cobre cap 2 livro ate normas de matrizes)<br />
<br />
=== Provas ===<br />
* '''P1:''' Provas anteriores: [http://wiki.nosdigitais.teia.org.br/Imagem:P1-aln.pdf 2012]<br />
* '''P2:''' 17jul23<br />
* '''Final-Sub:''' 24jul23<br />
<br />
=== Criterio de Avaliacao ===<br />
* '''Trabalhos:''' 20% da media - o ultimo trabalho (reconhecimento) valera a metade disto, ou seja, 10% da media.<br />
* '''Bonus de participacao:''' 10%-20% a nota total trabalhos e tarefas T, ''adicionais''. A criterio do professor, incluindo presenca em aula, participacao em aula, esforco de realizar tarefas excelentes e ir alem do esperado.<br />
* O criterio final ficou (favor avisar se precisar adicionar detalhes ou corrigir no caso de erro/discrepancia):<br />
<br />
<small><br />
M_p = (P1 + P2)/2 <br />
M = 0.8*M_p + 0.2*T (atualizado de 10% para 20% com acordo dos alunos), onde T é a nota dos trabalhos<br />
Se M >= 5, passou --> M (''facilitando: considere T=10,0 no M `a esquerda desta desigualdade aqui'')<br />
prova final - faz quem quiser, mas combinamos que teria de seria feita por quem obtiver M < 5 <br />
- facilitando: considere T=10,0 e calcule uma media M otimista, para ver se precisa fazer a final. ou seja:<br />
<br />
- Se M_p < 6.25, precisa fazer final! *************************<br />
<br />
M_f = 0.5*(M + P_f) = 0.5*(0.8M_p + 0.2*T + P_f) = 0.2*P1 + 0.2*P2 + 0.5*P_f + 0.1*T<br />
Se M_f >= 5, passa --> M_f<br />
Sub: repoe menor de P1, P2, P_f (apenas se alguem faltou alguma prova ou quiser melhorar nota - mas quem entregar ira substituir)<br />
M_sub = media com sub<br />
Se M_sub >= 5, passou --> M_sub<br />
<br />
Adendo (em acordo com os alunos): a M_sub = M_f pois sera considerada a mesma prova. Quem for usar a prova como Sub ira substituir a nota independentemente do resultado.<br />
</small><br />
<br />
== Awesome Links ==<br />
* Curso moderno e basico on-line da Brown University sobre algebra linear e aplicacoes [http://coursera.org/course/matrix] <br />
* Curso on-line da University of Texas at Austin, Linear Algebra - Foundations to Frontiers: Learn the theory of linear algebra hand-in-hand with the practice of software library development [https://www.edx.org/course/utaustin/ut-5-01x/linear-algebra-foundations/1162]<br />
=== Machine learning com Algebra Linear Numerica ===<br />
* [https://en.wikipedia.org/wiki/Non-negative_matrix_factorization Non-negative matrix factorization]<br />
* [https://scikit-learn.org/stable/auto_examples/decomposition/plot_incremental_pca.html Incremental PCA]<br />
<br />
[[Category:IPRJ]]<br />
[[Category:Lab Macambira]]</div>V1zhttp://wiki.nosdigitais.teia.org.br/index.php?title=Algebra_Linear_Numerica&diff=41605Algebra Linear Numerica2023-06-17T02:46:16Z<p>V1z: /* Procedimento */</p>
<hr />
<div>Esta é a página oficial do curso de Álgebra Linear Numérica (graduação) do [http://en.wikipedia.org/wiki/IPRJ IPRJ]/UERJ Nova Friburgo, 2023, contendo material potencialmente útil ao publico geral.<br />
* Links para os cursos de '''[[ALN2012|2012]]''', '''[[ALN2013|2013]]''', '''[[ALN2015|2015]]''', '''[[ALN2016|2016]]''', '''[[ALN2018|2018]]''', '''[[ALN2019|2019]]''' e '''[[ALN2022|2022]]'''<br />
<br />
= Informacao Basica =<br />
* Instrutor: [http://rfabbri.github.io prof. Ricardo Fabbri, Ph.D.]<br />
==Horario==<br />
* Segundas 9:40-12:20 Sala 217<br />
* Quintas 7:50-9:40 Sala 217<br />
Duvidas: agendar individualmente com o professor ou procura-lo na sala 110<br />
<br />
== Avisos ==<br />
* Por email<br />
* Tambem ver Moodle (caso seja usado)<br />
<br />
== Software ==<br />
* Usaremos o [[Scilab]] primariamente. Para explorar algoritmos de porte pequeno e médio com matrizes, as linguagens do tipo Lab (como Matlab, Scilab e Octave) são as mais simples, úteis e diretas.<br />
** Ver funcoes <tt>svd</tt>, <tt>sva</tt>, e '<tt>\</tt>' (barra invertida)<br />
* Python e Octave sao alternativas aceitaveis<br />
<br />
== Tarefas e Projetos ==<br />
<br />
As tarefas devem ser formatadas com notacao matematica adequada, preferencialmente em [[Latex]].<br />
<br />
'''Somente serao aceitos arquivos eletronicos no formato PDF ou outro formato aberto como .odt'''<br />
<br />
Quando a tarefa involver qualquer programacao, o aluno devera enviar o codigo fonte. O codigo junto com a documentacao devera estar dentro de um<br />
unico diretorio comprimido com .zip ou tar, com o nome do aluno, disciplina e data.<br />
<br />
Enviar todo email com a tag "ALNIPRJ" no subject para garantir recebimento.<br />
<br />
=== Tarefa 0 ===<br />
* Assistir videos introdutorios do curso relacionado ALN+ARN 2022: <br />
# Motivacao dos cursos de Algebra Linear Numerica e Analise no Rn para computacao Prof Fabbri https://youtu.be/Tm5F2t3NriI<br />
# Continuacao do prof Francisco https://youtu.be/1o-pUSbkQK (video privado - adicione a letra g ao final da URL)<br />
* Ler Aula 1 Apostila da disciplina (apostila prof. Fabbri listada nas referencias)<br />
* Professor ira escolher alunos para comentar em aula *parte por parte* do video, em especial discutiremos a opiniao do(a) aluno(a) sobre essas disciplinas no curso de computacao, e receber bonus<br />
<br />
=== Tarefa 1 ===<br />
* SVD + Scilab<br />
** Plotar circulo unitario<br />
** Escolha uma matriz A<br />
** Transformar cada ponto por A<br />
** '''SVD visual: visualizar os eixos e esticamento da transformacao efetuada por A'''. <br />
** Realizar SVD usando a funcao SVD propriamente dita<br />
** '''Analise a relacao dos eixos encontrados visualmente com as matrizes U e V.'''<br />
** Repetir com outras matrizes A, aleatorias e nao-aleatorias. Qual o poder de modelagem de matrizes na pratica que voce pode observar assim?<br />
** Digitar o resultado, preferencialmente em [[Latex]], e entregar por email ou impresso.<br />
<br />
=== Tarefa 2: Ajuste de curvas ===<br />
Uma das principais aplicações dos métodos numéricos de álgebra linear vistos em<br />
aulas consiste na solução de sistemas por mínimos quadrados. Isto, por sua vez,<br />
é muito útil para ajustar curvas algébricas (polinomiais) a dados experimentais,<br />
por exemplo: encontrar retas, círculos, ou outras cônicas que passam próximos de<br />
dado um conjunto de pontos.<br />
* Ajuste de reta (opcional - para aprendizado apenas)<br />
** simule a geração de um conjunto sintético de pontos "experimentais" ao longo de uma reta e os perturbe com a função <tt>rand()</tt> ao longo de cada coordenada<br />
** use a "barra invertida" '<tt>\</tt>' do Scilab para gerar a curva que mais se aproxima dos pontos gerados<br />
** plote seus resultados para diferentes intensidades de ruído<br />
* Ajuste de cônicas (obrigatorio)<br />
** simule a geração de um conjunto sintético de pontos "experimentais" ao longo de uma curva polinomial bi-dimensional de grau 2 (círculo, parábola, elipse..) e os perturbe com a função <tt>rand()</tt> ao longo de cada coordenada<br />
** use a "barra invertida" '<tt>\</tt>' do Scilab para gerar a curva que mais se aproxima dos dados gerados<br />
** plote seus resultados para diferentes intensidades de ruído<br />
<br />
=== Projeto de Reconhecimento de Faces ===<br />
<br />
<br />
==== Exemplo de Album com Algumas Faces (Facebook upload) ====<br />
[[Imagem:Album1.png|300px]]<br />
<br />
==== Exemplo de Faces detectadas, a serem reconhecidas no projeto (logo apos Facebook upload) ====<br />
[[Imagem:Album2-faces.png|300px]]<br />
<br />
==== Procedimento ====<br />
<br />
1) Monte um grupo de colegas, de 2-3 pessoas, para fazer o trabalho: '''Definir ate 1a aula apos P1''' (2023: definir na apresentação de progresso parcial)<br />
2) Baixe este conjunto de bases de dados de faces: [https://github.com/rfabbri/recdev RecDev]<br />
3) Inicie com a base de dados very-easy. Siga as instrucoes no README<br />
4) Uma vez debugado seu reconhecedor, forneca uma taxa de acerto, usando validacao cruzada separando parte das fotos para treino, parte para teste, e fazendo uma media da taxa de acerto para varias particoes diferentes. Recomendo iniciar com o procedimento retirar 1 foto por pessoa para teste, e usar o restante para reconhecimento, e repetir o processo 10 vezes para comecar. O pseudocodigo fica assim:<br />
<br />
erro_medio := 0<br />
faca n vezes // n seria o numero de simulacoes, por exemplo, 10<br />
bd_treino := base de dados completa (todas as fotos)<br />
para cada pessoa p<br />
bd_treino := bd_treino menos uma foto aleatoria da pessoa p<br />
adicione a bd_teste essa foto aleatoria<br />
<br />
treine seu reconhecedor com a base de dados bd_treino<br />
erro_novo := calcule a taxa de erro testando o reconhecedor nas fotos em bd_teste<br />
erro_medio := erro_medio + erro_novo<br />
fim faca<br />
erro_medio = erro_medio/n<br />
mostre o erro medio<br />
bonus: mostre a matriz de confusao<br />
<br />
5) Use essa validacao cruzada para melhorar seu reconhecedor. Melhore esse codigo para poder examinar os casos de erro, analise, escreva no seu relatorio sua analise, e tente procurar a fonte do erro e melhorar o reconhecedor.<br />
6) Sera dada maior nota aos alunos que implementarem esse codigo com indices, sem precisar copiar as fotos na memoria para gerar bd_treino e bd_teste. Ao ler imagens, seu codigo tambem devera ser independente do numero de imagens.<br />
7) Uma vez debugado seu reconhecedor e validacao cruzada, rode nas bases easy, medium, hard e extras/facebookfaces e extras/facebookfaces2. Relate seus resultados e dificuldades. Se nao rodar em alguma dessas, ou se o relatorio nao tiver resultados condizentes, a nota sera penalizada.<br />
* Recomendamos dividir o trabalho da seguinte forma: apos especificar a leitura da base de dados a partir dos arquivos e o formato da base de dados na linguagem, outro colega deve implementar a validacao cruzada.<br />
* Seu codigo deve funcionar para um numero de fotos diferentes por pessoa. Por exemplo, 5 fotos para a pessoa 1, e 3 fotos para a pessoa 2.<br />
* Pode assumir que as imagens sao 100x100<br />
* Codigo para ajudar no trabalho: Rotinas PCA em scilab [https://github.com/rfabbri/siptoolbox/blob/master/macros/sip_pca.sci sip_pca.sci], [https://github.com/rfabbri/siptoolbox/blob/master/macros/sip_pca_project.sci sip_pca_project.sci]. Use a seguinte rotina para aprender a usar este codigo: [https://github.com/rfabbri/siptoolbox/blob/master/macros/sip_pca_test.sce sip_pca_test.sce]<br />
* Fragmentos de codigo de anos anteriores (so pra ter uma ideia, o seu codigo devera ser muito melhor): [https://github.com/rfabbri/aln-src aln-src]<br />
<br />
==== Entrega do Trabalho ====<br />
<br />
O trabalho devera ser entrege nas seguintes partes:<br />
* Relatorio <br />
** '''Data de entrega:''' '''2 semanas antes da P2 até a meia-noite'''<br />
** Secoes Obrigatorias:<br />
*** Introducao<br />
*** Descricao clara do problema<br />
*** Descricao da implementacao<br />
*** '''Mais importante:''' Descricao do processo de desenvolvimento <br />
**** Experimentos, discussao, analise dos resultados e '''estudo detalhado dos casos de falha'''.<br />
*** Conclusao e ideias para trabalho futuro<br />
*** Cada membro do grupo deverá também escrever uma seção de, no mínimo, 2 páginas relatando sua contribuição e experiencia com o trabalho<br />
<br />
* Codigo<br />
** '''Data de entrega:''' '''1 semana antes da P2 até a meia-noite''' (melhoras podem ser entregues ate 3 dias antes da Pf)<br />
** Dividir a entrega do codigo em 2 partes:<br />
*** Codigo-fonte<br />
**** README devera incluir instrucoes detalhadas de como rodar o codigo<br />
**** Calcular a taxa de acerto do algoritmo em validacao cruzada<br />
** melhorias podem ser entregues juntos ao relatorio, desde que, no minimo, o codigo esteja fornecendo uma taxa de acerto e rodando nas bases easy e very-easy<br />
<br />
'''Aviso:''' <br />
* Criterio de avaliacao: A nota de trabalho sera dada com base na qualidade do relatorio<br />
* '''Bonus #1:''' O grupo que tiver melhor performance obtera nota 10.0 no trabalho. O segundo melhor grupo obtera um bonus de 2 pontos no trabalho.<br />
** A taxa de reconhecimento sera medida em uma base elaborada pelo professor durante a correcao, sem o conhecimento previo do aluno. <br />
** A base de treinamento sera entregue ao aluno no mesmo formato da base <tt>recdev</tt> acima, no '''dia 10jul23'''<br />
** A performance para bonus sera medida na presenca do professor, durante processo de correcao em horario de aula no '''dia 13jul23''', usando-se uma base de teste fornecida no ato. O formato da base de teste sera da seguinte forma:<br />
*** arquivos no formato <pre><id_pessoa>-<id_foto>.jpg</pre> todas na mesma pasta<br />
*** Por exemplo, 17-3.jpg seria pessoa 17, foto numero 3 da base de teste<br />
*** Este id nao tem relacao com o id usado na base de treino<br />
*** Se houver mais de uma foto teste por pessoa, seu sistema pode usar todas essas fotos para tentar identificar a pessoa<br />
*** Tarefa do seu algoritmo: dadas diversas fotos de uma mesma pessoa desconhecida, do tipo: <pre>17-1.jpg, 17-2.jpg, 17-3.jpg, 17-4.jpg, 17-5.jpg</pre> Qual o id real dessa pessoa 17 na base de treino? Serao apresentadas varias pessoas, e o grupo que acertar mais vence. Nao sera permitido adaptacao do codigo, exceto para mostrar a pasta de teste.<br />
* O relatorio de cada aluno tambem devera conter um relato da participacao na competicao do bonus, e ira contar na nota do trabalho mesmo se nao ganhar o bonus<br />
<br />
=== Projeto: Análise de Redes Sociais ===<br />
<br />
Neste projeto o aluno coletara uma rede social, por exemplo a rede de amigos do<br />
facebook, ou uma rede de troca de mensagens de email, e fara uma análise dos nós mais importantes em relação a PageRank e<br />
outras características de difusão na topologia do grafo. Isso poderia ser util,<br />
por exemplo, para ordenar a sua lista de amigos por ordem de amigo mais<br />
"influente", ou para identificar maneiras de aumentar sua conexao<br />
na rede (por exemplo, numa rede de negocios).<br />
<br />
Os passos do projeto sao:<br />
<br />
# Obter sua rede social no formato GML<br />
## Redes de troca de emails: http://hera.ethymos.com.br:1080/redes/python/autoRede/escolheRedes.php<br />
## Sua rede amigos do facebook: http://snacourse.com/getnet/<br />
# Visualizar a rede no software Gephi<br />
## Baixe o Gephi em https://gephi.org<br />
## Realize o tutorial basico do Gephi (do menu Help)<br />
## Abrir o arquivo GML no Gephi<br />
# Obter a matriz de Markov dessa rede no Scilab, considerando pesos nas arestas como no algoritmo PageRank<br />
## Exportar a rede como matriz de adjacencias no Gephi (aprender como fazer)<br />
# Calcular o autovetor dominante (PageRank) no Scilab<br />
# Interpretar o que isso pode vir a dizer sobre a importância relativa dos seus amigos na rede de amizades<br />
## Por exemplo, a pessoa tem muitos amigos que tem muitos amigos<br />
## O que um caminhante aleatório ou quer dizer aqui? Discuta o que um processo de difusao significaria na rede de amizades. Talvez uma rede de indicacoes?<br />
## Invente alguma outra medida nessa rede da importancia relativa dos nos<br />
<br />
<br />
==== Links interessantes ====<br />
* veja nossas aulas sobre grafos e matrizes<br />
* labmacambira.sf.net/redes<br />
* [[ARS| Análise de redes sociais]]<br />
<br />
== Conteudo aproximado ==<br />
* Foco: [http://pt.wikipedia.org/wiki/SVD SVD]/Singular Value decomposition, auto-valores/auto-vetores, [http://pt.wikipedia.org/wiki/PCA PCA/Principal Component Analysis], demais decomposicoes matriciais.<br />
<br />
<br />
== Recursos principais ==<br />
* [https://github.com/rfabbri/aln-book/raw/master/fabbri-lecture-notes-aln.pdf Apostila prof. Fabbri]<br />
* Excelente livro recente cobrindo partes deste curso: Applied Linear Algebra, Peter J. Olver and Chehrzad Shakiban<br />
[[Arquivo:Ala2-olver-signature.png|200px|thumb|PDF assinado pelos autores para prof. Fabbri|link=http://www-users.math.umn.edu/~olver/ala.html]]<br />
* Livro classico: "Matrix Computations", Gene Golub et. al. (inventor do algoritimo mais usado de SVD).<br />
[[Arquivo:Golub-vanloan-thumb.jpg|link=https://www.amazon.com/Computations-Hopkins-Studies-Mathematical-Sciences/dp/1421407949]]<br />
<br />
=== Outros Recursos ===<br />
<br />
* Nao ha livro texto no nivel desta disciplina. mas veja a bibliografia do curso de Analise Matricial da Pos:<br />
** Outro livro: "Numerical Matrix Analysis", Ilse Ipsen http://www2.alibris-static.com/isbn/9780898716764.gif<br />
** Veja tambem os livros do Gilbert Strang.<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/fabbri-coordinate_changes.pdf Notas sobre sistemas de coordenadas, matriz relativa a dadas bases, rotacoes (pdf)]<br />
<br />
=== Aulas: Listagem parcial===<br />
<br />
* Primeiras aulas: overview, SVD, PCA, aplicacoes, notacao, bases vs sistemas de coordenadas<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/aula-rotacoes-sistemas-coordenadas-20120322.odp Rotacoes e Sistemas de Coordenadas]<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/aula-rotacoes-sistemas-coordenadas-20120404.odp Rotacoes e Sistemas de Coordenadas]<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/aula-svd-02.odp SVD]<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/informal-lecture-notes-numerical_linear_algebra-cardo_fabbri-whiteboard-20120627.pdf Aula Informal projeto e relatorio eigenfaces/PCA]<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/informal-lecture-notes-numerical_linear_algebra-cardo_fabbri-whiteboard-20120704.pdf Aula Informal PCA]<br />
* [http://wiki.nosdigitais.teia.org.br/Imagem:Aula-grafos-matrizes-201306.pdf Grafos e matrizes, cadeias de Markov, laplaciano de grafos]<br />
* [http://wiki.nosdigitais.teia.org.br/Imagem:Aula-pagerank.pdf PageRank e outras tecnicas de Ranking, reducao de dimensionalidade, e machine learning]. Ver tambem [http://www.ams.org/samplings/feature-column/fcarc-pagerank]<br />
<br />
==== Para referencia: aulas de Analise Matricial: listagem parcial ====<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/01-analise_matricial-2012-livro_cap01.odp Matrizes, Notacao e Conceitos Elementares] (~cap 1 livro)<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/02-analise_matricial-2012-livro_cap02_parte1.odp Sensitividade, Erros e Normas - parte 1] (cobre cap 2 livro ate normas de matrizes)<br />
<br />
=== Provas ===<br />
* '''P1:''' Provas anteriores: [http://wiki.nosdigitais.teia.org.br/Imagem:P1-aln.pdf 2012]<br />
* '''P2:''' 17jul23<br />
* '''Final-Sub:''' 24jul23<br />
<br />
=== Criterio de Avaliacao ===<br />
* '''Trabalhos:''' 20% da media - o ultimo trabalho (reconhecimento) valera a metade disto, ou seja, 10% da media.<br />
* '''Bonus de participacao:''' 10%-20% a nota total trabalhos e tarefas T, ''adicionais''. A criterio do professor, incluindo presenca em aula, participacao em aula, esforco de realizar tarefas excelentes e ir alem do esperado.<br />
* O criterio final ficou (favor avisar se precisar adicionar detalhes ou corrigir no caso de erro/discrepancia):<br />
<br />
<small><br />
M_p = (P1 + P2)/2 <br />
M = 0.8*M_p + 0.2*T (atualizado de 10% para 20% com acordo dos alunos), onde T é a nota dos trabalhos<br />
Se M >= 5, passou --> M (''facilitando: considere T=10,0 no M `a esquerda desta desigualdade aqui'')<br />
prova final - faz quem quiser, mas combinamos que teria de seria feita por quem obtiver M < 5 <br />
- facilitando: considere T=10,0 e calcule uma media M otimista, para ver se precisa fazer a final. ou seja:<br />
<br />
- Se M_p < 6.25, precisa fazer final! *************************<br />
<br />
M_f = 0.5*(M + P_f) = 0.5*(0.8M_p + 0.2*T + P_f) = 0.2*P1 + 0.2*P2 + 0.5*P_f + 0.1*T<br />
Se M_f >= 5, passa --> M_f<br />
Sub: repoe menor de P1, P2, P_f (apenas se alguem faltou alguma prova ou quiser melhorar nota - mas quem entregar ira substituir)<br />
M_sub = media com sub<br />
Se M_sub >= 5, passou --> M_sub<br />
<br />
Adendo (em acordo com os alunos): a M_sub = M_f pois sera considerada a mesma prova. Quem for usar a prova como Sub ira substituir a nota independentemente do resultado.<br />
</small><br />
<br />
== Awesome Links ==<br />
* Curso moderno e basico on-line da Brown University sobre algebra linear e aplicacoes [http://coursera.org/course/matrix] <br />
* Curso on-line da University of Texas at Austin, Linear Algebra - Foundations to Frontiers: Learn the theory of linear algebra hand-in-hand with the practice of software library development [https://www.edx.org/course/utaustin/ut-5-01x/linear-algebra-foundations/1162]<br />
=== Machine learning com Algebra Linear Numerica ===<br />
* [https://en.wikipedia.org/wiki/Non-negative_matrix_factorization Non-negative matrix factorization]<br />
* [https://scikit-learn.org/stable/auto_examples/decomposition/plot_incremental_pca.html Incremental PCA]<br />
<br />
[[Category:IPRJ]]<br />
[[Category:Lab Macambira]]</div>V1zhttp://wiki.nosdigitais.teia.org.br/index.php?title=Algebra_Linear_Numerica&diff=41604Algebra Linear Numerica2023-06-17T02:41:15Z<p>V1z: /* Entrega do Trabalho */</p>
<hr />
<div>Esta é a página oficial do curso de Álgebra Linear Numérica (graduação) do [http://en.wikipedia.org/wiki/IPRJ IPRJ]/UERJ Nova Friburgo, 2023, contendo material potencialmente útil ao publico geral.<br />
* Links para os cursos de '''[[ALN2012|2012]]''', '''[[ALN2013|2013]]''', '''[[ALN2015|2015]]''', '''[[ALN2016|2016]]''', '''[[ALN2018|2018]]''', '''[[ALN2019|2019]]''' e '''[[ALN2022|2022]]'''<br />
<br />
= Informacao Basica =<br />
* Instrutor: [http://rfabbri.github.io prof. Ricardo Fabbri, Ph.D.]<br />
==Horario==<br />
* Segundas 9:40-12:20 Sala 217<br />
* Quintas 7:50-9:40 Sala 217<br />
Duvidas: agendar individualmente com o professor ou procura-lo na sala 110<br />
<br />
== Avisos ==<br />
* Por email<br />
* Tambem ver Moodle (caso seja usado)<br />
<br />
== Software ==<br />
* Usaremos o [[Scilab]] primariamente. Para explorar algoritmos de porte pequeno e médio com matrizes, as linguagens do tipo Lab (como Matlab, Scilab e Octave) são as mais simples, úteis e diretas.<br />
** Ver funcoes <tt>svd</tt>, <tt>sva</tt>, e '<tt>\</tt>' (barra invertida)<br />
* Python e Octave sao alternativas aceitaveis<br />
<br />
== Tarefas e Projetos ==<br />
<br />
As tarefas devem ser formatadas com notacao matematica adequada, preferencialmente em [[Latex]].<br />
<br />
'''Somente serao aceitos arquivos eletronicos no formato PDF ou outro formato aberto como .odt'''<br />
<br />
Quando a tarefa involver qualquer programacao, o aluno devera enviar o codigo fonte. O codigo junto com a documentacao devera estar dentro de um<br />
unico diretorio comprimido com .zip ou tar, com o nome do aluno, disciplina e data.<br />
<br />
Enviar todo email com a tag "ALNIPRJ" no subject para garantir recebimento.<br />
<br />
=== Tarefa 0 ===<br />
* Assistir videos introdutorios do curso relacionado ALN+ARN 2022: <br />
# Motivacao dos cursos de Algebra Linear Numerica e Analise no Rn para computacao Prof Fabbri https://youtu.be/Tm5F2t3NriI<br />
# Continuacao do prof Francisco https://youtu.be/1o-pUSbkQK (video privado - adicione a letra g ao final da URL)<br />
* Ler Aula 1 Apostila da disciplina (apostila prof. Fabbri listada nas referencias)<br />
* Professor ira escolher alunos para comentar em aula *parte por parte* do video, em especial discutiremos a opiniao do(a) aluno(a) sobre essas disciplinas no curso de computacao, e receber bonus<br />
<br />
=== Tarefa 1 ===<br />
* SVD + Scilab<br />
** Plotar circulo unitario<br />
** Escolha uma matriz A<br />
** Transformar cada ponto por A<br />
** '''SVD visual: visualizar os eixos e esticamento da transformacao efetuada por A'''. <br />
** Realizar SVD usando a funcao SVD propriamente dita<br />
** '''Analise a relacao dos eixos encontrados visualmente com as matrizes U e V.'''<br />
** Repetir com outras matrizes A, aleatorias e nao-aleatorias. Qual o poder de modelagem de matrizes na pratica que voce pode observar assim?<br />
** Digitar o resultado, preferencialmente em [[Latex]], e entregar por email ou impresso.<br />
<br />
=== Tarefa 2: Ajuste de curvas ===<br />
Uma das principais aplicações dos métodos numéricos de álgebra linear vistos em<br />
aulas consiste na solução de sistemas por mínimos quadrados. Isto, por sua vez,<br />
é muito útil para ajustar curvas algébricas (polinomiais) a dados experimentais,<br />
por exemplo: encontrar retas, círculos, ou outras cônicas que passam próximos de<br />
dado um conjunto de pontos.<br />
* Ajuste de reta (opcional - para aprendizado apenas)<br />
** simule a geração de um conjunto sintético de pontos "experimentais" ao longo de uma reta e os perturbe com a função <tt>rand()</tt> ao longo de cada coordenada<br />
** use a "barra invertida" '<tt>\</tt>' do Scilab para gerar a curva que mais se aproxima dos pontos gerados<br />
** plote seus resultados para diferentes intensidades de ruído<br />
* Ajuste de cônicas (obrigatorio)<br />
** simule a geração de um conjunto sintético de pontos "experimentais" ao longo de uma curva polinomial bi-dimensional de grau 2 (círculo, parábola, elipse..) e os perturbe com a função <tt>rand()</tt> ao longo de cada coordenada<br />
** use a "barra invertida" '<tt>\</tt>' do Scilab para gerar a curva que mais se aproxima dos dados gerados<br />
** plote seus resultados para diferentes intensidades de ruído<br />
<br />
=== Projeto de Reconhecimento de Faces ===<br />
<br />
<br />
==== Exemplo de Album com Algumas Faces (Facebook upload) ====<br />
[[Imagem:Album1.png|300px]]<br />
<br />
==== Exemplo de Faces detectadas, a serem reconhecidas no projeto (logo apos Facebook upload) ====<br />
[[Imagem:Album2-faces.png|300px]]<br />
<br />
==== Procedimento ====<br />
<br />
* Monte um grupo de colegas, de 2-3 pessoas, para fazer o trabalho: '''Definir ate 1a aula apos P1''' (2023: definir na apresentação de progresso parcial)<br />
* Baixe este conjunto de bases de dados de faces: [https://github.com/rfabbri/recdev RecDev]<br />
* Inicie com a base de dados very-easy. Siga as instrucoes no README<br />
* Uma vez debugado seu reconhecedor, forneca uma taxa de acerto, usando validacao cruzada separando parte das fotos para treino, parte para teste, e fazendo uma media da taxa de acerto para varias particoes diferentes. Recomendo iniciar com o procedimento retirar 1 foto por pessoa para teste, e usar o restante para reconhecimento, e repetir o processo 10 vezes para comecar. O pseudocodigo fica assim:<br />
<br />
erro_medio := 0<br />
faca n vezes // n seria o numero de simulacoes, por exemplo, 10<br />
bd_treino := base de dados completa (todas as fotos)<br />
para cada pessoa p<br />
bd_treino := bd_treino menos uma foto aleatoria da pessoa p<br />
adicione a bd_teste essa foto aleatoria<br />
<br />
treine seu reconhecedor com a base de dados bd_treino<br />
erro_novo := calcule a taxa de erro testando o reconhecedor nas fotos em bd_teste<br />
erro_medio := erro_medio + erro_novo<br />
fim faca<br />
erro_medio = erro_medio/n<br />
mostre o erro medio<br />
bonus: mostre a matriz de confusao<br />
<br />
* Use essa validacao cruzada para melhorar seu reconhecedor. Melhore esse codigo para poder examinar os casos de erro, analise, escreva no seu relatorio sua analise, e tente procurar a fonte do erro e melhorar o reconhecedor.<br />
* Sera dada maior nota aos alunos que implementarem esse codigo com indices, sem precisar copiar as fotos na memoria para gerar bd_treino e bd_teste. Ao ler imagens, seu codigo tambem devera ser independente do numero de imagens.<br />
* Uma vez debugado seu reconhecedor e validacao cruzada, rode nas bases easy, medium, hard e extras/facebookfaces e extras/facebookfaces2. Relate seus resultados e dificuldades. Se nao rodar em alguma dessas, ou se o relatorio nao tiver resultados condizentes, a nota sera penalizada.<br />
* Recomendamos dividir o trabalho da seguinte forma: apos especificar a leitura da base de dados a partir dos arquivos e o formato da base de dados na linguagem, outro colega deve implementar a validacao cruzada.<br />
* Seu codigo deve funcionar para um numero de fotos diferentes por pessoa. Por exemplo, 5 fotos para a pessoa 1, e 3 fotos para a pessoa 2.<br />
* Pode assumir que as imagens sao 100x100<br />
* Codigo para ajudar no trabalho: Rotinas PCA em scilab [https://github.com/rfabbri/siptoolbox/blob/master/macros/sip_pca.sci sip_pca.sci], [https://github.com/rfabbri/siptoolbox/blob/master/macros/sip_pca_project.sci sip_pca_project.sci]. Use a seguinte rotina para aprender a usar este codigo: [https://github.com/rfabbri/siptoolbox/blob/master/macros/sip_pca_test.sce sip_pca_test.sce]<br />
* Fragmentos de codigo de anos anteriores (so pra ter uma ideia, o seu codigo devera ser muito melhor): [https://github.com/rfabbri/aln-src aln-src]<br />
<br />
==== Entrega do Trabalho ====<br />
<br />
O trabalho devera ser entrege nas seguintes partes:<br />
* Relatorio <br />
** '''Data de entrega:''' '''2 semanas antes da P2 até a meia-noite'''<br />
** Secoes Obrigatorias:<br />
*** Introducao<br />
*** Descricao clara do problema<br />
*** Descricao da implementacao<br />
*** '''Mais importante:''' Descricao do processo de desenvolvimento <br />
**** Experimentos, discussao, analise dos resultados e '''estudo detalhado dos casos de falha'''.<br />
*** Conclusao e ideias para trabalho futuro<br />
*** Cada membro do grupo deverá também escrever uma seção de, no mínimo, 2 páginas relatando sua contribuição e experiencia com o trabalho<br />
<br />
* Codigo<br />
** '''Data de entrega:''' '''1 semana antes da P2 até a meia-noite''' (melhoras podem ser entregues ate 3 dias antes da Pf)<br />
** Dividir a entrega do codigo em 2 partes:<br />
*** Codigo-fonte<br />
**** README devera incluir instrucoes detalhadas de como rodar o codigo<br />
**** Calcular a taxa de acerto do algoritmo em validacao cruzada<br />
** melhorias podem ser entregues juntos ao relatorio, desde que, no minimo, o codigo esteja fornecendo uma taxa de acerto e rodando nas bases easy e very-easy<br />
<br />
'''Aviso:''' <br />
* Criterio de avaliacao: A nota de trabalho sera dada com base na qualidade do relatorio<br />
* '''Bonus #1:''' O grupo que tiver melhor performance obtera nota 10.0 no trabalho. O segundo melhor grupo obtera um bonus de 2 pontos no trabalho.<br />
** A taxa de reconhecimento sera medida em uma base elaborada pelo professor durante a correcao, sem o conhecimento previo do aluno. <br />
** A base de treinamento sera entregue ao aluno no mesmo formato da base <tt>recdev</tt> acima, no '''dia 10jul23'''<br />
** A performance para bonus sera medida na presenca do professor, durante processo de correcao em horario de aula no '''dia 13jul23''', usando-se uma base de teste fornecida no ato. O formato da base de teste sera da seguinte forma:<br />
*** arquivos no formato <pre><id_pessoa>-<id_foto>.jpg</pre> todas na mesma pasta<br />
*** Por exemplo, 17-3.jpg seria pessoa 17, foto numero 3 da base de teste<br />
*** Este id nao tem relacao com o id usado na base de treino<br />
*** Se houver mais de uma foto teste por pessoa, seu sistema pode usar todas essas fotos para tentar identificar a pessoa<br />
*** Tarefa do seu algoritmo: dadas diversas fotos de uma mesma pessoa desconhecida, do tipo: <pre>17-1.jpg, 17-2.jpg, 17-3.jpg, 17-4.jpg, 17-5.jpg</pre> Qual o id real dessa pessoa 17 na base de treino? Serao apresentadas varias pessoas, e o grupo que acertar mais vence. Nao sera permitido adaptacao do codigo, exceto para mostrar a pasta de teste.<br />
* O relatorio de cada aluno tambem devera conter um relato da participacao na competicao do bonus, e ira contar na nota do trabalho mesmo se nao ganhar o bonus<br />
<br />
=== Projeto: Análise de Redes Sociais ===<br />
<br />
Neste projeto o aluno coletara uma rede social, por exemplo a rede de amigos do<br />
facebook, ou uma rede de troca de mensagens de email, e fara uma análise dos nós mais importantes em relação a PageRank e<br />
outras características de difusão na topologia do grafo. Isso poderia ser util,<br />
por exemplo, para ordenar a sua lista de amigos por ordem de amigo mais<br />
"influente", ou para identificar maneiras de aumentar sua conexao<br />
na rede (por exemplo, numa rede de negocios).<br />
<br />
Os passos do projeto sao:<br />
<br />
# Obter sua rede social no formato GML<br />
## Redes de troca de emails: http://hera.ethymos.com.br:1080/redes/python/autoRede/escolheRedes.php<br />
## Sua rede amigos do facebook: http://snacourse.com/getnet/<br />
# Visualizar a rede no software Gephi<br />
## Baixe o Gephi em https://gephi.org<br />
## Realize o tutorial basico do Gephi (do menu Help)<br />
## Abrir o arquivo GML no Gephi<br />
# Obter a matriz de Markov dessa rede no Scilab, considerando pesos nas arestas como no algoritmo PageRank<br />
## Exportar a rede como matriz de adjacencias no Gephi (aprender como fazer)<br />
# Calcular o autovetor dominante (PageRank) no Scilab<br />
# Interpretar o que isso pode vir a dizer sobre a importância relativa dos seus amigos na rede de amizades<br />
## Por exemplo, a pessoa tem muitos amigos que tem muitos amigos<br />
## O que um caminhante aleatório ou quer dizer aqui? Discuta o que um processo de difusao significaria na rede de amizades. Talvez uma rede de indicacoes?<br />
## Invente alguma outra medida nessa rede da importancia relativa dos nos<br />
<br />
<br />
==== Links interessantes ====<br />
* veja nossas aulas sobre grafos e matrizes<br />
* labmacambira.sf.net/redes<br />
* [[ARS| Análise de redes sociais]]<br />
<br />
== Conteudo aproximado ==<br />
* Foco: [http://pt.wikipedia.org/wiki/SVD SVD]/Singular Value decomposition, auto-valores/auto-vetores, [http://pt.wikipedia.org/wiki/PCA PCA/Principal Component Analysis], demais decomposicoes matriciais.<br />
<br />
<br />
== Recursos principais ==<br />
* [https://github.com/rfabbri/aln-book/raw/master/fabbri-lecture-notes-aln.pdf Apostila prof. Fabbri]<br />
* Excelente livro recente cobrindo partes deste curso: Applied Linear Algebra, Peter J. Olver and Chehrzad Shakiban<br />
[[Arquivo:Ala2-olver-signature.png|200px|thumb|PDF assinado pelos autores para prof. Fabbri|link=http://www-users.math.umn.edu/~olver/ala.html]]<br />
* Livro classico: "Matrix Computations", Gene Golub et. al. (inventor do algoritimo mais usado de SVD).<br />
[[Arquivo:Golub-vanloan-thumb.jpg|link=https://www.amazon.com/Computations-Hopkins-Studies-Mathematical-Sciences/dp/1421407949]]<br />
<br />
=== Outros Recursos ===<br />
<br />
* Nao ha livro texto no nivel desta disciplina. mas veja a bibliografia do curso de Analise Matricial da Pos:<br />
** Outro livro: "Numerical Matrix Analysis", Ilse Ipsen http://www2.alibris-static.com/isbn/9780898716764.gif<br />
** Veja tambem os livros do Gilbert Strang.<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/fabbri-coordinate_changes.pdf Notas sobre sistemas de coordenadas, matriz relativa a dadas bases, rotacoes (pdf)]<br />
<br />
=== Aulas: Listagem parcial===<br />
<br />
* Primeiras aulas: overview, SVD, PCA, aplicacoes, notacao, bases vs sistemas de coordenadas<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/aula-rotacoes-sistemas-coordenadas-20120322.odp Rotacoes e Sistemas de Coordenadas]<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/aula-rotacoes-sistemas-coordenadas-20120404.odp Rotacoes e Sistemas de Coordenadas]<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/aula-svd-02.odp SVD]<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/informal-lecture-notes-numerical_linear_algebra-cardo_fabbri-whiteboard-20120627.pdf Aula Informal projeto e relatorio eigenfaces/PCA]<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/informal-lecture-notes-numerical_linear_algebra-cardo_fabbri-whiteboard-20120704.pdf Aula Informal PCA]<br />
* [http://wiki.nosdigitais.teia.org.br/Imagem:Aula-grafos-matrizes-201306.pdf Grafos e matrizes, cadeias de Markov, laplaciano de grafos]<br />
* [http://wiki.nosdigitais.teia.org.br/Imagem:Aula-pagerank.pdf PageRank e outras tecnicas de Ranking, reducao de dimensionalidade, e machine learning]. Ver tambem [http://www.ams.org/samplings/feature-column/fcarc-pagerank]<br />
<br />
==== Para referencia: aulas de Analise Matricial: listagem parcial ====<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/01-analise_matricial-2012-livro_cap01.odp Matrizes, Notacao e Conceitos Elementares] (~cap 1 livro)<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/02-analise_matricial-2012-livro_cap02_parte1.odp Sensitividade, Erros e Normas - parte 1] (cobre cap 2 livro ate normas de matrizes)<br />
<br />
=== Provas ===<br />
* '''P1:''' Provas anteriores: [http://wiki.nosdigitais.teia.org.br/Imagem:P1-aln.pdf 2012]<br />
* '''P2:''' 17jul23<br />
* '''Final-Sub:''' 24jul23<br />
<br />
=== Criterio de Avaliacao ===<br />
* '''Trabalhos:''' 20% da media - o ultimo trabalho (reconhecimento) valera a metade disto, ou seja, 10% da media.<br />
* '''Bonus de participacao:''' 10%-20% a nota total trabalhos e tarefas T, ''adicionais''. A criterio do professor, incluindo presenca em aula, participacao em aula, esforco de realizar tarefas excelentes e ir alem do esperado.<br />
* O criterio final ficou (favor avisar se precisar adicionar detalhes ou corrigir no caso de erro/discrepancia):<br />
<br />
<small><br />
M_p = (P1 + P2)/2 <br />
M = 0.8*M_p + 0.2*T (atualizado de 10% para 20% com acordo dos alunos), onde T é a nota dos trabalhos<br />
Se M >= 5, passou --> M (''facilitando: considere T=10,0 no M `a esquerda desta desigualdade aqui'')<br />
prova final - faz quem quiser, mas combinamos que teria de seria feita por quem obtiver M < 5 <br />
- facilitando: considere T=10,0 e calcule uma media M otimista, para ver se precisa fazer a final. ou seja:<br />
<br />
- Se M_p < 6.25, precisa fazer final! *************************<br />
<br />
M_f = 0.5*(M + P_f) = 0.5*(0.8M_p + 0.2*T + P_f) = 0.2*P1 + 0.2*P2 + 0.5*P_f + 0.1*T<br />
Se M_f >= 5, passa --> M_f<br />
Sub: repoe menor de P1, P2, P_f (apenas se alguem faltou alguma prova ou quiser melhorar nota - mas quem entregar ira substituir)<br />
M_sub = media com sub<br />
Se M_sub >= 5, passou --> M_sub<br />
<br />
Adendo (em acordo com os alunos): a M_sub = M_f pois sera considerada a mesma prova. Quem for usar a prova como Sub ira substituir a nota independentemente do resultado.<br />
</small><br />
<br />
== Awesome Links ==<br />
* Curso moderno e basico on-line da Brown University sobre algebra linear e aplicacoes [http://coursera.org/course/matrix] <br />
* Curso on-line da University of Texas at Austin, Linear Algebra - Foundations to Frontiers: Learn the theory of linear algebra hand-in-hand with the practice of software library development [https://www.edx.org/course/utaustin/ut-5-01x/linear-algebra-foundations/1162]<br />
=== Machine learning com Algebra Linear Numerica ===<br />
* [https://en.wikipedia.org/wiki/Non-negative_matrix_factorization Non-negative matrix factorization]<br />
* [https://scikit-learn.org/stable/auto_examples/decomposition/plot_incremental_pca.html Incremental PCA]<br />
<br />
[[Category:IPRJ]]<br />
[[Category:Lab Macambira]]</div>V1zhttp://wiki.nosdigitais.teia.org.br/index.php?title=Algebra_Linear_Numerica&diff=41603Algebra Linear Numerica2023-06-17T02:40:10Z<p>V1z: /* Entrega do Trabalho */</p>
<hr />
<div>Esta é a página oficial do curso de Álgebra Linear Numérica (graduação) do [http://en.wikipedia.org/wiki/IPRJ IPRJ]/UERJ Nova Friburgo, 2023, contendo material potencialmente útil ao publico geral.<br />
* Links para os cursos de '''[[ALN2012|2012]]''', '''[[ALN2013|2013]]''', '''[[ALN2015|2015]]''', '''[[ALN2016|2016]]''', '''[[ALN2018|2018]]''', '''[[ALN2019|2019]]''' e '''[[ALN2022|2022]]'''<br />
<br />
= Informacao Basica =<br />
* Instrutor: [http://rfabbri.github.io prof. Ricardo Fabbri, Ph.D.]<br />
==Horario==<br />
* Segundas 9:40-12:20 Sala 217<br />
* Quintas 7:50-9:40 Sala 217<br />
Duvidas: agendar individualmente com o professor ou procura-lo na sala 110<br />
<br />
== Avisos ==<br />
* Por email<br />
* Tambem ver Moodle (caso seja usado)<br />
<br />
== Software ==<br />
* Usaremos o [[Scilab]] primariamente. Para explorar algoritmos de porte pequeno e médio com matrizes, as linguagens do tipo Lab (como Matlab, Scilab e Octave) são as mais simples, úteis e diretas.<br />
** Ver funcoes <tt>svd</tt>, <tt>sva</tt>, e '<tt>\</tt>' (barra invertida)<br />
* Python e Octave sao alternativas aceitaveis<br />
<br />
== Tarefas e Projetos ==<br />
<br />
As tarefas devem ser formatadas com notacao matematica adequada, preferencialmente em [[Latex]].<br />
<br />
'''Somente serao aceitos arquivos eletronicos no formato PDF ou outro formato aberto como .odt'''<br />
<br />
Quando a tarefa involver qualquer programacao, o aluno devera enviar o codigo fonte. O codigo junto com a documentacao devera estar dentro de um<br />
unico diretorio comprimido com .zip ou tar, com o nome do aluno, disciplina e data.<br />
<br />
Enviar todo email com a tag "ALNIPRJ" no subject para garantir recebimento.<br />
<br />
=== Tarefa 0 ===<br />
* Assistir videos introdutorios do curso relacionado ALN+ARN 2022: <br />
# Motivacao dos cursos de Algebra Linear Numerica e Analise no Rn para computacao Prof Fabbri https://youtu.be/Tm5F2t3NriI<br />
# Continuacao do prof Francisco https://youtu.be/1o-pUSbkQK (video privado - adicione a letra g ao final da URL)<br />
* Ler Aula 1 Apostila da disciplina (apostila prof. Fabbri listada nas referencias)<br />
* Professor ira escolher alunos para comentar em aula *parte por parte* do video, em especial discutiremos a opiniao do(a) aluno(a) sobre essas disciplinas no curso de computacao, e receber bonus<br />
<br />
=== Tarefa 1 ===<br />
* SVD + Scilab<br />
** Plotar circulo unitario<br />
** Escolha uma matriz A<br />
** Transformar cada ponto por A<br />
** '''SVD visual: visualizar os eixos e esticamento da transformacao efetuada por A'''. <br />
** Realizar SVD usando a funcao SVD propriamente dita<br />
** '''Analise a relacao dos eixos encontrados visualmente com as matrizes U e V.'''<br />
** Repetir com outras matrizes A, aleatorias e nao-aleatorias. Qual o poder de modelagem de matrizes na pratica que voce pode observar assim?<br />
** Digitar o resultado, preferencialmente em [[Latex]], e entregar por email ou impresso.<br />
<br />
=== Tarefa 2: Ajuste de curvas ===<br />
Uma das principais aplicações dos métodos numéricos de álgebra linear vistos em<br />
aulas consiste na solução de sistemas por mínimos quadrados. Isto, por sua vez,<br />
é muito útil para ajustar curvas algébricas (polinomiais) a dados experimentais,<br />
por exemplo: encontrar retas, círculos, ou outras cônicas que passam próximos de<br />
dado um conjunto de pontos.<br />
* Ajuste de reta (opcional - para aprendizado apenas)<br />
** simule a geração de um conjunto sintético de pontos "experimentais" ao longo de uma reta e os perturbe com a função <tt>rand()</tt> ao longo de cada coordenada<br />
** use a "barra invertida" '<tt>\</tt>' do Scilab para gerar a curva que mais se aproxima dos pontos gerados<br />
** plote seus resultados para diferentes intensidades de ruído<br />
* Ajuste de cônicas (obrigatorio)<br />
** simule a geração de um conjunto sintético de pontos "experimentais" ao longo de uma curva polinomial bi-dimensional de grau 2 (círculo, parábola, elipse..) e os perturbe com a função <tt>rand()</tt> ao longo de cada coordenada<br />
** use a "barra invertida" '<tt>\</tt>' do Scilab para gerar a curva que mais se aproxima dos dados gerados<br />
** plote seus resultados para diferentes intensidades de ruído<br />
<br />
=== Projeto de Reconhecimento de Faces ===<br />
<br />
<br />
==== Exemplo de Album com Algumas Faces (Facebook upload) ====<br />
[[Imagem:Album1.png|300px]]<br />
<br />
==== Exemplo de Faces detectadas, a serem reconhecidas no projeto (logo apos Facebook upload) ====<br />
[[Imagem:Album2-faces.png|300px]]<br />
<br />
==== Procedimento ====<br />
<br />
* Monte um grupo de colegas, de 2-3 pessoas, para fazer o trabalho: '''Definir ate 1a aula apos P1''' (2023: definir na apresentação de progresso parcial)<br />
* Baixe este conjunto de bases de dados de faces: [https://github.com/rfabbri/recdev RecDev]<br />
* Inicie com a base de dados very-easy. Siga as instrucoes no README<br />
* Uma vez debugado seu reconhecedor, forneca uma taxa de acerto, usando validacao cruzada separando parte das fotos para treino, parte para teste, e fazendo uma media da taxa de acerto para varias particoes diferentes. Recomendo iniciar com o procedimento retirar 1 foto por pessoa para teste, e usar o restante para reconhecimento, e repetir o processo 10 vezes para comecar. O pseudocodigo fica assim:<br />
<br />
erro_medio := 0<br />
faca n vezes // n seria o numero de simulacoes, por exemplo, 10<br />
bd_treino := base de dados completa (todas as fotos)<br />
para cada pessoa p<br />
bd_treino := bd_treino menos uma foto aleatoria da pessoa p<br />
adicione a bd_teste essa foto aleatoria<br />
<br />
treine seu reconhecedor com a base de dados bd_treino<br />
erro_novo := calcule a taxa de erro testando o reconhecedor nas fotos em bd_teste<br />
erro_medio := erro_medio + erro_novo<br />
fim faca<br />
erro_medio = erro_medio/n<br />
mostre o erro medio<br />
bonus: mostre a matriz de confusao<br />
<br />
* Use essa validacao cruzada para melhorar seu reconhecedor. Melhore esse codigo para poder examinar os casos de erro, analise, escreva no seu relatorio sua analise, e tente procurar a fonte do erro e melhorar o reconhecedor.<br />
* Sera dada maior nota aos alunos que implementarem esse codigo com indices, sem precisar copiar as fotos na memoria para gerar bd_treino e bd_teste. Ao ler imagens, seu codigo tambem devera ser independente do numero de imagens.<br />
* Uma vez debugado seu reconhecedor e validacao cruzada, rode nas bases easy, medium, hard e extras/facebookfaces e extras/facebookfaces2. Relate seus resultados e dificuldades. Se nao rodar em alguma dessas, ou se o relatorio nao tiver resultados condizentes, a nota sera penalizada.<br />
* Recomendamos dividir o trabalho da seguinte forma: apos especificar a leitura da base de dados a partir dos arquivos e o formato da base de dados na linguagem, outro colega deve implementar a validacao cruzada.<br />
* Seu codigo deve funcionar para um numero de fotos diferentes por pessoa. Por exemplo, 5 fotos para a pessoa 1, e 3 fotos para a pessoa 2.<br />
* Pode assumir que as imagens sao 100x100<br />
* Codigo para ajudar no trabalho: Rotinas PCA em scilab [https://github.com/rfabbri/siptoolbox/blob/master/macros/sip_pca.sci sip_pca.sci], [https://github.com/rfabbri/siptoolbox/blob/master/macros/sip_pca_project.sci sip_pca_project.sci]. Use a seguinte rotina para aprender a usar este codigo: [https://github.com/rfabbri/siptoolbox/blob/master/macros/sip_pca_test.sce sip_pca_test.sce]<br />
* Fragmentos de codigo de anos anteriores (so pra ter uma ideia, o seu codigo devera ser muito melhor): [https://github.com/rfabbri/aln-src aln-src]<br />
<br />
==== Entrega do Trabalho ====<br />
<br />
O trabalho devera ser entrege nas seguintes partes:<br />
* Relatorio <br />
** '''Data de entrega:''' '''2 semanas antes da P2 até a meia-noite'''<br />
** Secoes Obrigatorias:<br />
*** Introducao<br />
*** Descricao clara do problema<br />
*** Descricao da implementacao<br />
*** '''Mais importante:''' Descricao do processo de desenvolvimento <br />
**** Experimentos, discussao, analise dos resultados e '''estudo detalhado dos casos de falha'''.<br />
*** Conclusao e ideias para trabalho futuro<br />
*** Cada membro do grupo deverá também escrever uma seção de, no mínimo, 2 páginas relatando sua contribuição e experiencia com o trabalho<br />
<br />
* Codigo<br />
** '''Data de entrega:''' '''1 semana antes da P2 até a meia-noite''' (melhoras podem ser entregues ate 3 dias antes da Pf)<br />
** Dividir a entrega do codigo em 2 partes:<br />
*** Codigo-fonte<br />
**** README devera incluir instrucoes detalhadas de como rodar o codigo<br />
**** Calcular a taxa de acerto do algoritmo em validacao cruzada<br />
** melhorias podem ser entregues juntos ao relatorio, desde que, no minimo, o codigo esteja fornecendo uma taxa de acerto e rodando nas bases easy e very-easy<br />
<br />
'''Aviso:''' <br />
* Criterio de avaliacao: A nota de trabalho sera dada com base na qualidade do relatorio<br />
* '''Bonus #1:''' O grupo que tiver melhor performance obtera nota 10.0 no trabalho. O segundo melhor grupo obtera um bonus de 2 pontos no trabalho.<br />
** A taxa de reconhecimento sera medida em uma base elaborada pelo professor durante a correcao, sem o conhecimento previo do aluno. <br />
** A base de treinamento sera entregue ao aluno no mesmo formato da base <tt>recdev</tt> acima, no '''dia 11jul23'''<br />
** A performance para bonus sera medida na presenca do professor, durante processo de correcao em horario de aula no '''dia 10jul23''', usando-se uma base de teste fornecida no ato. O formato da base de teste sera da seguinte forma:<br />
*** arquivos no formato <pre><id_pessoa>-<id_foto>.jpg</pre> todas na mesma pasta<br />
*** Por exemplo, 17-3.jpg seria pessoa 17, foto numero 3 da base de teste<br />
*** Este id nao tem relacao com o id usado na base de treino<br />
*** Se houver mais de uma foto teste por pessoa, seu sistema pode usar todas essas fotos para tentar identificar a pessoa<br />
*** Tarefa do seu algoritmo: dadas diversas fotos de uma mesma pessoa desconhecida, do tipo: <pre>17-1.jpg, 17-2.jpg, 17-3.jpg, 17-4.jpg, 17-5.jpg</pre> Qual o id real dessa pessoa 17 na base de treino? Serao apresentadas varias pessoas, e o grupo que acertar mais vence. Nao sera permitido adaptacao do codigo, exceto para mostrar a pasta de teste.<br />
* O relatorio de cada aluno tambem devera conter um relato da participacao na competicao do bonus, e ira contar na nota do trabalho mesmo se nao ganhar o bonus<br />
<br />
=== Projeto: Análise de Redes Sociais ===<br />
<br />
Neste projeto o aluno coletara uma rede social, por exemplo a rede de amigos do<br />
facebook, ou uma rede de troca de mensagens de email, e fara uma análise dos nós mais importantes em relação a PageRank e<br />
outras características de difusão na topologia do grafo. Isso poderia ser util,<br />
por exemplo, para ordenar a sua lista de amigos por ordem de amigo mais<br />
"influente", ou para identificar maneiras de aumentar sua conexao<br />
na rede (por exemplo, numa rede de negocios).<br />
<br />
Os passos do projeto sao:<br />
<br />
# Obter sua rede social no formato GML<br />
## Redes de troca de emails: http://hera.ethymos.com.br:1080/redes/python/autoRede/escolheRedes.php<br />
## Sua rede amigos do facebook: http://snacourse.com/getnet/<br />
# Visualizar a rede no software Gephi<br />
## Baixe o Gephi em https://gephi.org<br />
## Realize o tutorial basico do Gephi (do menu Help)<br />
## Abrir o arquivo GML no Gephi<br />
# Obter a matriz de Markov dessa rede no Scilab, considerando pesos nas arestas como no algoritmo PageRank<br />
## Exportar a rede como matriz de adjacencias no Gephi (aprender como fazer)<br />
# Calcular o autovetor dominante (PageRank) no Scilab<br />
# Interpretar o que isso pode vir a dizer sobre a importância relativa dos seus amigos na rede de amizades<br />
## Por exemplo, a pessoa tem muitos amigos que tem muitos amigos<br />
## O que um caminhante aleatório ou quer dizer aqui? Discuta o que um processo de difusao significaria na rede de amizades. Talvez uma rede de indicacoes?<br />
## Invente alguma outra medida nessa rede da importancia relativa dos nos<br />
<br />
<br />
==== Links interessantes ====<br />
* veja nossas aulas sobre grafos e matrizes<br />
* labmacambira.sf.net/redes<br />
* [[ARS| Análise de redes sociais]]<br />
<br />
== Conteudo aproximado ==<br />
* Foco: [http://pt.wikipedia.org/wiki/SVD SVD]/Singular Value decomposition, auto-valores/auto-vetores, [http://pt.wikipedia.org/wiki/PCA PCA/Principal Component Analysis], demais decomposicoes matriciais.<br />
<br />
<br />
== Recursos principais ==<br />
* [https://github.com/rfabbri/aln-book/raw/master/fabbri-lecture-notes-aln.pdf Apostila prof. Fabbri]<br />
* Excelente livro recente cobrindo partes deste curso: Applied Linear Algebra, Peter J. Olver and Chehrzad Shakiban<br />
[[Arquivo:Ala2-olver-signature.png|200px|thumb|PDF assinado pelos autores para prof. Fabbri|link=http://www-users.math.umn.edu/~olver/ala.html]]<br />
* Livro classico: "Matrix Computations", Gene Golub et. al. (inventor do algoritimo mais usado de SVD).<br />
[[Arquivo:Golub-vanloan-thumb.jpg|link=https://www.amazon.com/Computations-Hopkins-Studies-Mathematical-Sciences/dp/1421407949]]<br />
<br />
=== Outros Recursos ===<br />
<br />
* Nao ha livro texto no nivel desta disciplina. mas veja a bibliografia do curso de Analise Matricial da Pos:<br />
** Outro livro: "Numerical Matrix Analysis", Ilse Ipsen http://www2.alibris-static.com/isbn/9780898716764.gif<br />
** Veja tambem os livros do Gilbert Strang.<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/fabbri-coordinate_changes.pdf Notas sobre sistemas de coordenadas, matriz relativa a dadas bases, rotacoes (pdf)]<br />
<br />
=== Aulas: Listagem parcial===<br />
<br />
* Primeiras aulas: overview, SVD, PCA, aplicacoes, notacao, bases vs sistemas de coordenadas<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/aula-rotacoes-sistemas-coordenadas-20120322.odp Rotacoes e Sistemas de Coordenadas]<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/aula-rotacoes-sistemas-coordenadas-20120404.odp Rotacoes e Sistemas de Coordenadas]<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/aula-svd-02.odp SVD]<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/informal-lecture-notes-numerical_linear_algebra-cardo_fabbri-whiteboard-20120627.pdf Aula Informal projeto e relatorio eigenfaces/PCA]<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/informal-lecture-notes-numerical_linear_algebra-cardo_fabbri-whiteboard-20120704.pdf Aula Informal PCA]<br />
* [http://wiki.nosdigitais.teia.org.br/Imagem:Aula-grafos-matrizes-201306.pdf Grafos e matrizes, cadeias de Markov, laplaciano de grafos]<br />
* [http://wiki.nosdigitais.teia.org.br/Imagem:Aula-pagerank.pdf PageRank e outras tecnicas de Ranking, reducao de dimensionalidade, e machine learning]. Ver tambem [http://www.ams.org/samplings/feature-column/fcarc-pagerank]<br />
<br />
==== Para referencia: aulas de Analise Matricial: listagem parcial ====<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/01-analise_matricial-2012-livro_cap01.odp Matrizes, Notacao e Conceitos Elementares] (~cap 1 livro)<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/02-analise_matricial-2012-livro_cap02_parte1.odp Sensitividade, Erros e Normas - parte 1] (cobre cap 2 livro ate normas de matrizes)<br />
<br />
=== Provas ===<br />
* '''P1:''' Provas anteriores: [http://wiki.nosdigitais.teia.org.br/Imagem:P1-aln.pdf 2012]<br />
* '''P2:''' 17jul23<br />
* '''Final-Sub:''' 24jul23<br />
<br />
=== Criterio de Avaliacao ===<br />
* '''Trabalhos:''' 20% da media - o ultimo trabalho (reconhecimento) valera a metade disto, ou seja, 10% da media.<br />
* '''Bonus de participacao:''' 10%-20% a nota total trabalhos e tarefas T, ''adicionais''. A criterio do professor, incluindo presenca em aula, participacao em aula, esforco de realizar tarefas excelentes e ir alem do esperado.<br />
* O criterio final ficou (favor avisar se precisar adicionar detalhes ou corrigir no caso de erro/discrepancia):<br />
<br />
<small><br />
M_p = (P1 + P2)/2 <br />
M = 0.8*M_p + 0.2*T (atualizado de 10% para 20% com acordo dos alunos), onde T é a nota dos trabalhos<br />
Se M >= 5, passou --> M (''facilitando: considere T=10,0 no M `a esquerda desta desigualdade aqui'')<br />
prova final - faz quem quiser, mas combinamos que teria de seria feita por quem obtiver M < 5 <br />
- facilitando: considere T=10,0 e calcule uma media M otimista, para ver se precisa fazer a final. ou seja:<br />
<br />
- Se M_p < 6.25, precisa fazer final! *************************<br />
<br />
M_f = 0.5*(M + P_f) = 0.5*(0.8M_p + 0.2*T + P_f) = 0.2*P1 + 0.2*P2 + 0.5*P_f + 0.1*T<br />
Se M_f >= 5, passa --> M_f<br />
Sub: repoe menor de P1, P2, P_f (apenas se alguem faltou alguma prova ou quiser melhorar nota - mas quem entregar ira substituir)<br />
M_sub = media com sub<br />
Se M_sub >= 5, passou --> M_sub<br />
<br />
Adendo (em acordo com os alunos): a M_sub = M_f pois sera considerada a mesma prova. Quem for usar a prova como Sub ira substituir a nota independentemente do resultado.<br />
</small><br />
<br />
== Awesome Links ==<br />
* Curso moderno e basico on-line da Brown University sobre algebra linear e aplicacoes [http://coursera.org/course/matrix] <br />
* Curso on-line da University of Texas at Austin, Linear Algebra - Foundations to Frontiers: Learn the theory of linear algebra hand-in-hand with the practice of software library development [https://www.edx.org/course/utaustin/ut-5-01x/linear-algebra-foundations/1162]<br />
=== Machine learning com Algebra Linear Numerica ===<br />
* [https://en.wikipedia.org/wiki/Non-negative_matrix_factorization Non-negative matrix factorization]<br />
* [https://scikit-learn.org/stable/auto_examples/decomposition/plot_incremental_pca.html Incremental PCA]<br />
<br />
[[Category:IPRJ]]<br />
[[Category:Lab Macambira]]</div>V1zhttp://wiki.nosdigitais.teia.org.br/index.php?title=Algebra_Linear_Numerica&diff=41602Algebra Linear Numerica2023-06-17T02:36:12Z<p>V1z: /* Entrega do Trabalho */</p>
<hr />
<div>Esta é a página oficial do curso de Álgebra Linear Numérica (graduação) do [http://en.wikipedia.org/wiki/IPRJ IPRJ]/UERJ Nova Friburgo, 2023, contendo material potencialmente útil ao publico geral.<br />
* Links para os cursos de '''[[ALN2012|2012]]''', '''[[ALN2013|2013]]''', '''[[ALN2015|2015]]''', '''[[ALN2016|2016]]''', '''[[ALN2018|2018]]''', '''[[ALN2019|2019]]''' e '''[[ALN2022|2022]]'''<br />
<br />
= Informacao Basica =<br />
* Instrutor: [http://rfabbri.github.io prof. Ricardo Fabbri, Ph.D.]<br />
==Horario==<br />
* Segundas 9:40-12:20 Sala 217<br />
* Quintas 7:50-9:40 Sala 217<br />
Duvidas: agendar individualmente com o professor ou procura-lo na sala 110<br />
<br />
== Avisos ==<br />
* Por email<br />
* Tambem ver Moodle (caso seja usado)<br />
<br />
== Software ==<br />
* Usaremos o [[Scilab]] primariamente. Para explorar algoritmos de porte pequeno e médio com matrizes, as linguagens do tipo Lab (como Matlab, Scilab e Octave) são as mais simples, úteis e diretas.<br />
** Ver funcoes <tt>svd</tt>, <tt>sva</tt>, e '<tt>\</tt>' (barra invertida)<br />
* Python e Octave sao alternativas aceitaveis<br />
<br />
== Tarefas e Projetos ==<br />
<br />
As tarefas devem ser formatadas com notacao matematica adequada, preferencialmente em [[Latex]].<br />
<br />
'''Somente serao aceitos arquivos eletronicos no formato PDF ou outro formato aberto como .odt'''<br />
<br />
Quando a tarefa involver qualquer programacao, o aluno devera enviar o codigo fonte. O codigo junto com a documentacao devera estar dentro de um<br />
unico diretorio comprimido com .zip ou tar, com o nome do aluno, disciplina e data.<br />
<br />
Enviar todo email com a tag "ALNIPRJ" no subject para garantir recebimento.<br />
<br />
=== Tarefa 0 ===<br />
* Assistir videos introdutorios do curso relacionado ALN+ARN 2022: <br />
# Motivacao dos cursos de Algebra Linear Numerica e Analise no Rn para computacao Prof Fabbri https://youtu.be/Tm5F2t3NriI<br />
# Continuacao do prof Francisco https://youtu.be/1o-pUSbkQK (video privado - adicione a letra g ao final da URL)<br />
* Ler Aula 1 Apostila da disciplina (apostila prof. Fabbri listada nas referencias)<br />
* Professor ira escolher alunos para comentar em aula *parte por parte* do video, em especial discutiremos a opiniao do(a) aluno(a) sobre essas disciplinas no curso de computacao, e receber bonus<br />
<br />
=== Tarefa 1 ===<br />
* SVD + Scilab<br />
** Plotar circulo unitario<br />
** Escolha uma matriz A<br />
** Transformar cada ponto por A<br />
** '''SVD visual: visualizar os eixos e esticamento da transformacao efetuada por A'''. <br />
** Realizar SVD usando a funcao SVD propriamente dita<br />
** '''Analise a relacao dos eixos encontrados visualmente com as matrizes U e V.'''<br />
** Repetir com outras matrizes A, aleatorias e nao-aleatorias. Qual o poder de modelagem de matrizes na pratica que voce pode observar assim?<br />
** Digitar o resultado, preferencialmente em [[Latex]], e entregar por email ou impresso.<br />
<br />
=== Tarefa 2: Ajuste de curvas ===<br />
Uma das principais aplicações dos métodos numéricos de álgebra linear vistos em<br />
aulas consiste na solução de sistemas por mínimos quadrados. Isto, por sua vez,<br />
é muito útil para ajustar curvas algébricas (polinomiais) a dados experimentais,<br />
por exemplo: encontrar retas, círculos, ou outras cônicas que passam próximos de<br />
dado um conjunto de pontos.<br />
* Ajuste de reta (opcional - para aprendizado apenas)<br />
** simule a geração de um conjunto sintético de pontos "experimentais" ao longo de uma reta e os perturbe com a função <tt>rand()</tt> ao longo de cada coordenada<br />
** use a "barra invertida" '<tt>\</tt>' do Scilab para gerar a curva que mais se aproxima dos pontos gerados<br />
** plote seus resultados para diferentes intensidades de ruído<br />
* Ajuste de cônicas (obrigatorio)<br />
** simule a geração de um conjunto sintético de pontos "experimentais" ao longo de uma curva polinomial bi-dimensional de grau 2 (círculo, parábola, elipse..) e os perturbe com a função <tt>rand()</tt> ao longo de cada coordenada<br />
** use a "barra invertida" '<tt>\</tt>' do Scilab para gerar a curva que mais se aproxima dos dados gerados<br />
** plote seus resultados para diferentes intensidades de ruído<br />
<br />
=== Projeto de Reconhecimento de Faces ===<br />
<br />
<br />
==== Exemplo de Album com Algumas Faces (Facebook upload) ====<br />
[[Imagem:Album1.png|300px]]<br />
<br />
==== Exemplo de Faces detectadas, a serem reconhecidas no projeto (logo apos Facebook upload) ====<br />
[[Imagem:Album2-faces.png|300px]]<br />
<br />
==== Procedimento ====<br />
<br />
* Monte um grupo de colegas, de 2-3 pessoas, para fazer o trabalho: '''Definir ate 1a aula apos P1''' (2023: definir na apresentação de progresso parcial)<br />
* Baixe este conjunto de bases de dados de faces: [https://github.com/rfabbri/recdev RecDev]<br />
* Inicie com a base de dados very-easy. Siga as instrucoes no README<br />
* Uma vez debugado seu reconhecedor, forneca uma taxa de acerto, usando validacao cruzada separando parte das fotos para treino, parte para teste, e fazendo uma media da taxa de acerto para varias particoes diferentes. Recomendo iniciar com o procedimento retirar 1 foto por pessoa para teste, e usar o restante para reconhecimento, e repetir o processo 10 vezes para comecar. O pseudocodigo fica assim:<br />
<br />
erro_medio := 0<br />
faca n vezes // n seria o numero de simulacoes, por exemplo, 10<br />
bd_treino := base de dados completa (todas as fotos)<br />
para cada pessoa p<br />
bd_treino := bd_treino menos uma foto aleatoria da pessoa p<br />
adicione a bd_teste essa foto aleatoria<br />
<br />
treine seu reconhecedor com a base de dados bd_treino<br />
erro_novo := calcule a taxa de erro testando o reconhecedor nas fotos em bd_teste<br />
erro_medio := erro_medio + erro_novo<br />
fim faca<br />
erro_medio = erro_medio/n<br />
mostre o erro medio<br />
bonus: mostre a matriz de confusao<br />
<br />
* Use essa validacao cruzada para melhorar seu reconhecedor. Melhore esse codigo para poder examinar os casos de erro, analise, escreva no seu relatorio sua analise, e tente procurar a fonte do erro e melhorar o reconhecedor.<br />
* Sera dada maior nota aos alunos que implementarem esse codigo com indices, sem precisar copiar as fotos na memoria para gerar bd_treino e bd_teste. Ao ler imagens, seu codigo tambem devera ser independente do numero de imagens.<br />
* Uma vez debugado seu reconhecedor e validacao cruzada, rode nas bases easy, medium, hard e extras/facebookfaces e extras/facebookfaces2. Relate seus resultados e dificuldades. Se nao rodar em alguma dessas, ou se o relatorio nao tiver resultados condizentes, a nota sera penalizada.<br />
* Recomendamos dividir o trabalho da seguinte forma: apos especificar a leitura da base de dados a partir dos arquivos e o formato da base de dados na linguagem, outro colega deve implementar a validacao cruzada.<br />
* Seu codigo deve funcionar para um numero de fotos diferentes por pessoa. Por exemplo, 5 fotos para a pessoa 1, e 3 fotos para a pessoa 2.<br />
* Pode assumir que as imagens sao 100x100<br />
* Codigo para ajudar no trabalho: Rotinas PCA em scilab [https://github.com/rfabbri/siptoolbox/blob/master/macros/sip_pca.sci sip_pca.sci], [https://github.com/rfabbri/siptoolbox/blob/master/macros/sip_pca_project.sci sip_pca_project.sci]. Use a seguinte rotina para aprender a usar este codigo: [https://github.com/rfabbri/siptoolbox/blob/master/macros/sip_pca_test.sce sip_pca_test.sce]<br />
* Fragmentos de codigo de anos anteriores (so pra ter uma ideia, o seu codigo devera ser muito melhor): [https://github.com/rfabbri/aln-src aln-src]<br />
<br />
==== Entrega do Trabalho ====<br />
<br />
O trabalho devera ser entrege nas seguintes partes:<br />
* Relatorio <br />
** '''Data de entrega:''' '''2 semanas antes da P2 até a meia-noite'''<br />
** Secoes Obrigatorias:<br />
*** Introducao<br />
*** Descricao clara do problema<br />
*** Descricao da implementacao<br />
*** '''Mais importante:''' Descricao do processo de desenvolvimento <br />
**** Experimentos, discussao, analise dos resultados e '''estudo detalhado dos casos de falha'''.<br />
*** Conclusao e ideias para trabalho futuro<br />
*** Cada membro do grupo deverá também escrever uma seção de, no mínimo, 2 páginas relatando sua contribuição e experiencia com o trabalho<br />
<br />
* Codigo<br />
** '''Data de entrega:''' '''1 semana antes da P2 até a meia-noite''' (melhoras podem ser entregues ate 3 dias antes da Pf)<br />
** Dividir a entrega do codigo em 2 partes:<br />
*** Codigo-fonte<br />
**** README devera incluir instrucoes detalhadas de como rodar o codigo<br />
**** Calcular a taxa de acerto do algoritmo em validacao cruzada<br />
** melhorias podem ser entregues juntos ao relatorio, desde que, no minimo, o codigo esteja fornecendo uma taxa de acerto e rodando nas bases easy e very-easy<br />
<br />
'''Aviso:''' <br />
* Criterio de avaliacao: A nota de trabalho sera dada com base na qualidade do relatorio<br />
* '''Bonus #1:''' O grupo que tiver melhor performance obtera nota 10.0 no trabalho. O segundo melhor grupo obtera um bonus de 2 pontos no trabalho.<br />
** A taxa de reconhecimento sera medida em uma base elaborada pelo professor durante a correcao, sem o conhecimento previo do aluno. A base de treinamento sera entregue ao aluno no mesmo formato da base <tt>recdev</tt> acima, no '''dia 13jul23'''<br />
** A performance para bonus sera medida na presenca do professor, durante processo de correcao em horario de aula no '''a definir (era: dia 18Mai21)''', usando-se uma base de teste fornecida no ato. O formato da base de teste sera da seguinte forma:<br />
*** arquivos no formato <pre><id_pessoa>-<id_foto>.jpg</pre> todas na mesma pasta<br />
*** Por exemplo, 17-3.jpg seria pessoa 17, foto numero 3 da base de teste<br />
*** Este id nao tem relacao com o id usado na base de treino<br />
*** Se houver mais de uma foto teste por pessoa, seu sistema pode usar todas essas fotos para tentar identificar a pessoa<br />
*** Tarefa do seu algoritmo: dadas diversas fotos de uma mesma pessoa desconhecida, do tipo: <pre>17-1.jpg, 17-2.jpg, 17-3.jpg, 17-4.jpg, 17-5.jpg</pre> Qual o id real dessa pessoa 17 na base de treino? Serao apresentadas varias pessoas, e o grupo que acertar mais vence. Nao sera permitido adaptacao do codigo, exceto para mostrar a pasta de teste.<br />
* O relatorio de cada aluno tambem devera conter um relato da participacao na competicao do bonus, e ira contar na nota do trabalho mesmo se nao ganhar o bonus<br />
<br />
=== Projeto: Análise de Redes Sociais ===<br />
<br />
Neste projeto o aluno coletara uma rede social, por exemplo a rede de amigos do<br />
facebook, ou uma rede de troca de mensagens de email, e fara uma análise dos nós mais importantes em relação a PageRank e<br />
outras características de difusão na topologia do grafo. Isso poderia ser util,<br />
por exemplo, para ordenar a sua lista de amigos por ordem de amigo mais<br />
"influente", ou para identificar maneiras de aumentar sua conexao<br />
na rede (por exemplo, numa rede de negocios).<br />
<br />
Os passos do projeto sao:<br />
<br />
# Obter sua rede social no formato GML<br />
## Redes de troca de emails: http://hera.ethymos.com.br:1080/redes/python/autoRede/escolheRedes.php<br />
## Sua rede amigos do facebook: http://snacourse.com/getnet/<br />
# Visualizar a rede no software Gephi<br />
## Baixe o Gephi em https://gephi.org<br />
## Realize o tutorial basico do Gephi (do menu Help)<br />
## Abrir o arquivo GML no Gephi<br />
# Obter a matriz de Markov dessa rede no Scilab, considerando pesos nas arestas como no algoritmo PageRank<br />
## Exportar a rede como matriz de adjacencias no Gephi (aprender como fazer)<br />
# Calcular o autovetor dominante (PageRank) no Scilab<br />
# Interpretar o que isso pode vir a dizer sobre a importância relativa dos seus amigos na rede de amizades<br />
## Por exemplo, a pessoa tem muitos amigos que tem muitos amigos<br />
## O que um caminhante aleatório ou quer dizer aqui? Discuta o que um processo de difusao significaria na rede de amizades. Talvez uma rede de indicacoes?<br />
## Invente alguma outra medida nessa rede da importancia relativa dos nos<br />
<br />
<br />
==== Links interessantes ====<br />
* veja nossas aulas sobre grafos e matrizes<br />
* labmacambira.sf.net/redes<br />
* [[ARS| Análise de redes sociais]]<br />
<br />
== Conteudo aproximado ==<br />
* Foco: [http://pt.wikipedia.org/wiki/SVD SVD]/Singular Value decomposition, auto-valores/auto-vetores, [http://pt.wikipedia.org/wiki/PCA PCA/Principal Component Analysis], demais decomposicoes matriciais.<br />
<br />
<br />
== Recursos principais ==<br />
* [https://github.com/rfabbri/aln-book/raw/master/fabbri-lecture-notes-aln.pdf Apostila prof. Fabbri]<br />
* Excelente livro recente cobrindo partes deste curso: Applied Linear Algebra, Peter J. Olver and Chehrzad Shakiban<br />
[[Arquivo:Ala2-olver-signature.png|200px|thumb|PDF assinado pelos autores para prof. Fabbri|link=http://www-users.math.umn.edu/~olver/ala.html]]<br />
* Livro classico: "Matrix Computations", Gene Golub et. al. (inventor do algoritimo mais usado de SVD).<br />
[[Arquivo:Golub-vanloan-thumb.jpg|link=https://www.amazon.com/Computations-Hopkins-Studies-Mathematical-Sciences/dp/1421407949]]<br />
<br />
=== Outros Recursos ===<br />
<br />
* Nao ha livro texto no nivel desta disciplina. mas veja a bibliografia do curso de Analise Matricial da Pos:<br />
** Outro livro: "Numerical Matrix Analysis", Ilse Ipsen http://www2.alibris-static.com/isbn/9780898716764.gif<br />
** Veja tambem os livros do Gilbert Strang.<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/fabbri-coordinate_changes.pdf Notas sobre sistemas de coordenadas, matriz relativa a dadas bases, rotacoes (pdf)]<br />
<br />
=== Aulas: Listagem parcial===<br />
<br />
* Primeiras aulas: overview, SVD, PCA, aplicacoes, notacao, bases vs sistemas de coordenadas<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/aula-rotacoes-sistemas-coordenadas-20120322.odp Rotacoes e Sistemas de Coordenadas]<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/aula-rotacoes-sistemas-coordenadas-20120404.odp Rotacoes e Sistemas de Coordenadas]<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/aula-svd-02.odp SVD]<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/informal-lecture-notes-numerical_linear_algebra-cardo_fabbri-whiteboard-20120627.pdf Aula Informal projeto e relatorio eigenfaces/PCA]<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/informal-lecture-notes-numerical_linear_algebra-cardo_fabbri-whiteboard-20120704.pdf Aula Informal PCA]<br />
* [http://wiki.nosdigitais.teia.org.br/Imagem:Aula-grafos-matrizes-201306.pdf Grafos e matrizes, cadeias de Markov, laplaciano de grafos]<br />
* [http://wiki.nosdigitais.teia.org.br/Imagem:Aula-pagerank.pdf PageRank e outras tecnicas de Ranking, reducao de dimensionalidade, e machine learning]. Ver tambem [http://www.ams.org/samplings/feature-column/fcarc-pagerank]<br />
<br />
==== Para referencia: aulas de Analise Matricial: listagem parcial ====<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/01-analise_matricial-2012-livro_cap01.odp Matrizes, Notacao e Conceitos Elementares] (~cap 1 livro)<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/02-analise_matricial-2012-livro_cap02_parte1.odp Sensitividade, Erros e Normas - parte 1] (cobre cap 2 livro ate normas de matrizes)<br />
<br />
=== Provas ===<br />
* '''P1:''' Provas anteriores: [http://wiki.nosdigitais.teia.org.br/Imagem:P1-aln.pdf 2012]<br />
* '''P2:''' 17jul23<br />
* '''Final-Sub:''' 24jul23<br />
<br />
=== Criterio de Avaliacao ===<br />
* '''Trabalhos:''' 20% da media - o ultimo trabalho (reconhecimento) valera a metade disto, ou seja, 10% da media.<br />
* '''Bonus de participacao:''' 10%-20% a nota total trabalhos e tarefas T, ''adicionais''. A criterio do professor, incluindo presenca em aula, participacao em aula, esforco de realizar tarefas excelentes e ir alem do esperado.<br />
* O criterio final ficou (favor avisar se precisar adicionar detalhes ou corrigir no caso de erro/discrepancia):<br />
<br />
<small><br />
M_p = (P1 + P2)/2 <br />
M = 0.8*M_p + 0.2*T (atualizado de 10% para 20% com acordo dos alunos), onde T é a nota dos trabalhos<br />
Se M >= 5, passou --> M (''facilitando: considere T=10,0 no M `a esquerda desta desigualdade aqui'')<br />
prova final - faz quem quiser, mas combinamos que teria de seria feita por quem obtiver M < 5 <br />
- facilitando: considere T=10,0 e calcule uma media M otimista, para ver se precisa fazer a final. ou seja:<br />
<br />
- Se M_p < 6.25, precisa fazer final! *************************<br />
<br />
M_f = 0.5*(M + P_f) = 0.5*(0.8M_p + 0.2*T + P_f) = 0.2*P1 + 0.2*P2 + 0.5*P_f + 0.1*T<br />
Se M_f >= 5, passa --> M_f<br />
Sub: repoe menor de P1, P2, P_f (apenas se alguem faltou alguma prova ou quiser melhorar nota - mas quem entregar ira substituir)<br />
M_sub = media com sub<br />
Se M_sub >= 5, passou --> M_sub<br />
<br />
Adendo (em acordo com os alunos): a M_sub = M_f pois sera considerada a mesma prova. Quem for usar a prova como Sub ira substituir a nota independentemente do resultado.<br />
</small><br />
<br />
== Awesome Links ==<br />
* Curso moderno e basico on-line da Brown University sobre algebra linear e aplicacoes [http://coursera.org/course/matrix] <br />
* Curso on-line da University of Texas at Austin, Linear Algebra - Foundations to Frontiers: Learn the theory of linear algebra hand-in-hand with the practice of software library development [https://www.edx.org/course/utaustin/ut-5-01x/linear-algebra-foundations/1162]<br />
=== Machine learning com Algebra Linear Numerica ===<br />
* [https://en.wikipedia.org/wiki/Non-negative_matrix_factorization Non-negative matrix factorization]<br />
* [https://scikit-learn.org/stable/auto_examples/decomposition/plot_incremental_pca.html Incremental PCA]<br />
<br />
[[Category:IPRJ]]<br />
[[Category:Lab Macambira]]</div>V1zhttp://wiki.nosdigitais.teia.org.br/index.php?title=Algebra_Linear_Numerica&diff=41601Algebra Linear Numerica2023-06-17T02:09:36Z<p>V1z: /* Provas */ data provas</p>
<hr />
<div>Esta é a página oficial do curso de Álgebra Linear Numérica (graduação) do [http://en.wikipedia.org/wiki/IPRJ IPRJ]/UERJ Nova Friburgo, 2023, contendo material potencialmente útil ao publico geral.<br />
* Links para os cursos de '''[[ALN2012|2012]]''', '''[[ALN2013|2013]]''', '''[[ALN2015|2015]]''', '''[[ALN2016|2016]]''', '''[[ALN2018|2018]]''', '''[[ALN2019|2019]]''' e '''[[ALN2022|2022]]'''<br />
<br />
= Informacao Basica =<br />
* Instrutor: [http://rfabbri.github.io prof. Ricardo Fabbri, Ph.D.]<br />
==Horario==<br />
* Segundas 9:40-12:20 Sala 217<br />
* Quintas 7:50-9:40 Sala 217<br />
Duvidas: agendar individualmente com o professor ou procura-lo na sala 110<br />
<br />
== Avisos ==<br />
* Por email<br />
* Tambem ver Moodle (caso seja usado)<br />
<br />
== Software ==<br />
* Usaremos o [[Scilab]] primariamente. Para explorar algoritmos de porte pequeno e médio com matrizes, as linguagens do tipo Lab (como Matlab, Scilab e Octave) são as mais simples, úteis e diretas.<br />
** Ver funcoes <tt>svd</tt>, <tt>sva</tt>, e '<tt>\</tt>' (barra invertida)<br />
* Python e Octave sao alternativas aceitaveis<br />
<br />
== Tarefas e Projetos ==<br />
<br />
As tarefas devem ser formatadas com notacao matematica adequada, preferencialmente em [[Latex]].<br />
<br />
'''Somente serao aceitos arquivos eletronicos no formato PDF ou outro formato aberto como .odt'''<br />
<br />
Quando a tarefa involver qualquer programacao, o aluno devera enviar o codigo fonte. O codigo junto com a documentacao devera estar dentro de um<br />
unico diretorio comprimido com .zip ou tar, com o nome do aluno, disciplina e data.<br />
<br />
Enviar todo email com a tag "ALNIPRJ" no subject para garantir recebimento.<br />
<br />
=== Tarefa 0 ===<br />
* Assistir videos introdutorios do curso relacionado ALN+ARN 2022: <br />
# Motivacao dos cursos de Algebra Linear Numerica e Analise no Rn para computacao Prof Fabbri https://youtu.be/Tm5F2t3NriI<br />
# Continuacao do prof Francisco https://youtu.be/1o-pUSbkQK (video privado - adicione a letra g ao final da URL)<br />
* Ler Aula 1 Apostila da disciplina (apostila prof. Fabbri listada nas referencias)<br />
* Professor ira escolher alunos para comentar em aula *parte por parte* do video, em especial discutiremos a opiniao do(a) aluno(a) sobre essas disciplinas no curso de computacao, e receber bonus<br />
<br />
=== Tarefa 1 ===<br />
* SVD + Scilab<br />
** Plotar circulo unitario<br />
** Escolha uma matriz A<br />
** Transformar cada ponto por A<br />
** '''SVD visual: visualizar os eixos e esticamento da transformacao efetuada por A'''. <br />
** Realizar SVD usando a funcao SVD propriamente dita<br />
** '''Analise a relacao dos eixos encontrados visualmente com as matrizes U e V.'''<br />
** Repetir com outras matrizes A, aleatorias e nao-aleatorias. Qual o poder de modelagem de matrizes na pratica que voce pode observar assim?<br />
** Digitar o resultado, preferencialmente em [[Latex]], e entregar por email ou impresso.<br />
<br />
=== Tarefa 2: Ajuste de curvas ===<br />
Uma das principais aplicações dos métodos numéricos de álgebra linear vistos em<br />
aulas consiste na solução de sistemas por mínimos quadrados. Isto, por sua vez,<br />
é muito útil para ajustar curvas algébricas (polinomiais) a dados experimentais,<br />
por exemplo: encontrar retas, círculos, ou outras cônicas que passam próximos de<br />
dado um conjunto de pontos.<br />
* Ajuste de reta (opcional - para aprendizado apenas)<br />
** simule a geração de um conjunto sintético de pontos "experimentais" ao longo de uma reta e os perturbe com a função <tt>rand()</tt> ao longo de cada coordenada<br />
** use a "barra invertida" '<tt>\</tt>' do Scilab para gerar a curva que mais se aproxima dos pontos gerados<br />
** plote seus resultados para diferentes intensidades de ruído<br />
* Ajuste de cônicas (obrigatorio)<br />
** simule a geração de um conjunto sintético de pontos "experimentais" ao longo de uma curva polinomial bi-dimensional de grau 2 (círculo, parábola, elipse..) e os perturbe com a função <tt>rand()</tt> ao longo de cada coordenada<br />
** use a "barra invertida" '<tt>\</tt>' do Scilab para gerar a curva que mais se aproxima dos dados gerados<br />
** plote seus resultados para diferentes intensidades de ruído<br />
<br />
=== Projeto de Reconhecimento de Faces ===<br />
<br />
<br />
==== Exemplo de Album com Algumas Faces (Facebook upload) ====<br />
[[Imagem:Album1.png|300px]]<br />
<br />
==== Exemplo de Faces detectadas, a serem reconhecidas no projeto (logo apos Facebook upload) ====<br />
[[Imagem:Album2-faces.png|300px]]<br />
<br />
==== Procedimento ====<br />
<br />
* Monte um grupo de colegas, de 2-3 pessoas, para fazer o trabalho: '''Definir ate 1a aula apos P1''' (2023: definir na apresentação de progresso parcial)<br />
* Baixe este conjunto de bases de dados de faces: [https://github.com/rfabbri/recdev RecDev]<br />
* Inicie com a base de dados very-easy. Siga as instrucoes no README<br />
* Uma vez debugado seu reconhecedor, forneca uma taxa de acerto, usando validacao cruzada separando parte das fotos para treino, parte para teste, e fazendo uma media da taxa de acerto para varias particoes diferentes. Recomendo iniciar com o procedimento retirar 1 foto por pessoa para teste, e usar o restante para reconhecimento, e repetir o processo 10 vezes para comecar. O pseudocodigo fica assim:<br />
<br />
erro_medio := 0<br />
faca n vezes // n seria o numero de simulacoes, por exemplo, 10<br />
bd_treino := base de dados completa (todas as fotos)<br />
para cada pessoa p<br />
bd_treino := bd_treino menos uma foto aleatoria da pessoa p<br />
adicione a bd_teste essa foto aleatoria<br />
<br />
treine seu reconhecedor com a base de dados bd_treino<br />
erro_novo := calcule a taxa de erro testando o reconhecedor nas fotos em bd_teste<br />
erro_medio := erro_medio + erro_novo<br />
fim faca<br />
erro_medio = erro_medio/n<br />
mostre o erro medio<br />
bonus: mostre a matriz de confusao<br />
<br />
* Use essa validacao cruzada para melhorar seu reconhecedor. Melhore esse codigo para poder examinar os casos de erro, analise, escreva no seu relatorio sua analise, e tente procurar a fonte do erro e melhorar o reconhecedor.<br />
* Sera dada maior nota aos alunos que implementarem esse codigo com indices, sem precisar copiar as fotos na memoria para gerar bd_treino e bd_teste. Ao ler imagens, seu codigo tambem devera ser independente do numero de imagens.<br />
* Uma vez debugado seu reconhecedor e validacao cruzada, rode nas bases easy, medium, hard e extras/facebookfaces e extras/facebookfaces2. Relate seus resultados e dificuldades. Se nao rodar em alguma dessas, ou se o relatorio nao tiver resultados condizentes, a nota sera penalizada.<br />
* Recomendamos dividir o trabalho da seguinte forma: apos especificar a leitura da base de dados a partir dos arquivos e o formato da base de dados na linguagem, outro colega deve implementar a validacao cruzada.<br />
* Seu codigo deve funcionar para um numero de fotos diferentes por pessoa. Por exemplo, 5 fotos para a pessoa 1, e 3 fotos para a pessoa 2.<br />
* Pode assumir que as imagens sao 100x100<br />
* Codigo para ajudar no trabalho: Rotinas PCA em scilab [https://github.com/rfabbri/siptoolbox/blob/master/macros/sip_pca.sci sip_pca.sci], [https://github.com/rfabbri/siptoolbox/blob/master/macros/sip_pca_project.sci sip_pca_project.sci]. Use a seguinte rotina para aprender a usar este codigo: [https://github.com/rfabbri/siptoolbox/blob/master/macros/sip_pca_test.sce sip_pca_test.sce]<br />
* Fragmentos de codigo de anos anteriores (so pra ter uma ideia, o seu codigo devera ser muito melhor): [https://github.com/rfabbri/aln-src aln-src]<br />
<br />
==== Entrega do Trabalho ====<br />
<br />
O trabalho devera ser entrege nas seguintes partes:<br />
* Relatorio <br />
** '''Data de entrega:''' '''2 semanas antes da P2 até a meia-noite'''<br />
** Secoes Obrigatorias:<br />
*** Introducao<br />
*** Descricao clara do problema<br />
*** Descricao da implementacao<br />
*** '''Mais importante:''' Descricao do processo de desenvolvimento <br />
**** Experimentos, discussao, analise dos resultados e '''estudo detalhado dos casos de falha'''.<br />
*** Conclusao e ideias para trabalho futuro<br />
*** Cada membro do grupo deverá também escrever uma seção de, no mínimo, 2 páginas relatando sua contribuição e experiencia com o trabalho<br />
<br />
* Codigo<br />
** '''Data de entrega:''' '''1 semana antes da P2 até a meia-noite''' (melhoras podem ser entregues ate 3 dias antes da Pf)<br />
** Dividir a entrega do codigo em 2 partes:<br />
*** Codigo-fonte<br />
**** README devera incluir instrucoes detalhadas de como rodar o codigo<br />
**** Calcular a taxa de acerto do algoritmo em validacao cruzada<br />
** melhorias podem ser entregues juntos ao relatorio, desde que, no minimo, o codigo esteja fornecendo uma taxa de acerto e rodando nas bases easy e very-easy<br />
<br />
'''Aviso:''' <br />
* Criterio de avaliacao: A nota de trabalho sera dada com base na qualidade do relatorio<br />
* '''Bonus #1:''' O grupo que tiver melhor performance obtera nota 10.0 no trabalho. O segundo melhor grupo obtera um bonus de 2 pontos no trabalho.<br />
** A taxa de reconhecimento sera medida em uma base elaborada pelo professor durante a correcao, sem o conhecimento previo do aluno. A base de treinamento sera entregue ao aluno no mesmo formato da base <tt>recdev</tt> acima, no '''a definir (era: dia 17Mai21)'''<br />
** A performance para bonus sera medida na presenca do professor, durante processo de correcao em horario de aula no '''a definir (era: dia 18Mai21)''', usando-se uma base de teste fornecida no ato. O formato da base de teste sera da seguinte forma:<br />
*** arquivos no formato <pre><id_pessoa>-<id_foto>.jpg</pre> todas na mesma pasta<br />
*** Por exemplo, 17-3.jpg seria pessoa 17, foto numero 3 da base de teste<br />
*** Este id nao tem relacao com o id usado na base de treino<br />
*** Se houver mais de uma foto teste por pessoa, seu sistema pode usar todas essas fotos para tentar identificar a pessoa<br />
*** Tarefa do seu algoritmo: dadas diversas fotos de uma mesma pessoa desconhecida, do tipo: <pre>17-1.jpg, 17-2.jpg, 17-3.jpg, 17-4.jpg, 17-5.jpg</pre> Qual o id real dessa pessoa 17 na base de treino? Serao apresentadas varias pessoas, e o grupo que acertar mais vence. Nao sera permitido adaptacao do codigo, exceto para mostrar a pasta de teste.<br />
* O relatorio de cada aluno tambem devera conter um relato da participacao na competicao do bonus, e ira contar na nota do trabalho mesmo se nao ganhar o bonus<br />
<br />
=== Projeto: Análise de Redes Sociais ===<br />
<br />
Neste projeto o aluno coletara uma rede social, por exemplo a rede de amigos do<br />
facebook, ou uma rede de troca de mensagens de email, e fara uma análise dos nós mais importantes em relação a PageRank e<br />
outras características de difusão na topologia do grafo. Isso poderia ser util,<br />
por exemplo, para ordenar a sua lista de amigos por ordem de amigo mais<br />
"influente", ou para identificar maneiras de aumentar sua conexao<br />
na rede (por exemplo, numa rede de negocios).<br />
<br />
Os passos do projeto sao:<br />
<br />
# Obter sua rede social no formato GML<br />
## Redes de troca de emails: http://hera.ethymos.com.br:1080/redes/python/autoRede/escolheRedes.php<br />
## Sua rede amigos do facebook: http://snacourse.com/getnet/<br />
# Visualizar a rede no software Gephi<br />
## Baixe o Gephi em https://gephi.org<br />
## Realize o tutorial basico do Gephi (do menu Help)<br />
## Abrir o arquivo GML no Gephi<br />
# Obter a matriz de Markov dessa rede no Scilab, considerando pesos nas arestas como no algoritmo PageRank<br />
## Exportar a rede como matriz de adjacencias no Gephi (aprender como fazer)<br />
# Calcular o autovetor dominante (PageRank) no Scilab<br />
# Interpretar o que isso pode vir a dizer sobre a importância relativa dos seus amigos na rede de amizades<br />
## Por exemplo, a pessoa tem muitos amigos que tem muitos amigos<br />
## O que um caminhante aleatório ou quer dizer aqui? Discuta o que um processo de difusao significaria na rede de amizades. Talvez uma rede de indicacoes?<br />
## Invente alguma outra medida nessa rede da importancia relativa dos nos<br />
<br />
<br />
==== Links interessantes ====<br />
* veja nossas aulas sobre grafos e matrizes<br />
* labmacambira.sf.net/redes<br />
* [[ARS| Análise de redes sociais]]<br />
<br />
== Conteudo aproximado ==<br />
* Foco: [http://pt.wikipedia.org/wiki/SVD SVD]/Singular Value decomposition, auto-valores/auto-vetores, [http://pt.wikipedia.org/wiki/PCA PCA/Principal Component Analysis], demais decomposicoes matriciais.<br />
<br />
<br />
== Recursos principais ==<br />
* [https://github.com/rfabbri/aln-book/raw/master/fabbri-lecture-notes-aln.pdf Apostila prof. Fabbri]<br />
* Excelente livro recente cobrindo partes deste curso: Applied Linear Algebra, Peter J. Olver and Chehrzad Shakiban<br />
[[Arquivo:Ala2-olver-signature.png|200px|thumb|PDF assinado pelos autores para prof. Fabbri|link=http://www-users.math.umn.edu/~olver/ala.html]]<br />
* Livro classico: "Matrix Computations", Gene Golub et. al. (inventor do algoritimo mais usado de SVD).<br />
[[Arquivo:Golub-vanloan-thumb.jpg|link=https://www.amazon.com/Computations-Hopkins-Studies-Mathematical-Sciences/dp/1421407949]]<br />
<br />
=== Outros Recursos ===<br />
<br />
* Nao ha livro texto no nivel desta disciplina. mas veja a bibliografia do curso de Analise Matricial da Pos:<br />
** Outro livro: "Numerical Matrix Analysis", Ilse Ipsen http://www2.alibris-static.com/isbn/9780898716764.gif<br />
** Veja tambem os livros do Gilbert Strang.<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/fabbri-coordinate_changes.pdf Notas sobre sistemas de coordenadas, matriz relativa a dadas bases, rotacoes (pdf)]<br />
<br />
=== Aulas: Listagem parcial===<br />
<br />
* Primeiras aulas: overview, SVD, PCA, aplicacoes, notacao, bases vs sistemas de coordenadas<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/aula-rotacoes-sistemas-coordenadas-20120322.odp Rotacoes e Sistemas de Coordenadas]<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/aula-rotacoes-sistemas-coordenadas-20120404.odp Rotacoes e Sistemas de Coordenadas]<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/aula-svd-02.odp SVD]<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/informal-lecture-notes-numerical_linear_algebra-cardo_fabbri-whiteboard-20120627.pdf Aula Informal projeto e relatorio eigenfaces/PCA]<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/informal-lecture-notes-numerical_linear_algebra-cardo_fabbri-whiteboard-20120704.pdf Aula Informal PCA]<br />
* [http://wiki.nosdigitais.teia.org.br/Imagem:Aula-grafos-matrizes-201306.pdf Grafos e matrizes, cadeias de Markov, laplaciano de grafos]<br />
* [http://wiki.nosdigitais.teia.org.br/Imagem:Aula-pagerank.pdf PageRank e outras tecnicas de Ranking, reducao de dimensionalidade, e machine learning]. Ver tambem [http://www.ams.org/samplings/feature-column/fcarc-pagerank]<br />
<br />
==== Para referencia: aulas de Analise Matricial: listagem parcial ====<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/01-analise_matricial-2012-livro_cap01.odp Matrizes, Notacao e Conceitos Elementares] (~cap 1 livro)<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/02-analise_matricial-2012-livro_cap02_parte1.odp Sensitividade, Erros e Normas - parte 1] (cobre cap 2 livro ate normas de matrizes)<br />
<br />
=== Provas ===<br />
* '''P1:''' Provas anteriores: [http://wiki.nosdigitais.teia.org.br/Imagem:P1-aln.pdf 2012]<br />
* '''P2:''' 17jul23<br />
* '''Final-Sub:''' 24jul23<br />
<br />
=== Criterio de Avaliacao ===<br />
* '''Trabalhos:''' 20% da media - o ultimo trabalho (reconhecimento) valera a metade disto, ou seja, 10% da media.<br />
* '''Bonus de participacao:''' 10%-20% a nota total trabalhos e tarefas T, ''adicionais''. A criterio do professor, incluindo presenca em aula, participacao em aula, esforco de realizar tarefas excelentes e ir alem do esperado.<br />
* O criterio final ficou (favor avisar se precisar adicionar detalhes ou corrigir no caso de erro/discrepancia):<br />
<br />
<small><br />
M_p = (P1 + P2)/2 <br />
M = 0.8*M_p + 0.2*T (atualizado de 10% para 20% com acordo dos alunos), onde T é a nota dos trabalhos<br />
Se M >= 5, passou --> M (''facilitando: considere T=10,0 no M `a esquerda desta desigualdade aqui'')<br />
prova final - faz quem quiser, mas combinamos que teria de seria feita por quem obtiver M < 5 <br />
- facilitando: considere T=10,0 e calcule uma media M otimista, para ver se precisa fazer a final. ou seja:<br />
<br />
- Se M_p < 6.25, precisa fazer final! *************************<br />
<br />
M_f = 0.5*(M + P_f) = 0.5*(0.8M_p + 0.2*T + P_f) = 0.2*P1 + 0.2*P2 + 0.5*P_f + 0.1*T<br />
Se M_f >= 5, passa --> M_f<br />
Sub: repoe menor de P1, P2, P_f (apenas se alguem faltou alguma prova ou quiser melhorar nota - mas quem entregar ira substituir)<br />
M_sub = media com sub<br />
Se M_sub >= 5, passou --> M_sub<br />
<br />
Adendo (em acordo com os alunos): a M_sub = M_f pois sera considerada a mesma prova. Quem for usar a prova como Sub ira substituir a nota independentemente do resultado.<br />
</small><br />
<br />
== Awesome Links ==<br />
* Curso moderno e basico on-line da Brown University sobre algebra linear e aplicacoes [http://coursera.org/course/matrix] <br />
* Curso on-line da University of Texas at Austin, Linear Algebra - Foundations to Frontiers: Learn the theory of linear algebra hand-in-hand with the practice of software library development [https://www.edx.org/course/utaustin/ut-5-01x/linear-algebra-foundations/1162]<br />
=== Machine learning com Algebra Linear Numerica ===<br />
* [https://en.wikipedia.org/wiki/Non-negative_matrix_factorization Non-negative matrix factorization]<br />
* [https://scikit-learn.org/stable/auto_examples/decomposition/plot_incremental_pca.html Incremental PCA]<br />
<br />
[[Category:IPRJ]]<br />
[[Category:Lab Macambira]]</div>V1zhttp://wiki.nosdigitais.teia.org.br/index.php?title=Algebra_Linear_Numerica&diff=41600Algebra Linear Numerica2023-06-17T02:03:06Z<p>V1z: /* Procedimento */</p>
<hr />
<div>Esta é a página oficial do curso de Álgebra Linear Numérica (graduação) do [http://en.wikipedia.org/wiki/IPRJ IPRJ]/UERJ Nova Friburgo, 2023, contendo material potencialmente útil ao publico geral.<br />
* Links para os cursos de '''[[ALN2012|2012]]''', '''[[ALN2013|2013]]''', '''[[ALN2015|2015]]''', '''[[ALN2016|2016]]''', '''[[ALN2018|2018]]''', '''[[ALN2019|2019]]''' e '''[[ALN2022|2022]]'''<br />
<br />
= Informacao Basica =<br />
* Instrutor: [http://rfabbri.github.io prof. Ricardo Fabbri, Ph.D.]<br />
==Horario==<br />
* Segundas 9:40-12:20 Sala 217<br />
* Quintas 7:50-9:40 Sala 217<br />
Duvidas: agendar individualmente com o professor ou procura-lo na sala 110<br />
<br />
== Avisos ==<br />
* Por email<br />
* Tambem ver Moodle (caso seja usado)<br />
<br />
== Software ==<br />
* Usaremos o [[Scilab]] primariamente. Para explorar algoritmos de porte pequeno e médio com matrizes, as linguagens do tipo Lab (como Matlab, Scilab e Octave) são as mais simples, úteis e diretas.<br />
** Ver funcoes <tt>svd</tt>, <tt>sva</tt>, e '<tt>\</tt>' (barra invertida)<br />
* Python e Octave sao alternativas aceitaveis<br />
<br />
== Tarefas e Projetos ==<br />
<br />
As tarefas devem ser formatadas com notacao matematica adequada, preferencialmente em [[Latex]].<br />
<br />
'''Somente serao aceitos arquivos eletronicos no formato PDF ou outro formato aberto como .odt'''<br />
<br />
Quando a tarefa involver qualquer programacao, o aluno devera enviar o codigo fonte. O codigo junto com a documentacao devera estar dentro de um<br />
unico diretorio comprimido com .zip ou tar, com o nome do aluno, disciplina e data.<br />
<br />
Enviar todo email com a tag "ALNIPRJ" no subject para garantir recebimento.<br />
<br />
=== Tarefa 0 ===<br />
* Assistir videos introdutorios do curso relacionado ALN+ARN 2022: <br />
# Motivacao dos cursos de Algebra Linear Numerica e Analise no Rn para computacao Prof Fabbri https://youtu.be/Tm5F2t3NriI<br />
# Continuacao do prof Francisco https://youtu.be/1o-pUSbkQK (video privado - adicione a letra g ao final da URL)<br />
* Ler Aula 1 Apostila da disciplina (apostila prof. Fabbri listada nas referencias)<br />
* Professor ira escolher alunos para comentar em aula *parte por parte* do video, em especial discutiremos a opiniao do(a) aluno(a) sobre essas disciplinas no curso de computacao, e receber bonus<br />
<br />
=== Tarefa 1 ===<br />
* SVD + Scilab<br />
** Plotar circulo unitario<br />
** Escolha uma matriz A<br />
** Transformar cada ponto por A<br />
** '''SVD visual: visualizar os eixos e esticamento da transformacao efetuada por A'''. <br />
** Realizar SVD usando a funcao SVD propriamente dita<br />
** '''Analise a relacao dos eixos encontrados visualmente com as matrizes U e V.'''<br />
** Repetir com outras matrizes A, aleatorias e nao-aleatorias. Qual o poder de modelagem de matrizes na pratica que voce pode observar assim?<br />
** Digitar o resultado, preferencialmente em [[Latex]], e entregar por email ou impresso.<br />
<br />
=== Tarefa 2: Ajuste de curvas ===<br />
Uma das principais aplicações dos métodos numéricos de álgebra linear vistos em<br />
aulas consiste na solução de sistemas por mínimos quadrados. Isto, por sua vez,<br />
é muito útil para ajustar curvas algébricas (polinomiais) a dados experimentais,<br />
por exemplo: encontrar retas, círculos, ou outras cônicas que passam próximos de<br />
dado um conjunto de pontos.<br />
* Ajuste de reta (opcional - para aprendizado apenas)<br />
** simule a geração de um conjunto sintético de pontos "experimentais" ao longo de uma reta e os perturbe com a função <tt>rand()</tt> ao longo de cada coordenada<br />
** use a "barra invertida" '<tt>\</tt>' do Scilab para gerar a curva que mais se aproxima dos pontos gerados<br />
** plote seus resultados para diferentes intensidades de ruído<br />
* Ajuste de cônicas (obrigatorio)<br />
** simule a geração de um conjunto sintético de pontos "experimentais" ao longo de uma curva polinomial bi-dimensional de grau 2 (círculo, parábola, elipse..) e os perturbe com a função <tt>rand()</tt> ao longo de cada coordenada<br />
** use a "barra invertida" '<tt>\</tt>' do Scilab para gerar a curva que mais se aproxima dos dados gerados<br />
** plote seus resultados para diferentes intensidades de ruído<br />
<br />
=== Projeto de Reconhecimento de Faces ===<br />
<br />
<br />
==== Exemplo de Album com Algumas Faces (Facebook upload) ====<br />
[[Imagem:Album1.png|300px]]<br />
<br />
==== Exemplo de Faces detectadas, a serem reconhecidas no projeto (logo apos Facebook upload) ====<br />
[[Imagem:Album2-faces.png|300px]]<br />
<br />
==== Procedimento ====<br />
<br />
* Monte um grupo de colegas, de 2-3 pessoas, para fazer o trabalho: '''Definir ate 1a aula apos P1''' (2023: definir na apresentação de progresso parcial)<br />
* Baixe este conjunto de bases de dados de faces: [https://github.com/rfabbri/recdev RecDev]<br />
* Inicie com a base de dados very-easy. Siga as instrucoes no README<br />
* Uma vez debugado seu reconhecedor, forneca uma taxa de acerto, usando validacao cruzada separando parte das fotos para treino, parte para teste, e fazendo uma media da taxa de acerto para varias particoes diferentes. Recomendo iniciar com o procedimento retirar 1 foto por pessoa para teste, e usar o restante para reconhecimento, e repetir o processo 10 vezes para comecar. O pseudocodigo fica assim:<br />
<br />
erro_medio := 0<br />
faca n vezes // n seria o numero de simulacoes, por exemplo, 10<br />
bd_treino := base de dados completa (todas as fotos)<br />
para cada pessoa p<br />
bd_treino := bd_treino menos uma foto aleatoria da pessoa p<br />
adicione a bd_teste essa foto aleatoria<br />
<br />
treine seu reconhecedor com a base de dados bd_treino<br />
erro_novo := calcule a taxa de erro testando o reconhecedor nas fotos em bd_teste<br />
erro_medio := erro_medio + erro_novo<br />
fim faca<br />
erro_medio = erro_medio/n<br />
mostre o erro medio<br />
bonus: mostre a matriz de confusao<br />
<br />
* Use essa validacao cruzada para melhorar seu reconhecedor. Melhore esse codigo para poder examinar os casos de erro, analise, escreva no seu relatorio sua analise, e tente procurar a fonte do erro e melhorar o reconhecedor.<br />
* Sera dada maior nota aos alunos que implementarem esse codigo com indices, sem precisar copiar as fotos na memoria para gerar bd_treino e bd_teste. Ao ler imagens, seu codigo tambem devera ser independente do numero de imagens.<br />
* Uma vez debugado seu reconhecedor e validacao cruzada, rode nas bases easy, medium, hard e extras/facebookfaces e extras/facebookfaces2. Relate seus resultados e dificuldades. Se nao rodar em alguma dessas, ou se o relatorio nao tiver resultados condizentes, a nota sera penalizada.<br />
* Recomendamos dividir o trabalho da seguinte forma: apos especificar a leitura da base de dados a partir dos arquivos e o formato da base de dados na linguagem, outro colega deve implementar a validacao cruzada.<br />
* Seu codigo deve funcionar para um numero de fotos diferentes por pessoa. Por exemplo, 5 fotos para a pessoa 1, e 3 fotos para a pessoa 2.<br />
* Pode assumir que as imagens sao 100x100<br />
* Codigo para ajudar no trabalho: Rotinas PCA em scilab [https://github.com/rfabbri/siptoolbox/blob/master/macros/sip_pca.sci sip_pca.sci], [https://github.com/rfabbri/siptoolbox/blob/master/macros/sip_pca_project.sci sip_pca_project.sci]. Use a seguinte rotina para aprender a usar este codigo: [https://github.com/rfabbri/siptoolbox/blob/master/macros/sip_pca_test.sce sip_pca_test.sce]<br />
* Fragmentos de codigo de anos anteriores (so pra ter uma ideia, o seu codigo devera ser muito melhor): [https://github.com/rfabbri/aln-src aln-src]<br />
<br />
==== Entrega do Trabalho ====<br />
<br />
O trabalho devera ser entrege nas seguintes partes:<br />
* Relatorio <br />
** '''Data de entrega:''' '''2 semanas antes da P2 até a meia-noite'''<br />
** Secoes Obrigatorias:<br />
*** Introducao<br />
*** Descricao clara do problema<br />
*** Descricao da implementacao<br />
*** '''Mais importante:''' Descricao do processo de desenvolvimento <br />
**** Experimentos, discussao, analise dos resultados e '''estudo detalhado dos casos de falha'''.<br />
*** Conclusao e ideias para trabalho futuro<br />
*** Cada membro do grupo deverá também escrever uma seção de, no mínimo, 2 páginas relatando sua contribuição e experiencia com o trabalho<br />
<br />
* Codigo<br />
** '''Data de entrega:''' '''1 semana antes da P2 até a meia-noite''' (melhoras podem ser entregues ate 3 dias antes da Pf)<br />
** Dividir a entrega do codigo em 2 partes:<br />
*** Codigo-fonte<br />
**** README devera incluir instrucoes detalhadas de como rodar o codigo<br />
**** Calcular a taxa de acerto do algoritmo em validacao cruzada<br />
** melhorias podem ser entregues juntos ao relatorio, desde que, no minimo, o codigo esteja fornecendo uma taxa de acerto e rodando nas bases easy e very-easy<br />
<br />
'''Aviso:''' <br />
* Criterio de avaliacao: A nota de trabalho sera dada com base na qualidade do relatorio<br />
* '''Bonus #1:''' O grupo que tiver melhor performance obtera nota 10.0 no trabalho. O segundo melhor grupo obtera um bonus de 2 pontos no trabalho.<br />
** A taxa de reconhecimento sera medida em uma base elaborada pelo professor durante a correcao, sem o conhecimento previo do aluno. A base de treinamento sera entregue ao aluno no mesmo formato da base <tt>recdev</tt> acima, no '''a definir (era: dia 17Mai21)'''<br />
** A performance para bonus sera medida na presenca do professor, durante processo de correcao em horario de aula no '''a definir (era: dia 18Mai21)''', usando-se uma base de teste fornecida no ato. O formato da base de teste sera da seguinte forma:<br />
*** arquivos no formato <pre><id_pessoa>-<id_foto>.jpg</pre> todas na mesma pasta<br />
*** Por exemplo, 17-3.jpg seria pessoa 17, foto numero 3 da base de teste<br />
*** Este id nao tem relacao com o id usado na base de treino<br />
*** Se houver mais de uma foto teste por pessoa, seu sistema pode usar todas essas fotos para tentar identificar a pessoa<br />
*** Tarefa do seu algoritmo: dadas diversas fotos de uma mesma pessoa desconhecida, do tipo: <pre>17-1.jpg, 17-2.jpg, 17-3.jpg, 17-4.jpg, 17-5.jpg</pre> Qual o id real dessa pessoa 17 na base de treino? Serao apresentadas varias pessoas, e o grupo que acertar mais vence. Nao sera permitido adaptacao do codigo, exceto para mostrar a pasta de teste.<br />
* O relatorio de cada aluno tambem devera conter um relato da participacao na competicao do bonus, e ira contar na nota do trabalho mesmo se nao ganhar o bonus<br />
<br />
=== Projeto: Análise de Redes Sociais ===<br />
<br />
Neste projeto o aluno coletara uma rede social, por exemplo a rede de amigos do<br />
facebook, ou uma rede de troca de mensagens de email, e fara uma análise dos nós mais importantes em relação a PageRank e<br />
outras características de difusão na topologia do grafo. Isso poderia ser util,<br />
por exemplo, para ordenar a sua lista de amigos por ordem de amigo mais<br />
"influente", ou para identificar maneiras de aumentar sua conexao<br />
na rede (por exemplo, numa rede de negocios).<br />
<br />
Os passos do projeto sao:<br />
<br />
# Obter sua rede social no formato GML<br />
## Redes de troca de emails: http://hera.ethymos.com.br:1080/redes/python/autoRede/escolheRedes.php<br />
## Sua rede amigos do facebook: http://snacourse.com/getnet/<br />
# Visualizar a rede no software Gephi<br />
## Baixe o Gephi em https://gephi.org<br />
## Realize o tutorial basico do Gephi (do menu Help)<br />
## Abrir o arquivo GML no Gephi<br />
# Obter a matriz de Markov dessa rede no Scilab, considerando pesos nas arestas como no algoritmo PageRank<br />
## Exportar a rede como matriz de adjacencias no Gephi (aprender como fazer)<br />
# Calcular o autovetor dominante (PageRank) no Scilab<br />
# Interpretar o que isso pode vir a dizer sobre a importância relativa dos seus amigos na rede de amizades<br />
## Por exemplo, a pessoa tem muitos amigos que tem muitos amigos<br />
## O que um caminhante aleatório ou quer dizer aqui? Discuta o que um processo de difusao significaria na rede de amizades. Talvez uma rede de indicacoes?<br />
## Invente alguma outra medida nessa rede da importancia relativa dos nos<br />
<br />
<br />
==== Links interessantes ====<br />
* veja nossas aulas sobre grafos e matrizes<br />
* labmacambira.sf.net/redes<br />
* [[ARS| Análise de redes sociais]]<br />
<br />
== Conteudo aproximado ==<br />
* Foco: [http://pt.wikipedia.org/wiki/SVD SVD]/Singular Value decomposition, auto-valores/auto-vetores, [http://pt.wikipedia.org/wiki/PCA PCA/Principal Component Analysis], demais decomposicoes matriciais.<br />
<br />
<br />
== Recursos principais ==<br />
* [https://github.com/rfabbri/aln-book/raw/master/fabbri-lecture-notes-aln.pdf Apostila prof. Fabbri]<br />
* Excelente livro recente cobrindo partes deste curso: Applied Linear Algebra, Peter J. Olver and Chehrzad Shakiban<br />
[[Arquivo:Ala2-olver-signature.png|200px|thumb|PDF assinado pelos autores para prof. Fabbri|link=http://www-users.math.umn.edu/~olver/ala.html]]<br />
* Livro classico: "Matrix Computations", Gene Golub et. al. (inventor do algoritimo mais usado de SVD).<br />
[[Arquivo:Golub-vanloan-thumb.jpg|link=https://www.amazon.com/Computations-Hopkins-Studies-Mathematical-Sciences/dp/1421407949]]<br />
<br />
=== Outros Recursos ===<br />
<br />
* Nao ha livro texto no nivel desta disciplina. mas veja a bibliografia do curso de Analise Matricial da Pos:<br />
** Outro livro: "Numerical Matrix Analysis", Ilse Ipsen http://www2.alibris-static.com/isbn/9780898716764.gif<br />
** Veja tambem os livros do Gilbert Strang.<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/fabbri-coordinate_changes.pdf Notas sobre sistemas de coordenadas, matriz relativa a dadas bases, rotacoes (pdf)]<br />
<br />
=== Aulas: Listagem parcial===<br />
<br />
* Primeiras aulas: overview, SVD, PCA, aplicacoes, notacao, bases vs sistemas de coordenadas<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/aula-rotacoes-sistemas-coordenadas-20120322.odp Rotacoes e Sistemas de Coordenadas]<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/aula-rotacoes-sistemas-coordenadas-20120404.odp Rotacoes e Sistemas de Coordenadas]<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/aula-svd-02.odp SVD]<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/informal-lecture-notes-numerical_linear_algebra-cardo_fabbri-whiteboard-20120627.pdf Aula Informal projeto e relatorio eigenfaces/PCA]<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/informal-lecture-notes-numerical_linear_algebra-cardo_fabbri-whiteboard-20120704.pdf Aula Informal PCA]<br />
* [http://wiki.nosdigitais.teia.org.br/Imagem:Aula-grafos-matrizes-201306.pdf Grafos e matrizes, cadeias de Markov, laplaciano de grafos]<br />
* [http://wiki.nosdigitais.teia.org.br/Imagem:Aula-pagerank.pdf PageRank e outras tecnicas de Ranking, reducao de dimensionalidade, e machine learning]. Ver tambem [http://www.ams.org/samplings/feature-column/fcarc-pagerank]<br />
<br />
==== Para referencia: aulas de Analise Matricial: listagem parcial ====<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/01-analise_matricial-2012-livro_cap01.odp Matrizes, Notacao e Conceitos Elementares] (~cap 1 livro)<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/02-analise_matricial-2012-livro_cap02_parte1.odp Sensitividade, Erros e Normas - parte 1] (cobre cap 2 livro ate normas de matrizes)<br />
<br />
=== Provas ===<br />
* '''P1:''' 08ago22 Provas anteriores: [http://wiki.nosdigitais.teia.org.br/Imagem:P1-aln.pdf 2012]<br />
* '''P2:''' seg12set22<br />
* '''Final-Sub:''' seg26set22<br />
<br />
=== Criterio de Avaliacao ===<br />
* '''Trabalhos:''' 20% da media - o ultimo trabalho (reconhecimento) valera a metade disto, ou seja, 10% da media.<br />
* '''Bonus de participacao:''' 10%-20% a nota total trabalhos e tarefas T, ''adicionais''. A criterio do professor, incluindo presenca em aula, participacao em aula, esforco de realizar tarefas excelentes e ir alem do esperado.<br />
* O criterio final ficou (favor avisar se precisar adicionar detalhes ou corrigir no caso de erro/discrepancia):<br />
<br />
<small><br />
M_p = (P1 + P2)/2 <br />
M = 0.8*M_p + 0.2*T (atualizado de 10% para 20% com acordo dos alunos), onde T é a nota dos trabalhos<br />
Se M >= 5, passou --> M (''facilitando: considere T=10,0 no M `a esquerda desta desigualdade aqui'')<br />
prova final - faz quem quiser, mas combinamos que teria de seria feita por quem obtiver M < 5 <br />
- facilitando: considere T=10,0 e calcule uma media M otimista, para ver se precisa fazer a final. ou seja:<br />
<br />
- Se M_p < 6.25, precisa fazer final! *************************<br />
<br />
M_f = 0.5*(M + P_f) = 0.5*(0.8M_p + 0.2*T + P_f) = 0.2*P1 + 0.2*P2 + 0.5*P_f + 0.1*T<br />
Se M_f >= 5, passa --> M_f<br />
Sub: repoe menor de P1, P2, P_f (apenas se alguem faltou alguma prova ou quiser melhorar nota - mas quem entregar ira substituir)<br />
M_sub = media com sub<br />
Se M_sub >= 5, passou --> M_sub<br />
<br />
Adendo (em acordo com os alunos): a M_sub = M_f pois sera considerada a mesma prova. Quem for usar a prova como Sub ira substituir a nota independentemente do resultado.<br />
</small><br />
<br />
== Awesome Links ==<br />
* Curso moderno e basico on-line da Brown University sobre algebra linear e aplicacoes [http://coursera.org/course/matrix] <br />
* Curso on-line da University of Texas at Austin, Linear Algebra - Foundations to Frontiers: Learn the theory of linear algebra hand-in-hand with the practice of software library development [https://www.edx.org/course/utaustin/ut-5-01x/linear-algebra-foundations/1162]<br />
=== Machine learning com Algebra Linear Numerica ===<br />
* [https://en.wikipedia.org/wiki/Non-negative_matrix_factorization Non-negative matrix factorization]<br />
* [https://scikit-learn.org/stable/auto_examples/decomposition/plot_incremental_pca.html Incremental PCA]<br />
<br />
[[Category:IPRJ]]<br />
[[Category:Lab Macambira]]</div>V1zhttp://wiki.nosdigitais.teia.org.br/index.php?title=Algebra_Linear_Numerica&diff=41599Algebra Linear Numerica2023-06-17T02:00:50Z<p>V1z: /* Tarefa 2: Ajuste de curvas (entrega 14jul22) */</p>
<hr />
<div>Esta é a página oficial do curso de Álgebra Linear Numérica (graduação) do [http://en.wikipedia.org/wiki/IPRJ IPRJ]/UERJ Nova Friburgo, 2023, contendo material potencialmente útil ao publico geral.<br />
* Links para os cursos de '''[[ALN2012|2012]]''', '''[[ALN2013|2013]]''', '''[[ALN2015|2015]]''', '''[[ALN2016|2016]]''', '''[[ALN2018|2018]]''', '''[[ALN2019|2019]]''' e '''[[ALN2022|2022]]'''<br />
<br />
= Informacao Basica =<br />
* Instrutor: [http://rfabbri.github.io prof. Ricardo Fabbri, Ph.D.]<br />
==Horario==<br />
* Segundas 9:40-12:20 Sala 217<br />
* Quintas 7:50-9:40 Sala 217<br />
Duvidas: agendar individualmente com o professor ou procura-lo na sala 110<br />
<br />
== Avisos ==<br />
* Por email<br />
* Tambem ver Moodle (caso seja usado)<br />
<br />
== Software ==<br />
* Usaremos o [[Scilab]] primariamente. Para explorar algoritmos de porte pequeno e médio com matrizes, as linguagens do tipo Lab (como Matlab, Scilab e Octave) são as mais simples, úteis e diretas.<br />
** Ver funcoes <tt>svd</tt>, <tt>sva</tt>, e '<tt>\</tt>' (barra invertida)<br />
* Python e Octave sao alternativas aceitaveis<br />
<br />
== Tarefas e Projetos ==<br />
<br />
As tarefas devem ser formatadas com notacao matematica adequada, preferencialmente em [[Latex]].<br />
<br />
'''Somente serao aceitos arquivos eletronicos no formato PDF ou outro formato aberto como .odt'''<br />
<br />
Quando a tarefa involver qualquer programacao, o aluno devera enviar o codigo fonte. O codigo junto com a documentacao devera estar dentro de um<br />
unico diretorio comprimido com .zip ou tar, com o nome do aluno, disciplina e data.<br />
<br />
Enviar todo email com a tag "ALNIPRJ" no subject para garantir recebimento.<br />
<br />
=== Tarefa 0 ===<br />
* Assistir videos introdutorios do curso relacionado ALN+ARN 2022: <br />
# Motivacao dos cursos de Algebra Linear Numerica e Analise no Rn para computacao Prof Fabbri https://youtu.be/Tm5F2t3NriI<br />
# Continuacao do prof Francisco https://youtu.be/1o-pUSbkQK (video privado - adicione a letra g ao final da URL)<br />
* Ler Aula 1 Apostila da disciplina (apostila prof. Fabbri listada nas referencias)<br />
* Professor ira escolher alunos para comentar em aula *parte por parte* do video, em especial discutiremos a opiniao do(a) aluno(a) sobre essas disciplinas no curso de computacao, e receber bonus<br />
<br />
=== Tarefa 1 ===<br />
* SVD + Scilab<br />
** Plotar circulo unitario<br />
** Escolha uma matriz A<br />
** Transformar cada ponto por A<br />
** '''SVD visual: visualizar os eixos e esticamento da transformacao efetuada por A'''. <br />
** Realizar SVD usando a funcao SVD propriamente dita<br />
** '''Analise a relacao dos eixos encontrados visualmente com as matrizes U e V.'''<br />
** Repetir com outras matrizes A, aleatorias e nao-aleatorias. Qual o poder de modelagem de matrizes na pratica que voce pode observar assim?<br />
** Digitar o resultado, preferencialmente em [[Latex]], e entregar por email ou impresso.<br />
<br />
=== Tarefa 2: Ajuste de curvas ===<br />
Uma das principais aplicações dos métodos numéricos de álgebra linear vistos em<br />
aulas consiste na solução de sistemas por mínimos quadrados. Isto, por sua vez,<br />
é muito útil para ajustar curvas algébricas (polinomiais) a dados experimentais,<br />
por exemplo: encontrar retas, círculos, ou outras cônicas que passam próximos de<br />
dado um conjunto de pontos.<br />
* Ajuste de reta (opcional - para aprendizado apenas)<br />
** simule a geração de um conjunto sintético de pontos "experimentais" ao longo de uma reta e os perturbe com a função <tt>rand()</tt> ao longo de cada coordenada<br />
** use a "barra invertida" '<tt>\</tt>' do Scilab para gerar a curva que mais se aproxima dos pontos gerados<br />
** plote seus resultados para diferentes intensidades de ruído<br />
* Ajuste de cônicas (obrigatorio)<br />
** simule a geração de um conjunto sintético de pontos "experimentais" ao longo de uma curva polinomial bi-dimensional de grau 2 (círculo, parábola, elipse..) e os perturbe com a função <tt>rand()</tt> ao longo de cada coordenada<br />
** use a "barra invertida" '<tt>\</tt>' do Scilab para gerar a curva que mais se aproxima dos dados gerados<br />
** plote seus resultados para diferentes intensidades de ruído<br />
<br />
=== Projeto de Reconhecimento de Faces ===<br />
<br />
<br />
==== Exemplo de Album com Algumas Faces (Facebook upload) ====<br />
[[Imagem:Album1.png|300px]]<br />
<br />
==== Exemplo de Faces detectadas, a serem reconhecidas no projeto (logo apos Facebook upload) ====<br />
[[Imagem:Album2-faces.png|300px]]<br />
<br />
==== Procedimento ====<br />
<br />
* Monte um grupo de colegas, de 2-3 pessoas, para fazer o trabalho: '''Definir ate 1a aula apos P1'''<br />
* Baixe este conjunto de bases de dados de faces: [https://github.com/rfabbri/recdev RecDev]<br />
* Inicie com a base de dados very-easy. Siga as instrucoes no README<br />
* Uma vez debugado seu reconhecedor, forneca uma taxa de acerto, usando validacao cruzada separando parte das fotos para treino, parte para teste, e fazendo uma media da taxa de acerto para varias particoes diferentes. Recomendo iniciar com o procedimento retirar 1 foto por pessoa para teste, e usar o restante para reconhecimento, e repetir o processo 10 vezes para comecar. O pseudocodigo fica assim:<br />
<br />
erro_medio := 0<br />
faca n vezes // n seria o numero de simulacoes, por exemplo, 10<br />
bd_treino := base de dados completa (todas as fotos)<br />
para cada pessoa p<br />
bd_treino := bd_treino menos uma foto aleatoria da pessoa p<br />
adicione a bd_teste essa foto aleatoria<br />
<br />
treine seu reconhecedor com a base de dados bd_treino<br />
erro_novo := calcule a taxa de erro testando o reconhecedor nas fotos em bd_teste<br />
erro_medio := erro_medio + erro_novo<br />
fim faca<br />
erro_medio = erro_medio/n<br />
mostre o erro medio<br />
bonus: mostre a matriz de confusao<br />
<br />
* Use essa validacao cruzada para melhorar seu reconhecedor. Melhore esse codigo para poder examinar os casos de erro, analise, escreva no seu relatorio sua analise, e tente procurar a fonte do erro e melhorar o reconhecedor.<br />
* Sera dada maior nota aos alunos que implementarem esse codigo com indices, sem precisar copiar as fotos na memoria para gerar bd_treino e bd_teste. Ao ler imagens, seu codigo tambem devera ser independente do numero de imagens.<br />
* Uma vez debugado seu reconhecedor e validacao cruzada, rode nas bases easy, medium, hard e extras/facebookfaces e extras/facebookfaces2. Relate seus resultados e dificuldades. Se nao rodar em alguma dessas, ou se o relatorio nao tiver resultados condizentes, a nota sera penalizada.<br />
* Recomendamos dividir o trabalho da seguinte forma: apos especificar a leitura da base de dados a partir dos arquivos e o formato da base de dados na linguagem, outro colega deve implementar a validacao cruzada.<br />
* Seu codigo deve funcionar para um numero de fotos diferentes por pessoa. Por exemplo, 5 fotos para a pessoa 1, e 3 fotos para a pessoa 2.<br />
* Pode assumir que as imagens sao 100x100<br />
* Codigo para ajudar no trabalho: Rotinas PCA em scilab [https://github.com/rfabbri/siptoolbox/blob/master/macros/sip_pca.sci sip_pca.sci], [https://github.com/rfabbri/siptoolbox/blob/master/macros/sip_pca_project.sci sip_pca_project.sci]. Use a seguinte rotina para aprender a usar este codigo: [https://github.com/rfabbri/siptoolbox/blob/master/macros/sip_pca_test.sce sip_pca_test.sce]<br />
* Fragmentos de codigo de anos anteriores (so pra ter uma ideia, o seu codigo devera ser muito melhor): [https://github.com/rfabbri/aln-src aln-src]<br />
<br />
==== Entrega do Trabalho ====<br />
<br />
O trabalho devera ser entrege nas seguintes partes:<br />
* Relatorio <br />
** '''Data de entrega:''' '''2 semanas antes da P2 até a meia-noite'''<br />
** Secoes Obrigatorias:<br />
*** Introducao<br />
*** Descricao clara do problema<br />
*** Descricao da implementacao<br />
*** '''Mais importante:''' Descricao do processo de desenvolvimento <br />
**** Experimentos, discussao, analise dos resultados e '''estudo detalhado dos casos de falha'''.<br />
*** Conclusao e ideias para trabalho futuro<br />
*** Cada membro do grupo deverá também escrever uma seção de, no mínimo, 2 páginas relatando sua contribuição e experiencia com o trabalho<br />
<br />
* Codigo<br />
** '''Data de entrega:''' '''1 semana antes da P2 até a meia-noite''' (melhoras podem ser entregues ate 3 dias antes da Pf)<br />
** Dividir a entrega do codigo em 2 partes:<br />
*** Codigo-fonte<br />
**** README devera incluir instrucoes detalhadas de como rodar o codigo<br />
**** Calcular a taxa de acerto do algoritmo em validacao cruzada<br />
** melhorias podem ser entregues juntos ao relatorio, desde que, no minimo, o codigo esteja fornecendo uma taxa de acerto e rodando nas bases easy e very-easy<br />
<br />
'''Aviso:''' <br />
* Criterio de avaliacao: A nota de trabalho sera dada com base na qualidade do relatorio<br />
* '''Bonus #1:''' O grupo que tiver melhor performance obtera nota 10.0 no trabalho. O segundo melhor grupo obtera um bonus de 2 pontos no trabalho.<br />
** A taxa de reconhecimento sera medida em uma base elaborada pelo professor durante a correcao, sem o conhecimento previo do aluno. A base de treinamento sera entregue ao aluno no mesmo formato da base <tt>recdev</tt> acima, no '''a definir (era: dia 17Mai21)'''<br />
** A performance para bonus sera medida na presenca do professor, durante processo de correcao em horario de aula no '''a definir (era: dia 18Mai21)''', usando-se uma base de teste fornecida no ato. O formato da base de teste sera da seguinte forma:<br />
*** arquivos no formato <pre><id_pessoa>-<id_foto>.jpg</pre> todas na mesma pasta<br />
*** Por exemplo, 17-3.jpg seria pessoa 17, foto numero 3 da base de teste<br />
*** Este id nao tem relacao com o id usado na base de treino<br />
*** Se houver mais de uma foto teste por pessoa, seu sistema pode usar todas essas fotos para tentar identificar a pessoa<br />
*** Tarefa do seu algoritmo: dadas diversas fotos de uma mesma pessoa desconhecida, do tipo: <pre>17-1.jpg, 17-2.jpg, 17-3.jpg, 17-4.jpg, 17-5.jpg</pre> Qual o id real dessa pessoa 17 na base de treino? Serao apresentadas varias pessoas, e o grupo que acertar mais vence. Nao sera permitido adaptacao do codigo, exceto para mostrar a pasta de teste.<br />
* O relatorio de cada aluno tambem devera conter um relato da participacao na competicao do bonus, e ira contar na nota do trabalho mesmo se nao ganhar o bonus<br />
<br />
=== Projeto: Análise de Redes Sociais ===<br />
<br />
Neste projeto o aluno coletara uma rede social, por exemplo a rede de amigos do<br />
facebook, ou uma rede de troca de mensagens de email, e fara uma análise dos nós mais importantes em relação a PageRank e<br />
outras características de difusão na topologia do grafo. Isso poderia ser util,<br />
por exemplo, para ordenar a sua lista de amigos por ordem de amigo mais<br />
"influente", ou para identificar maneiras de aumentar sua conexao<br />
na rede (por exemplo, numa rede de negocios).<br />
<br />
Os passos do projeto sao:<br />
<br />
# Obter sua rede social no formato GML<br />
## Redes de troca de emails: http://hera.ethymos.com.br:1080/redes/python/autoRede/escolheRedes.php<br />
## Sua rede amigos do facebook: http://snacourse.com/getnet/<br />
# Visualizar a rede no software Gephi<br />
## Baixe o Gephi em https://gephi.org<br />
## Realize o tutorial basico do Gephi (do menu Help)<br />
## Abrir o arquivo GML no Gephi<br />
# Obter a matriz de Markov dessa rede no Scilab, considerando pesos nas arestas como no algoritmo PageRank<br />
## Exportar a rede como matriz de adjacencias no Gephi (aprender como fazer)<br />
# Calcular o autovetor dominante (PageRank) no Scilab<br />
# Interpretar o que isso pode vir a dizer sobre a importância relativa dos seus amigos na rede de amizades<br />
## Por exemplo, a pessoa tem muitos amigos que tem muitos amigos<br />
## O que um caminhante aleatório ou quer dizer aqui? Discuta o que um processo de difusao significaria na rede de amizades. Talvez uma rede de indicacoes?<br />
## Invente alguma outra medida nessa rede da importancia relativa dos nos<br />
<br />
<br />
==== Links interessantes ====<br />
* veja nossas aulas sobre grafos e matrizes<br />
* labmacambira.sf.net/redes<br />
* [[ARS| Análise de redes sociais]]<br />
<br />
== Conteudo aproximado ==<br />
* Foco: [http://pt.wikipedia.org/wiki/SVD SVD]/Singular Value decomposition, auto-valores/auto-vetores, [http://pt.wikipedia.org/wiki/PCA PCA/Principal Component Analysis], demais decomposicoes matriciais.<br />
<br />
<br />
== Recursos principais ==<br />
* [https://github.com/rfabbri/aln-book/raw/master/fabbri-lecture-notes-aln.pdf Apostila prof. Fabbri]<br />
* Excelente livro recente cobrindo partes deste curso: Applied Linear Algebra, Peter J. Olver and Chehrzad Shakiban<br />
[[Arquivo:Ala2-olver-signature.png|200px|thumb|PDF assinado pelos autores para prof. Fabbri|link=http://www-users.math.umn.edu/~olver/ala.html]]<br />
* Livro classico: "Matrix Computations", Gene Golub et. al. (inventor do algoritimo mais usado de SVD).<br />
[[Arquivo:Golub-vanloan-thumb.jpg|link=https://www.amazon.com/Computations-Hopkins-Studies-Mathematical-Sciences/dp/1421407949]]<br />
<br />
=== Outros Recursos ===<br />
<br />
* Nao ha livro texto no nivel desta disciplina. mas veja a bibliografia do curso de Analise Matricial da Pos:<br />
** Outro livro: "Numerical Matrix Analysis", Ilse Ipsen http://www2.alibris-static.com/isbn/9780898716764.gif<br />
** Veja tambem os livros do Gilbert Strang.<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/fabbri-coordinate_changes.pdf Notas sobre sistemas de coordenadas, matriz relativa a dadas bases, rotacoes (pdf)]<br />
<br />
=== Aulas: Listagem parcial===<br />
<br />
* Primeiras aulas: overview, SVD, PCA, aplicacoes, notacao, bases vs sistemas de coordenadas<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/aula-rotacoes-sistemas-coordenadas-20120322.odp Rotacoes e Sistemas de Coordenadas]<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/aula-rotacoes-sistemas-coordenadas-20120404.odp Rotacoes e Sistemas de Coordenadas]<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/aula-svd-02.odp SVD]<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/informal-lecture-notes-numerical_linear_algebra-cardo_fabbri-whiteboard-20120627.pdf Aula Informal projeto e relatorio eigenfaces/PCA]<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/informal-lecture-notes-numerical_linear_algebra-cardo_fabbri-whiteboard-20120704.pdf Aula Informal PCA]<br />
* [http://wiki.nosdigitais.teia.org.br/Imagem:Aula-grafos-matrizes-201306.pdf Grafos e matrizes, cadeias de Markov, laplaciano de grafos]<br />
* [http://wiki.nosdigitais.teia.org.br/Imagem:Aula-pagerank.pdf PageRank e outras tecnicas de Ranking, reducao de dimensionalidade, e machine learning]. Ver tambem [http://www.ams.org/samplings/feature-column/fcarc-pagerank]<br />
<br />
==== Para referencia: aulas de Analise Matricial: listagem parcial ====<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/01-analise_matricial-2012-livro_cap01.odp Matrizes, Notacao e Conceitos Elementares] (~cap 1 livro)<br />
* [http://www.lems.brown.edu/~rfabbri/stuff/02-analise_matricial-2012-livro_cap02_parte1.odp Sensitividade, Erros e Normas - parte 1] (cobre cap 2 livro ate normas de matrizes)<br />
<br />
=== Provas ===<br />
* '''P1:''' 08ago22 Provas anteriores: [http://wiki.nosdigitais.teia.org.br/Imagem:P1-aln.pdf 2012]<br />
* '''P2:''' seg12set22<br />
* '''Final-Sub:''' seg26set22<br />
<br />
=== Criterio de Avaliacao ===<br />
* '''Trabalhos:''' 20% da media - o ultimo trabalho (reconhecimento) valera a metade disto, ou seja, 10% da media.<br />
* '''Bonus de participacao:''' 10%-20% a nota total trabalhos e tarefas T, ''adicionais''. A criterio do professor, incluindo presenca em aula, participacao em aula, esforco de realizar tarefas excelentes e ir alem do esperado.<br />
* O criterio final ficou (favor avisar se precisar adicionar detalhes ou corrigir no caso de erro/discrepancia):<br />
<br />
<small><br />
M_p = (P1 + P2)/2 <br />
M = 0.8*M_p + 0.2*T (atualizado de 10% para 20% com acordo dos alunos), onde T é a nota dos trabalhos<br />
Se M >= 5, passou --> M (''facilitando: considere T=10,0 no M `a esquerda desta desigualdade aqui'')<br />
prova final - faz quem quiser, mas combinamos que teria de seria feita por quem obtiver M < 5 <br />
- facilitando: considere T=10,0 e calcule uma media M otimista, para ver se precisa fazer a final. ou seja:<br />
<br />
- Se M_p < 6.25, precisa fazer final! *************************<br />
<br />
M_f = 0.5*(M + P_f) = 0.5*(0.8M_p + 0.2*T + P_f) = 0.2*P1 + 0.2*P2 + 0.5*P_f + 0.1*T<br />
Se M_f >= 5, passa --> M_f<br />
Sub: repoe menor de P1, P2, P_f (apenas se alguem faltou alguma prova ou quiser melhorar nota - mas quem entregar ira substituir)<br />
M_sub = media com sub<br />
Se M_sub >= 5, passou --> M_sub<br />
<br />
Adendo (em acordo com os alunos): a M_sub = M_f pois sera considerada a mesma prova. Quem for usar a prova como Sub ira substituir a nota independentemente do resultado.<br />
</small><br />
<br />
== Awesome Links ==<br />
* Curso moderno e basico on-line da Brown University sobre algebra linear e aplicacoes [http://coursera.org/course/matrix] <br />
* Curso on-line da University of Texas at Austin, Linear Algebra - Foundations to Frontiers: Learn the theory of linear algebra hand-in-hand with the practice of software library development [https://www.edx.org/course/utaustin/ut-5-01x/linear-algebra-foundations/1162]<br />
=== Machine learning com Algebra Linear Numerica ===<br />
* [https://en.wikipedia.org/wiki/Non-negative_matrix_factorization Non-negative matrix factorization]<br />
* [https://scikit-learn.org/stable/auto_examples/decomposition/plot_incremental_pca.html Incremental PCA]<br />
<br />
[[Category:IPRJ]]<br />
[[Category:Lab Macambira]]</div>V1z