Fix circular dependency double-deployment requirement #92

lsipii · 2023-12-06T14:48:47Z

When deploying the af-mvp app with a custom domain name the configurations of the different components depends on the others details in a circular manner. To solve the circular dependency issue it was previously handled so that the configurations rely initially on a "double" deployment: first deploy without the domain name, then deploy again with the domain. This was the idea, but the solution was untested in actual and had some issues. This PR fixes those issues and changes the deployment flow so that ~~there's no need for a double deployment (the flow still deploys twice internally, but only does actions when needed)~~ the need for initial double deployment still persists but is handed with the github actions CI/CD pipeline:

fix the condition that identified if the deployment was initial or not
- changes the deployer to async
implement the double deployment using ~~pulumi automation tooling~~
- ~~idea from How to solve Chicken & Egg problem / cyclic dependencies / update resources? pulumi/pulumi#3021~~
- instead: just do the double deployment with deployment pipeline when needed
- and add documentation on the issue on both af-repository and the projects deployer: Update af-mvp initial deployment related docs projects#7

This reverts commit c80f699.

This reverts commit ef40d34.

…e automation thing

…udet-siten-etta-onnistuu-ensiasennus-kerralla-2

…yhow

…steps anyhow" This reverts commit 5e1b629.

…udet-siten-etta-onnistuu-ensiasennus-kerralla-2

LauriGofore · 2023-12-11T06:59:47Z

docs/README.af-mvp.deployment.md

+After the initial deployments, the following deployments can be done normally.
+
+## AWS Cognito credentials after initial deployment


Iha minor juttu ja ehkä mun luetun ymmärtämisessä piilee vika (tai jokin maanantaiaamun brainfart), mutta luin tämän kohdan ekaksi niin, että "the following deployments", jonka jälkeen AWS Cognito ---> ikään kuin "the following" viittaisi Congnitoon mikä olisi erillinen deployment steppi. Ehkä tässä muuttaisi lauseen jotenkin "After the initial deployments, any futute deployments can be done normally without any kikkailu", ettei aiheuta initial hämmings.

Less hämmings less jännings!

LauriGofore · 2023-12-11T07:43:36Z

infra/af-mvp/resources/domainSetup.ts

+    if (domainConfig.domainName === domainConfig.domainRootName) {
+      // If the domain name is the same as the zone name, we cant' create a CNAME record for as it would conflict with the zone apex record.
+      // We create ALIAS record instead.
+      new aws.route53.Record(nameResource('domainAliasRecord'), {


Pitäisköhän tässä kommentissa implikoida, että tämä liittyy staging/prod subdomain hallintaan(?). Tai näin ainakin ymmärsin, piti vähän aikaa ihmetellä, että miksi tässä näin iffitellään, mutta ilmeisesti siis prod -tapauksessa domainName ja domainRootName on samat, staging käyttelee sit subdomainia.

edit: paitsi että olin vähän hakoteilla alkuperäisen ajatuksen kanssa, koska prod/staging eivät olekaan samassa domainissa (accessfinland.com vs. accessfinland.dev), eli staging tapauksessa on omaa subdomain kikkailua.. Oliko tämä staging.accessfinland.dev jokin sovittu juttu, että pitää käytellä?

Joo hyvä huomio! Selventelen tuota esimerkillä. Sinäänsä ei teknisesti liity eri live-ympäristöihin vaan pelkästään siihen minkälainen domain-nimi on kyseessä (eli prod voisi yhtä hyvin olla sellainen jossa domain-nimi on alidomain, tai vastaavasti staging vois olla juuridomain.).

Oliko tämä staging.accessfinland.dev jokin sovittu juttu, että pitää käytellä?

Juu oli, ja tarkoitus taisi olla sellainen että voisi myöhemmin löytyä jotain vaikka demo.accessfinland.dev -tyyppistä käyttöä.

LauriGofore · 2023-12-11T08:07:27Z

.github/workflows/deploy-af-mvp.yml

+      - name: Initial deployment domain check
+        if: steps.pulumi.outputs.initialDomainCheckRequired
+        uses: pulumi/actions@v4
+        with:
+          work-dir: ./infra/af-mvp
+          command: up
+          stack-name: ${{ env.pulumi_stack_organization }}/${{ inputs.environment }}


Olisko tässä hyvä oikein kädestä pitäen kertoa, että tämä viimeinen steppi tarkastelee edellistä (jolle voisi vielä vaikka antaa id:ksi pulumi, niin vscode ei herjaa Context access might be invalid: pulumi). Ehkä astetta luettavampi ja ei aiheuta IDE warningien kanssa hämmennystä, että mihin steps.pulumi viittaa.

Jahas, ei ollut vscodessa GHA-plugari päällä. Steppi saa jo valmiiksi ID:n "pulumi" koska kyseinen action antaa sille sellaisen tunnisteen, mutta eipä kieltämättä IDE tälläisestä tiedä.

Jeps, näin laskin kanssa 1 + 1 että sieltä tulee, mutta IDE ei ole vielä tarpeeksi viisas.

Tämän varoituksen varmaan voisi ehjätä siten että tekisi oman toteutuksen tuosta pulumi/actions@v4-toimesta jonka kautta outputit ja vastaavat tulisi gha-vscoden näkyville, mutta vähän näyttää että kyseessä on ehkä virhe itse tuossa plugarissa.

Helppo ratkaisu olisi tässä kommentissa: github/vscode-github-actions#67 (comment) ,
ja sitten se valittu ratkaisu eli purkkafiksi: github/vscode-github-actions#222 (comment) (huom. gha:ssa ${{}}-wrappailu muuttaa kaiken stringeiksi)

LauriGofore

👍 Nämä muna-kanaongelmat tuntuu olevan vähän sellaisia, mihin ei vielä mitään de-facto ratkaisuja ole pulumi tai IaC puolella ylipäätään, ja tuo samaan stäkkiin viittaaminen ja tupladeplailut tuntui olevan muuallakin ehdotettu vaihtoehto. Tietysti vielä se kolmas steppi missää pitää odotella, että AWS:n päässä on asiat valmiina.

Varmaan yksi vaihtoehto isommassa seteissä voisi olla resujen jaottelu jotenkin loogisesti omiin stäkkeihinsä, ja tehdä niistä jotenkin automaagisesti dependent toisistaan (jotain tän tyylistä, tulitko tutkineeksi: https://www.pulumi.com/blog/dependent-stack-updates/#expressing-stack-dependencies-with-pulumi-auto-deploy). Overkill varmasti tässä tapauksessa, ja en tiedä oisko vaikeampaa saada jotenkin läpinäkyväksi ci-pipelinessä, miten eri stäkit ja deplaukset on sidoksissa toisissaan. Tietysti hyvällä dokumentaatiolla ainakin helpottaa. Voi myös olla, että ei tämäkään lähestymistapa ratkaisisi asiaa, riippuen casesta.

LauriGofore · 2023-12-11T12:45:21Z

docs/README.af-mvp.deployment.md

+- Initial deployment with custom domain name (should succeed):
+  - Installs the SSL certificates and domain names to the resources that require them
+
+After the initial deployments, any futute deployments can be done normally.


lsipii · 2023-12-11T15:07:44Z

Varmaan yksi vaihtoehto isommassa seteissä voisi olla resujen jaottelu jotenkin loogisesti omiin stäkkeihinsä, ja tehdä niistä jotenkin automaagisesti dependent toisistaan (jotain tän tyylistä, tulitko tutkineeksi: https://www.pulumi.com/blog/dependent-stack-updates/#expressing-stack-dependencies-with-pulumi-auto-deploy). Overkill varmasti tässä tapauksessa, ja en tiedä oisko vaikeampaa saada jotenkin läpinäkyväksi ci-pipelinessä, miten eri stäkit ja deplaukset on sidoksissa toisissaan. Tietysti hyvällä dokumentaatiolla ainakin helpottaa. Voi myös olla, että ei tämäkään lähestymistapa ratkaisisi asiaa, riippuen casesta.

Eipä tullut toi blogaisu vastaan tässä (varmaan ei ollut googlebing-hakuihin vielä indeksoitunut minun hakusanoilla). Tässä tutkimuksessa kävi prosessina sellainen luovutusvoitto, että kun tarpeeksi tutki esim. tuota pulumin automation-toiminnan dokumentaatiota (blogeja, koodiesimerkkejä) joissa vanhentuneet viitteet jotka ei nykyjään enää pelittele, niin luovutus siinä ettei enempää halunnut käyttää aikaa hakemiseen, mutta voitto siinä mielessä että alkuperäinen ratkaisu itseasiassa oli ihan toimiva kunhan sen korjasi ja dokumentoi.

Tämän keissin riippuvuuskiisseliä kieltämättä myös vaikeuttaa se, ettei riippuvuudet ole ainoastaan komponenttien välisiä vaan myös ulkopuoliset prosessit, kuten SSL-sertin verifiointi AWS:n päädyssä, vaikuttaa. Näistä syistä tuntui, että joka tapauksessa kun käy niin ettei alkutilanteesta selviä helposti yksittäisellä deplauksella, niin sama se on sitten pitää se monen deplauksen malli ja kirjoittaa siitä avainasiat auki.

lsipii · 2023-12-11T17:03:29Z

Muokattu ensi-asennuksen ohjeet järkevämpään muotoon: aina vaaditaan 3 deplausta, CI/CD-tekee pari ekaa automaattisesti.

LauriGofore · 2023-12-12T07:04:44Z

Muokattu ensi-asennuksen ohjeet järkevämpään muotoon: aina vaaditaan 3 deplausta, CI/CD-tekee pari ekaa automaattisesti.

👍 👏

lsipii added 8 commits December 6, 2023 16:46

fix: change to async, wait for actual stack output value

557aecd

fix: waf check

b7c8e49

wip: doing the work

ef40d34

wip: automation palick

c80f699

Revert "wip: automation palick"

c3da66f

This reverts commit c80f699.

Revert "wip: doing the work"

911783a

This reverts commit ef40d34.

build: do the initial double deployment with cicd tools instead of th…

b170388

…e automation thing

Merge branch 'main' into VFD-343-af-mvp-korjaa-deplausputken-riippuvu…

e269372

…udet-siten-etta-onnistuu-ensiasennus-kerralla-2

lsipii temporarily deployed to test December 7, 2023 10:18 — with GitHub Actions Inactive

lsipii added 6 commits December 7, 2023 13:06

build: remove the automatic initial phase as it needs manual steps an…

5e1b629

…yhow

Revert "build: remove the automatic initial phase as it needs manual …

4045e4f

…steps anyhow" This reverts commit 5e1b629.

feat: only check initial domain when enabled

d05c068

docs: add comments on the initial deployment chores

80cc9ba

docs: comment about the cicd-step

a1c7bff

Merge branch 'main' into VFD-343-af-mvp-korjaa-deplausputken-riippuvu…

a43b7c7

…udet-siten-etta-onnistuu-ensiasennus-kerralla-2

lsipii marked this pull request as ready for review December 7, 2023 11:59

lsipii had a problem deploying to mvp-production December 7, 2023 12:02 — with GitHub Actions Failure

lsipii added 2 commits December 7, 2023 15:49

docs: more descriptions

fb99b5f

fix: for root domain use alias instead of cname

5d4a8a4

lsipii temporarily deployed to mvp-production December 7, 2023 15:03 — with GitHub Actions Inactive

lsipii requested a review from LauriGofore December 7, 2023 15:13

lsipii added 3 commits December 7, 2023 17:21

docs: add cognito help texts to the deployment doc

b885aed

docs: slightly better wordings

14a309d

chore: clear the test

2f981a5

LauriGofore reviewed Dec 11, 2023

View reviewed changes

LauriGofore approved these changes Dec 11, 2023

View reviewed changes

lsipii added 2 commits December 11, 2023 13:47

docs: change the wording to more sane form

c175351

docs: update domain setup comment with examples and broader explanation

d54337c

LauriGofore reviewed Dec 11, 2023

View reviewed changes

lsipii added 3 commits December 11, 2023 16:37

fix: futute is future

d941545

fix: gha-vscode warning

23aa666

docs: add comment to the gha step

3c40c57

lsipii added 4 commits December 11, 2023 17:23

docs: add cicd example

a31d78a

fix: not orcs but orchestras

0d2e61b

docs: clarify the initial deployment documentation

fe7a5ab

fix: words

b3b2dd4

chore: capitalized headings

30941df

lsipii merged commit 790223f into main Dec 12, 2023

lsipii deleted the VFD-343-af-mvp-korjaa-deplausputken-riippuvuudet-siten-etta-onnistuu-ensiasennus-kerralla-2 branch December 12, 2023 07:47

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Fix circular dependency double-deployment requirement #92

Fix circular dependency double-deployment requirement #92

lsipii commented Dec 6, 2023 •

edited

Loading

LauriGofore Dec 11, 2023 •

edited

Loading

lsipii Dec 11, 2023

LauriGofore Dec 11, 2023 •

edited

Loading

lsipii Dec 11, 2023

lsipii Dec 11, 2023 •

edited

Loading

LauriGofore Dec 11, 2023 •

edited

Loading

lsipii Dec 11, 2023

LauriGofore Dec 11, 2023

lsipii Dec 11, 2023 •

edited

Loading

LauriGofore left a comment •

edited

Loading

LauriGofore Dec 11, 2023

lsipii commented Dec 11, 2023 •

edited

Loading

lsipii commented Dec 11, 2023

LauriGofore commented Dec 12, 2023

		After the initial deployments, the following deployments can be done normally.

		## AWS Cognito credentials after initial deployment

Fix circular dependency double-deployment requirement #92

Fix circular dependency double-deployment requirement #92

Conversation

lsipii commented Dec 6, 2023 • edited Loading

LauriGofore Dec 11, 2023 • edited Loading

Choose a reason for hiding this comment

lsipii Dec 11, 2023

Choose a reason for hiding this comment

LauriGofore Dec 11, 2023 • edited Loading

Choose a reason for hiding this comment

lsipii Dec 11, 2023

Choose a reason for hiding this comment

lsipii Dec 11, 2023 • edited Loading

Choose a reason for hiding this comment

LauriGofore Dec 11, 2023 • edited Loading

Choose a reason for hiding this comment

lsipii Dec 11, 2023

Choose a reason for hiding this comment

LauriGofore Dec 11, 2023

Choose a reason for hiding this comment

lsipii Dec 11, 2023 • edited Loading

Choose a reason for hiding this comment

LauriGofore left a comment • edited Loading

Choose a reason for hiding this comment

LauriGofore Dec 11, 2023

Choose a reason for hiding this comment

lsipii commented Dec 11, 2023 • edited Loading

lsipii commented Dec 11, 2023

LauriGofore commented Dec 12, 2023

lsipii commented Dec 6, 2023 •

edited

Loading

LauriGofore Dec 11, 2023 •

edited

Loading

LauriGofore Dec 11, 2023 •

edited

Loading

lsipii Dec 11, 2023 •

edited

Loading

LauriGofore Dec 11, 2023 •

edited

Loading

lsipii Dec 11, 2023 •

edited

Loading

LauriGofore left a comment •

edited

Loading

lsipii commented Dec 11, 2023 •

edited

Loading