[Norbert]

Guten Tag und hallo,

<span style=””>ich führe einen Blog,</span><span style=””>
der sich ständig fortschreibt. Seit einigen Wochen wird immer der komplette Inhalt (nicht nur neuere Dateien) hochgeladen – und das sind bei mir über 74.000 Dateien in etwa 1.000 Beiträgen und dauert rund 10 Stunden. Ich habe hier im Forum schon einmal angefragt, aber keine Hilfe bekommen können.</span>

Aufgrund eines Hinweises hier im Forum habe ich nach der Datei “files.publii.json” gesucht. Es gibt sie aktuell in einer Größe von allerdings nur 50 Bytes (Inhalt: { “revision”: “0266ca57b302f4f6a8dd10c737692e01” }). Die Größe der Datei hat in den letzten Wochen extrem stark geschwankt

Ich benötige dringend Hilfe, ggf. auch über einen Premium-Support. Wie kann ich den beantragen?

Vielen Dank!

[Tomasz Dziuda]

Hi,

For such a big website I strongly recommend to consider using Git repository: https://forum.getpublii.com/topic/git-feature-in-publii-v-0-44-0-alpha/

It will be probably the fastest sync method.

--
Do you appreciate the support you've received today? If so, consider donating to the Publii team by clicking here; we'll be sure to use your donation to make Publii even better!

[Norbert]

Guten Tag,

vielen Dank für die schnelle Antwort.

Ich frage mich, warum Publii plötzlich nicht mehr so funktioniert wie vorher . Bis zu einem bestimmten Zeitpunkt hat Publii immer nur die neuen Dateien hochgeladen. Das dauerte nur wenige Minuten. Jetzt erkennt Publii nicht mehr, das es schon viele unveränderte Dateien gibt.

Mit Git-Repositorys kenne ich mich nicht aus und hab keine Ahnung, was das ist und wie es funktioniert. Die aktuelle Version habe ich bereits installiert.

[Norbert]

Hallo noch einmal,

hier noch ein Erfahrungsbericht von gestern:
Wieder einen Blogbeitrag hochgeladen. Publii hat lokal im Ordner “output” eine Datei erzeugt “files-publii.json” mit einer Größe von 16,66 MB (!). Die Übertragung der über 74.000 Dateien begann um 22:40 Uhr. Da ungestört über Nacht hochgeladen werden konnte, ging es etwas schneller. Um 04:44 Uhr hat Publii dann lokal eine Datei erzeugt “files-publii.json” mit einer Größe von nur noch 50 Bytes mit dem Inhalt { “revision”: “48ce31552e77064b9f001639faf4d3c3” } und genau diese auch auf den Server übertragen.

[Tomasz Dziuda]

Hi,

Do you have the same issue on Publii v.0.43.0?

You can find it here: https://cdn.getpublii.com/Publii-0.43.0.exe (windows version)

I recommend a backup of your website if you will downgrade the app version

--
Do you appreciate the support you've received today? If so, consider donating to the Publii team by clicking here; we'll be sure to use your donation to make Publii even better!

[BuzzDee]

Same problem here, as I described in a post for some weeks. Since last change on one of my sites the sync always copies all the files. I only changed one file in file manager (not any content). The problem is not on ecery of my websites. Some work fine (the smaller sites), others does not sync correct. I’m using 0.43.1 at the moment.

 

[BuzzDee]

Same problem with 0.44.0.

[BuzzDee]

It’s me again. There are 965 files in files-remote.json with md5 hashes. I checked some of the hashes agains the files in output folder. All hashes I checked are correct. Unless the two PDF files I updates. Nonetheless publii wants to make 966 operations. On my small internet connection this sucks.

Temporary I sync the output folter with rsync to the webspace. It tool 2o seconds ans not 2 hours like Publii sync.

[BuzzDee]

Any once again. It seems to be a problem writing the files-remote.json file. After I deleted this file and synced again (and yes, it syncs the whole site) the next sync only copied new files.

[Norbert]

BuzzDee schrieb:

<span style=””><span><span>Es scheint ein Problem beim Schreiben der Datei files-remote.json zu sein. Nachdem ich diese Datei gelöscht und erneut synchronisiert habe (und ja, es synchronisiert die gesamte Website), wurden bei der nächsten Synchronisierung nur neue Dateien kopiert.

Das glaube ich auch. Die Datei wird irgendwie falsch erstellt. Habe ich oben auch schon so geschrieben. Wo hast du diese Datei gelöscht: Local – oder auf dem Server? Da muss es doch eine Möglichkeit geben, diese zu reparieren

[Tomasz Dziuda]

Hi,

I will try to reproduce this issue while working with v.0.45

It seems that somehow local list of the files is corrupted and leads to sync all files under some cases

--
Do you appreciate the support you've received today? If so, consider donating to the Publii team by clicking here; we'll be sure to use your donation to make Publii even better!

[Norbert]

Nach dem Hochladen wird die locale Datei „files.publii.json“ wieder verändert und hat nur noch den minimalen Inhalt: „{ "revision": "99db8fe436da7d11f9ae274b7759355d" }“. Die gleiche Datei gibt es so auf dem Server. Vorher war sie über 10 MB groß.

[BuzzDee]

You have to distinguish the files.publii.json (located in output directory local and on the web server) and the files-remote.json (located local in input/config). The files-remote.json contains all files and directories in output folder and the md5 hashes of the files (but most not correct). The files.publii.json contains the file list while Publii is syncing. After sync it contains only one hash (revision). This is the hash of the files-remote.json. If this hash is not correct, publii will sync all the files.

I wrote a script to build the files-remote.json myself. I figured out that most of the hashes are not correct. For example:

My project has 2199 objects (1839 files and 360 directories). 1622 hashes in the files-remote.json are not correct, don’t know what they do there.

 

[Norbert]

Hallo

Ich habe gar keine Datei “files-remote.json”, allerdings eine Datei “feed.json”, die eine Liste meiner Blogbeiträge enthält.

[Norbert]

Hallo

Nach dem gestrigen Update wird jetzt gar nicht mehr hochgeladen. Nach 6 Stunden habe ich den Vorgang abgebrochen. Der Zeiger stand bei “0”.

Ergänzung:

Jetzt nach dem 4 Versuch läuft der Upload wieder für rund 75.000 Dateien…

[Tomasz Dziuda]

@BuzzDee – how do you generate the MD5 hashes?

Also Publii uses always the same method to create hashes, so even if it is invalid – it should always generate the same value for the same data.

The sync works in the following way:

– md5 checksum from files.publii.json is compared with md5 checksum of the files-remote.json
– if the checksums are equal – it means that list of remote files is the same as files used during last sync
– then remote files list is compared with newly generated local files list
– changes are synced
– new files.publii.json is generated and local files list replaces old files-remote.json with newly uploaded files list

--
Do you appreciate the support you've received today? If so, consider donating to the Publii team by clicking here; we'll be sure to use your donation to make Publii even better!

[Norbert]

Hallo

leider funktioniert das seit August 2023 nicht mehr. Bis dahin war alles über eine sehr lange Zeit in Ordnung und nur die neuen Datensätze wurden hochgeladen. Seit August wird leide immer das ganze Paket hochgeladen. Man kann also nicht mal schnell etwas ändern, sondern ich benötige 8-10 Stunden für den Upload, der bis August nur wenige Minuten gedauert hatte.

[BuzzDee]

Hello,

I’m using default md5sum from my macos and on other unix systems. The attached file has md5hash ad1113a90413570ddd7df1b8624aa202 (on mac, on other unix system and on webserver), but not in the files-remote.json:

{  
"path": "/media/posts/10/responsive/header-4-xl.jpg",  
"type": "file",  
"md5": "4d1766d31ef748752f4229c39bff5bdb"  
},

The md5 algorithm seams to be broken. But it’s not the problem, as long as the hash is consistently wrong. I think its a problem while writing the files-remote.json. After delete this file and run a complete sync all works. I have no projects with this problem at the time so I can’t analyze the problem.

 

[Norbert]

Hallo,

Ich arbeite mit Windows 10.

Seit August führt das Programm ständig eine vollständige Aktualisierung durch.

Es funktioniert also nicht mehr.

[BuzzDee]

Ok, problem is back. Publii want to make 960 Operations (I only added one new article with 2 pics and edit an other one). Publii works until 370 operations and than nothing happens any more. This sucks.

[Tomasz Dziuda]

@BuzzDee – md5 sum won’t be the same as from unix tools, because for binary files they are generated from file size not file content for better performance. Even small change of binary file in 99.9% of cases results the change of filesize in bytes so it is enough solution.

Regarding the sync – I still cannot find why the app tries to resync whole site except one case – the files.publii.json file is not updated during the sync.

In Publii v.0.45 we will introduce few improvements to the sync process and also a possibility to pause/restart sync process after interruption. It will probably solve many issues with sync process.

--
Do you appreciate the support you've received today? If so, consider donating to the Publii team by clicking here; we'll be sure to use your donation to make Publii even better!

[Tomasz Dziuda]

hi,

I have analysed this issue deeper:

It seems that it is some problem with MD5 sum calculation/comparision which leads to desync local files list. I cannot find a reason why exactly these sums are different. I have prepared prerelease version of Publii v.0.44.2 which changes a way how sync is detected – instead of MD5 sum it uses UUID generated for every deployment. It should be more elastic solution, not viable for subtle changes in the files list content.

Can I ask you to do the following test with these installation files: https://drive.google.com/drive/folders/103oaWGBJFJkHHMXNF64ndg9wndipGs8G?usp=sharing

Please:
– use manual deploy to generate files
– upload these files using FTP software
– then please try to sync website from Publii – you should get only 1-2 files to sync, instead of the whole website
– you can also make small modification and check if only necessary files are uploaded during sync

--
Do you appreciate the support you've received today? If so, consider donating to the Publii team by clicking here; we'll be sure to use your donation to make Publii even better!

[BuzzDee]

Ok, that explains a lot. But it’s dangerous. There are some binary files which have the same size (certificates, PGP keys). Maybe you should use timestamp to.

But there is still the problem while sync. First sometimes publii wand to sync the whole site, second it stops on 350 of 998 Operations. And nothing happens anymore. I wait for 12 hours.

 

 

[Norbert]

Hallo
auch bei mir bleibt der Upload oft stehen, manchmal erst nach einigen Stunden – und oft nachts. Das ist natürlich ärgerlich.

Zu den Gedanken von Tomasz Dziuda:

Vorab:
Es tut mit leid, solche Probleme anzubringen und danke für die Bemühungen. Ich verstehe nicht viel von den Hintergründen und bin lediglich ein einigermaßen versierter Anwender. Ich wird an mir liegen, oder an der Übersetzung, dass ich die Beschreibung über die Vorgehensweise nicht verstehe. Beispiel: Was ist eine “manuelle Bereitstellung” – oder “MD5” usw. Ich habe zurzeit auch niemanden, der mir spontan zur für Hilfen Verfügung stehen würde. Ich traue mich ohne präzise Vorgaben einfach nicht ran in der Sorge, damit meinen Blog zu zerstören.
Ich habe laienhaft schon probiert, einen Preview zu machen und die Dateien komplett mit FTP hochzuladen. Das geht gar nicht! Gleiches hab ich mit dem “output-Ordner” versucht. Hat auch nicht geklappt. Da mein Foto-Blog schon sehr umfangreich ist, dauert das Hochladen aller Dateien mit Publii zwischen 7 und 8 Stunden. Da der FTP-Server schneller ist, schafft der das in etwa 4 Stunden.
Aber jeder neue Versuch kostet viel Zeit. Ich weiß nicht, was ich machen soll.

Grüße
Norbert Großer

[Tomasz Dziuda]

@BuzzDee – timestamp is not a solution here. Till this time we have no reports of issues with this way of generating sync files

Did you uploaded website files manually before testing the website sync? It is critical, because Publii needs to have new sync file on the server for future sync processes

@Norbert – it is short instruction with use of Chat GPT as translator:

Wenn Ihre Webseite nicht allzu viele Änderungen aufweist, können Sie folgende Methode versuchen:

• Ersetzen Sie neuere Beiträge, die noch nicht auf der Seite sind, durch Skizzen
• Ändern Sie die Synchronisationsmethode auf “Manuelles Deployment”
• Senden Sie von den generierten Dateien nur die Datei “files.publii.json” an den Server
• Danach können Sie die Beiträge veröffentlichen
• Ändern Sie die Synchronisationsmethode auf die vorherige zurück
• Versuchen Sie die Synchronisation erneut – es sollten nur die modifizierten Dateien gesendet werden

Wenn es deutlich mehr Änderungen gibt, sollten Sie folgende Schritte durchführen:

• Verwenden Sie die Methode “Manuelles Deployment”, um die Dateien der Webseite zu generieren
• Senden Sie diese Dateien mit einem FTP-Client an den Server
• Versuchen Sie dann die Synchronisation über Publii – es sollten nur 1-2 Dateien synchronisiert werden
• Fügen Sie danach eine kleine Änderung hinzu und prüfen Sie, ob die erforderlichen Dateien bei der Synchronisation gesendet werden

--
Do you appreciate the support you've received today? If so, consider donating to the Publii team by clicking here; we'll be sure to use your donation to make Publii even better!

[Norbert]

Hallo,
wo finde ich die Methode “Manuelles Deployment”. Ich habe bisher mit “Webseite synchronisieren” oder “Vorschau ihrer Änderungen” gearbeitet. Beim Durchsuchen der Menupunkte habe ich auch nichts anderes gefunden.

Grüße
Norbert Großer

[Author]

Posts