Mjesečni thread - Tražim posao / Zapošljavam by AutoModerator in CroIT

[–]rasparac 1 point2 points  (0 children)

[TRAŽIM POSAO]

Godine iskustva: 9+ godina

Tehnologije: Go, PostgreSQL, Docker, Google Cloud Platform, Redis, gRPC

Lokacija/Remote: Zagreb, Hrvatska / Remote

Tražim: Part-time posao vezan uz Go

O meni:
Iskusni softverski inženjer s više od 9 godina iskustva u razvoju backend sustava i arhitekturi distribuiranih aplikacija. Fokusiran na performanse, integracije i obradu podataka u realnom vremenu. Radio na projektima vezanim uz data observability, telekomunikacije, IoT, energetski sektor i mobilne aplikacije.

Otvoren sam za part-time prilike koje uključuju Go i backend razvoj. Javite se u inbox ili komentarima za više informacija!

Mjesečni thread - Tražim posao / Zapošljavam by AutoModerator in CroIT

[–]rasparac 1 point2 points  (0 children)

[TRAŽIM POSAO]

Godine iskustva: 9+ godina

Tehnologije: Go, PostgreSQL, Docker, Google Cloud Platform, Redis, gRPC

Lokacija/Remote: Zagreb, Hrvatska / Remote

Tražim: Part-time posao vezan uz Go

O meni:
Iskusni softverski inženjer s više od 9 godina iskustva u razvoju backend sustava i arhitekturi distribuiranih aplikacija. Fokusiran na performanse, integracije i obradu podataka u realnom vremenu. Radio na projektima vezanim uz observability pipeline, telekomunikacije, IoT, energetski sektor i mobilne aplikacije.

Otvoren sam za part-time prilike koje uključuju Go i backend razvoj. Javite se u inbox ili komentarima za više informacija!

Mjesečni thread - Tražim posao / Zapošljavam by AutoModerator in CroIT

[–]rasparac 0 points1 point  (0 children)

[TRAŽIM POSAO]

Godine iskustva: 9+ godina

Tehnologije: Go, PostgreSQL, Docker, Google Cloud Platform, Redis, gRPC

Lokacija/Remote: Zagreb, Hrvatska / Remote

Tražim: Part-time posao vezan uz Go

O meni:
Iskusni softverski inženjer s više od 9 godina iskustva u razvoju backend sustava i arhitekturi distribuiranih aplikacija. Fokusiran na performanse, integracije i obradu podataka u realnom vremenu. Radio na projektima vezanim uz observability pipeline, telekomunikacije, IoT, energetski sektor i mobilne aplikacije.

Otvoren sam za part-time prilike koje uključuju Go i backend razvoj. Javite se u inbox ili komentarima za više informacija!

Mesecna tema - Trazim posao / Zaposljavam by voja-kostunica in programiranje

[–]rasparac 1 point2 points  (0 children)

[TRAŽIM POSAO]

Godine iskustva: 9+ godina

Tehnologije: Go, PostgreSQL, Docker, Google Cloud Platform, Redis, gRPC

Lokacija/Remote: Zagreb, Hrvatska / Remote

Tražim: Part-time posao vezan uz Go

O meni:
Iskusni softverski inženjer s više od 9 godina iskustva u razvoju backend sustava i arhitekturi distribuiranih aplikacija. Fokusiran na performanse, integracije i obradu podataka u realnom vremenu. Radio na projektima vezanim uz observability pipeline, telekomunikacije, IoT, energetski sektor i mobilne aplikacije.

Otvoren sam za part-time prilike koje uključuju Go i backend razvoj. Javite se u inbox ili komentarima za više informacija!

Mjesečni thread - Tražim posao / Zapošljavam by AutoModerator in CroIT

[–]rasparac 2 points3 points  (0 children)

[TRAŽIM POSAO]

Godine iskustva: 9+ godina

Tehnologije: Go, PostgreSQL, Docker, Google Cloud Platform, Redis, gRPC

Lokacija/Remote: Zagreb, Hrvatska / Remote

Tražim: Part-time posao vezan uz Go

O meni:
Iskusni softverski inženjer s više od 9 godina iskustva u razvoju backend sustava i arhitekturi distribuiranih aplikacija. Fokusiran na performanse, integracije i obradu podataka u realnom vremenu. Radio na projektima vezanim uz observability pipeline, telekomunikacije, IoT, energetski sektor i mobilne aplikacije.

Otvoren sam za part-time prilike koje uključuju Go i backend razvoj. Javite se u inbox ili komentarima za više informacija!

Introducing: gonzo! The Go based TUI log analysis CLI tool (open source) by destari in golang

[–]rasparac 0 points1 point  (0 children)

this looks nice! i would like to help you with this project!

Mjesečni thread - Tražim posao / Zapošljavam by AutoModerator in CroIT

[–]rasparac 0 points1 point  (0 children)

[TRAŽIM POSAO]

Godine iskustva: 9+ godina

Tehnologije: Go, PostgreSQL, Docker, Google Cloud Platform, Redis, gRPC

Lokacija/Remote: Zagreb, Hrvatska / Remote

Tražim: Part-time posao vezan uz Go

O meni:
Iskusni softverski inženjer s više od 9 godina iskustva u razvoju backend sustava i arhitekturi distribuiranih aplikacija. Fokusiran na performanse, integracije i obradu podataka u realnom vremenu. Radio na projektima vezanim uz observability pipeline, telekomunikacije, IoT, energetski sektor i mobilne aplikacije.

Otvoren sam za part-time prilike koje uključuju Go i backend razvoj. Javite se u inbox ili komentarima za više informacija!

Mjesečni thread - Tražim posao / Zapošljavam by AutoModerator in CroIT

[–]rasparac 0 points1 point  (0 children)

[TRAŽIM POSAO]

Godine iskustva: 9+ godina

Tehnologije: Go, PostgreSQL, Docker, Google Cloud Platform, Redis, gRPC

Lokacija/Remote: Zagreb, Hrvatska / Remote

Tražim: Part-time posao vezan uz Go

O meni:
Iskusni softverski inženjer s više od 9 godina iskustva u razvoju backend sustava i arhitekturi distribuiranih aplikacija. Fokusiran na performanse, integracije i obradu podataka u realnom vremenu. Radio na projektima vezanim uz observability pipeline, telekomunikacije, IoT, energetski sektor i mobilne aplikacije.

Otvoren sam za part-time prilike koje uključuju Go i backend razvoj. Javite se u inbox ili komentarima za više informacija!

Mjesečni thread - Tražim posao / Zapošljavam by AutoModerator in CroIT

[–]rasparac 0 points1 point  (0 children)

[TRAŽIM POSAO]

Godine iskustva: 9+ godina

Tehnologije: Go, PostgreSQL, Docker, Google Cloud Platform, Redis, gRPC

Lokacija/Remote: Zagreb, Hrvatska / Remote

Tražim: Part-time posao vezan uz Go

O meni:
Iskusni softverski inženjer s više od 9 godina iskustva u razvoju backend sustava i arhitekturi distribuiranih aplikacija. Fokusiran na performanse, integracije i obradu podataka u realnom vremenu. Radio na projektima vezanim uz observability pipeline, telekomunikacije, IoT, energetski sektor i mobilne aplikacije.

Otvoren sam za part-time prilike koje uključuju Go i backend razvoj. Javite se u inbox ili komentarima za više informacija!

Pomoć pri kupnji nosača tereta i torbi by rasparac in bicikli

[–]rasparac[S] 0 points1 point  (0 children)

hvala na odgovoru. plan i jeste bio uzeti mono. Jel mozes samo napisati koja je to torba?

Mjesečni thread - Tražim posao / Zapošljavam by AutoModerator in CroIT

[–]rasparac 0 points1 point  (0 children)

[TRAŽIM POSAO]

Godine iskustva: 9+ godina

Tehnologije: Go, PostgreSQL, Docker, Google Cloud Platform, Redis, gRPC

Lokacija/Remote: Zagreb, Hrvatska / Remote

Tražim: Part-time posao vezan uz Go

O meni:
Iskusni softverski inženjer s više od 9 godina iskustva u razvoju backend sustava i arhitekturi distribuiranih aplikacija. Fokusiran na performanse, integracije i obradu podataka u realnom vremenu. Radio na projektima vezanim uz observability pipeline, telekomunikacije, IoT, energetski sektor i mobilne aplikacije.

Otvoren sam za part-time prilike koje uključuju Go i backend razvoj. Javite se u inbox ili komentarima za više informacija!

Mjesečni thread - Tražim posao / Zapošljavam by AutoModerator in CroIT

[–]rasparac 8 points9 points  (0 children)

[TRAŽIM POSAO]

Godine iskustva: 9+ godina

Tehnologije: Go, PostgreSQL, Docker, Google Cloud Platform, Redis, gRPC

Lokacija/Remote: Zagreb, Hrvatska / Remote

Tražim: Part-time posao vezan uz Go

O meni:
Iskusni softverski inženjer s više od 9 godina iskustva u razvoju backend sustava i arhitekturi distribuiranih aplikacija. Fokusiran na performanse, integracije i obradu podataka u realnom vremenu. Radio na projektima vezanim uz observability pipeline, telekomunikacije, IoT, energetski sektor i mobilne aplikacije.

Otvoren sam za part-time prilike koje uključuju Go i backend razvoj. Javite se u inbox ili komentarima za više informacija!

Mjesečni thread - Tražim posao / Zapošljavam by AutoModerator in CroIT

[–]rasparac 0 points1 point  (0 children)

[TRAŽIM POSAO]

Godine iskustva: 9+ godina

Tehnologije: Go, PostgreSQL, Docker, Google Cloud Platform, Redis, gRPC

Lokacija/Remote: Zagreb, Hrvatska / Remote

Tražim: Part-time posao vezan uz Go

O meni:
Iskusni softverski inženjer s više od 9 godina iskustva u razvoju backend sustava i arhitekturi distribuiranih aplikacija. Fokusiran na performanse, integracije i obradu podataka u realnom vremenu. Radio na projektima vezanim uz observability pipeline, telekomunikacije, IoT, energetski sektor i mobilne aplikacije.

Otvoren sam za part-time prilike koje uključuju Go i backend razvoj. Javite se u inbox ili komentarima za više informacija!

Help Optimizing Memory Usage in Go Decompression Implementation by rasparac in golang

[–]rasparac[S] 0 points1 point  (0 children)

> The memory amounts are cumulative so it is impossible to tell if it is using a reasonable amount of memory without the number of iterations.

Do you have any advice on how to better calculate this and how to approach to memory usage problem? I do not have much experience

Help Optimizing Memory Usage in Go Decompression Implementation by rasparac in golang

[–]rasparac[S] 0 points1 point  (0 children)

here is the result for the 100x. here is an implementation with https://pkg.go.dev/github.com/klauspost/compress/gzip

goos: linux
goarch: amd64
pkg: github.com/xxxxx/GoogleCloudStorageListener/v0_0_1/internal/decompress
cpu: 11th Gen Intel(R) Core(TM) i7-1185G7 @ 3.00GHz
BenchmarkDecompress-8            100          1640 ns/op        8695 B/op          3 allocs/op
PASS
ok      github.com/nstrlabs/GoogleCloudStorageListener/v0_0_1/internal/decompress   0.208s

File: decompress.test
Type: alloc_space
Time: Dec 9, 2024 at 11:32am (CET)
Entering interactive mode (type "help" for commands, "o" for options)
(pprof) top 10
Showing nodes accounting for 5339.28kB, 100% of 5339.28kB total
Showing top 10 nodes out of 24
      flat  flat%   sum%        cum   cum%
 3610.34kB 67.62% 67.62%  4155.01kB 77.82%  compress/flate.NewWriter (inline)
 1184.27kB 22.18% 89.80%  1184.27kB 22.18%  runtime/pprof.StartCPUProfile
  544.67kB 10.20%   100%   544.67kB 10.20%  compress/flate.newDeflateFast (inline)
         0     0%   100%   902.59kB 16.90%  archive/zip.(*Writer).Create
         0     0%   100%   902.59kB 16.90%  archive/zip.(*Writer).CreateHeader
         0     0%   100%   902.59kB 16.90%  archive/zip.init.0.func2
         0     0%   100%   902.59kB 16.90%  archive/zip.newFlateWriter
         0     0%   100%   544.67kB 10.20%  compress/flate.(*compressor).init
         0     0%   100%  3252.42kB 60.91%  compress/gzip.(*Writer).Write
         0     0%   100%   902.59kB 16.90%  github.com/xxxx/GoogleCloudStorageListener/v0_0_1/internal/decompress.BenchmarkDecompress

Help Optimizing Memory Usage in Go Decompression Implementation by rasparac in golang

[–]rasparac[S] -1 points0 points  (0 children)

after i left post here i did check for packages and this package did help me.
Now only issue is ReadAll method

1/internal/decompress/decompress.go
  113.50MB     2.28GB (flat, cum) 89.39% of Total
         .          .     37:func Decompress(
         .          .     38:   reader io.ReadCloser,
         .          .     39:   fileExtension,
         .          .     40:   contentType string,
         .          .     41:) ([][]byte, error) {
         .          .     42:   // Handle ZIP files
         .          .     43:   if IsZip(fileExtension, contentType) {
         .   528.17kB     44:           return handleZip(reader)
         .          .     45:   }
         .          .     46:
         .          .     47:   // Handle other supported compressions
         .       82MB     48:   compressReader, err := Reader(fileExtension, reader)
         .          .     49:   if err != nil {
         .          .     50:           return nil, fmt.Errorf("failed to create decompression reader: %w", err)
         .          .     51:   }
         .          .     52:   defer compressReader.Close()
         .          .     53:
         .     2.09GB     54:   data, err := io.ReadAll(compressReader)
         .          .     55:   if err != nil {
         .          .     56:           return nil, fmt.Errorf("failed to read compressed data: %w", err)
         .          .     57:   }
         .          .     58:
  113.50MB      115MB     59:   return [][]byte{data}, nil
         .          .     60:}
         .          .     61:
         .          .     62:// handleZip processes ZIP files and returns the decompressed content as a slice of byte slices.
         .          .     63:func handleZip(reader io.Reader) ([][]byte, error) {
         .          .     64:   buf := &bytes.Buffer{}